探索与层级：随机走，不一定能找到路

迷宫只有到终点才得分。随机多走几步不一定有用，因为到终点需要一串方向一致的动作。动作有随机性，与真的发现新策略（policy），是两回事。

为什么 epsilon 和 entropy 有时不够

$\epsilon$-greedy 偶尔乱选一步；entropy bonus 鼓励动作分布保持分散。若连续 20 步都选对才有奖励（reward），逐步随机很容易把已经走对的路线打断。需要考虑跨时间一致的探索，而不只是让每一步更随机。

可以从探索状态覆盖、训练多样化策略、使用有意义的技能，或利用预测不确定性入手。最少被探索、最陌生的区域，也未必是任务需要的区域，尤其在真实系统里还有安全限制。

连续 20 步，随机性为什么不够？

做一个极简任务：从起点连续向右 20 次才有奖励，中途向左就回到起点。每步独立地左右各选一半，一次长度 20 的尝试成功概率是 $2^{-20}$，约百万分之一。

如果策略已经有“连续向右走 20 步”和“连续向左走 20 步”两种技能，回合（episode）开始各选一半，同样一次尝试就有一半概率成功。但这个技能库是额外的结构先验，不是把同一个随机策略改个名字。层级学习的难点之一，就是怎么得到这样的技能，以及什么时候选（candidate）它们。

因此看探索算法时，除了动作熵，还要看轨迹（trajectory）能否持续推进、有没有到达新的有用状态、代价是否可接受。没有安全约束的玩具迷宫，也不能直接代表真实机器人或在线产品的试错空间。

Intrinsic reward：给新鲜感一个分数

随机网络蒸馏（RND）用固定随机网络 $f$ 和可训练预测器 $\hat f_\psi$，把对当前观测（observation）特征的预测误差作为内在奖励（intrinsic reward）：

$$ r^{\rm int}(s)=\|\hat f_\psi(s)-f(s)\|^2,\qquad r^{\rm total}=r^{\rm task}+\beta r^{\rm int}. $$

这里有个容易混淆的区别：预测“下一帧”的误差，可能让 agent 一直盯着随机闪烁的电视，因为未来画面本来就猜不准。RND 不预测下一帧；给定当前观测，目标网络（target network）的输出是确定的，它避开了这类由随机预测目标产生的误差。

但陌生不等于有用。特征选择、有限数据和优化误差仍会影响 RND 的分数。检查观测归一化、内在奖励的尺度和衰减，也要看外部任务是否真的进步；不要把 RND 分数直接当成校准（calibration）过的认知不确定性（epistemic uncertainty）。

Reward shaping：怎样加提示，才不乱改目标

任意加一项“靠近目标就给分”，可能让 agent 来回刷分。Potential-based shaping 用：

$$ r'_t=r_t+\gamma\Phi(s_{t+1})-\Phi(s_t). $$

折扣求和后，中间项相消，只剩原 return 加 $-\Phi(s_0)+\gamma^T\Phi(s_T)$。若终端 potential 为 0，则从每个初态出发，所有策略的回报（return）都只平移 $-\Phi(s_0)$。因此不只固定初态，从同一个、与策略无关的初态分布比较期望回报时，排序也不变。无限时域下，$0\le\gamma<1$ 且 $\Phi$ 有界可保证尾项消失。关键是边界项不能随策略改变；不能把任意非零终端 potential 或采集截断直接忽略。

把 shaping 的抵消真的算一遍

三步轨迹原始奖励都为零，$\gamma=0.9$，四个状态的 potential 为 $[-3,-2,-1,0]$。新的即时奖励依次为：

总和为 3，正好等于 $-\Phi(s_0)$。同一起点、终点 potential 同为零的其他轨迹，也只增加这个常数，因而不改变原来的排序。它把反馈重新分配到了中间步骤，不是给更短路线额外发一笔任意奖励。

RND bonus 一般不具有这种抵消结构，会改变优化目标。外部任务 reward 不变，但加上 bonus 后 agent 偏爱新奇环境，是有可能的；评估时要把原始任务回报单独保留下来。

Option：一次选一段行为

Option 通常包含启动集合、内部策略、终止规则。高层选“走到门口”，底层连续执行若干步；持续时间 $\tau$ 不固定，因此高层 target 要正确计时：

$$ y=\sum_{k=0}^{\tau-1}\gamma^kr_{t+k} +\gamma^\tau(1-d)V(s_{t+\tau}). $$

这里 $d=1$ 只表示环境回合真正终止，不表示 option 自己结束。若只是技能完成，仍需对接下来高层选技能的价值 $V$ 自举（bootstrapping）；环境回合终止才去掉尾项。$V$ 是后续高层策略的价值；若做最优控制，则用可启动 options 的最大 Q 值。

执行 3 步的 option 后，尾部要乘 $\gamma^3$，不是 $\gamma$。例如三步奖励为 $[1,0,2]$、$\gamma=0.9$、后续 $V=5$：技能结束但回合继续时，$y=2.62+0.9^3\times5=6.265$；若回合真正终止，则 $y=2.62$。这叫 semi-Markov 结构。层级可以缩短高层决策链，但错误的技能边界也可能限制可达策略。

先做哪个实验

先固定外部奖励，记录探索覆盖与成功率是否一起改善；再分别测试 bonus、技能和预算。不把内部 novelty 上升当成任务成功。

这是探索与层级的入口，尚未覆盖完整 option-critic 或贝叶斯探索推导。参考：RND，第 2.2–2.4 节 · Potential-based shaping，第 3 节、定理 1 · Options 与 semi-MDP，第 2、3.2 节。下一篇：有示范时，为什么还会走偏？

本页术语 13

策略 policy

给定状态，规定怎样选动作；可以输出一个动作，也可以输出动作的概率分布

奖励 reward

RL 里指导策略更新的标量信号

回合 episode

从初始状态开始的一次交互过程；采样片段结束不一定代表任务真正结束

候选 candidate

召回阶段捞出来、等待精排挑选的内容

轨迹 trajectory

与环境交互得到的一串状态、动作和奖励；采样时也可能只保存其中一段

随机网络蒸馏 random network distillation, RND

用固定随机网络提供目标，预测器的特征预测误差可作为新颖性的近似信号

观测 observation

智能体实际收到的信息，可能只是环境完整状态的一部分

内在奖励 intrinsic reward

为探索或其他辅助目的添加的反馈，与外部任务奖励分开检查

目标网络 target network

用于构造学习目标的网络；DQN 中缓慢更新，RND 中则是固定的随机网络

校准 calibration

模型给出的置信度是否等于真实正确率

认知不确定性 epistemic uncertainty

数据或模型知识不足造成的不确定性，可通过新证据减少，但估计并不自动可靠

回报 return

从某一步开始，把后续奖励按约定累加；有折扣时还要乘上相应的折扣权重

自举 bootstrapping

用已有估值补上尚未完整观察到的未来；这里不是统计学中有放回重采样的 bootstrap