离线策略评估（OPE）再拆一层：逐步权重、双重稳健与 LSTD

Offline RL 与 OPE 用整条轨迹（trajectory）的重要性权重估计新策略（policy）的表现：数据够、行为概率准时它无偏，但时域一长，权重就是一长串比值的乘积，方差大到没法用。不收新数据，还能怎样把方差压下来？能少乘的比值就别乘；手里有一个估值模型，就让它去抵消噪声，而不是直接替代数据。 最后再看另一条路：在线性特征下，直接解出价值函数。

轨迹权重浪费在哪儿

轨迹 IS 把整条轨迹的回报（return） $R_i$ 乘上整条轨迹的权重 $w_i$（公式见 Offline RL 与 OPE，这里不重推）。问题在于：第 0 步的奖励（reward），也被第 1 步、第 2 步……的动作比值乘了一遍。后面的动作发生在这个奖励之后，不可能影响它，却实实在在地给它加了噪声。

逐步重要性采样：第 $t$ 步的奖励只乘到第 $t$ 步

逐步重要性采样（per-decision importance sampling，PDIS）让每个奖励只乘它之前、包括当步的动作比值：

$$ \hat J_{\rm PDIS}=\frac1N\sum_{i=1}^N\sum_{t=0}^{T-1}\gamma^t\rho^i_{0:t}\,r^i_t,\qquad \rho^i_{0:t}=\prod_{k=0}^{t}\frac{\pi(a^i_k\mid s^i_k)}{\mu(a^i_k\mid s^i_k)}. $$

为什么扔掉后面的比值不会引入偏差？给定到第 $k$ 步为止的历史，按行为策略（behavior policy） $\mu$ 抽动作时，比值的条件期望是 $\sum_a\mu(a\mid s)\,\pi(a\mid s)/\mu(a\mid s)=1$（前提是 $\pi$ 选的动作 $\mu$ 也会选）。乘一个条件期望为 1 的数，期望不变，只是多了噪声。Precup、Sutton 与 Singh（2000）的定理 1 证明了逐步估计器无偏且一致。

用一个两步的小例子算方差（variance）。每一步都是同一个状态，有 A、B 两个动作；选 A 当步得 1 分，选 B 得 0 分；不打折扣。行为策略每步各 50%；目标策略（target policy）选 A 的概率是 0.8。于是 A 的比值是 $0.8/0.5=1.6$，B 的是 $0.2/0.5=0.4$，真实值 $J(\pi)=0.8+0.8=1.6$。行为策略下，4 种轨迹各以 1/4 的概率出现：

两列的平均都是 1.6，都无偏；单条轨迹的方差从 4.20 降到 2.51。差别来自 AB 这样的轨迹：第 0 步拿到的 1 分，轨迹 IS 因为第 1 步选了目标策略不爱选的 B，把它压成 0.64；逐步 IS 只看第 0 步的比值，给它 1.6。

这个改进有边界。只有最后一步有奖励时，两种估计完全相同；也不能保证在所有问题里逐步版本方差都更小。时域长了问题还在：10 步都选 A 的轨迹，第 9 步的奖励要乘 $1.6^{10}\approx110$。

加权逐步：每一步各自归一化

和自归一化 IS 一样，可以在每个时间步把权重除以该步所有轨迹的权重之和：

$$ \hat J_{\rm WPDIS}=\sum_{t=0}^{T-1}\gamma^t\,\frac{\sum_i\rho^i_{0:t}\,r^i_t}{\sum_i\rho^i_{0:t}}. $$

每一步的估计都是观测（observation）奖励的加权平均，不会超出奖励的取值范围。假设运气不好，3 条日志恰好是 AA、AA、BB：逐步 IS 给出 $(4.16+4.16+0)/3\approx2.77$；加权版本第 0 步是 $3.2/3.6\approx0.89$，第 1 步是 $5.12/5.28\approx0.97$，合计约 1.86，离真值 1.6 更近。代价是有限样本下有偏。Precup 等也给出了加权的逐步版本，并指出它一致但有偏。

双重稳健：先在一步 bandit 上算清楚

另一个降方差的办法，是请一个估值模型 $\hat Q$ 帮忙。单步情形下，Dudík、Langford 与 Li（2011）的双重稳健（doubly robust，DR）估计器是：

$$ \hat V_{\rm DR}=\sum_a\pi(a\mid s)\hat Q(s,a)+\frac{\pi(a_i\mid s)}{\mu(a_i\mid s)}\Big(r_i-\hat Q(s,a_i)\Big). $$

第一项是模型自己的猜测（直接法）；第二项用重要性权重去修正模型在这条样本上的残差。若 $\hat Q$ 是对的，残差的均值为 0，不管权重对不对，修正项平均下来都是 0；若权重是对的，修正项正好在期望上抵消模型的偏差。两者有一个对，估计就无偏，这就是“双重稳健”的意思。

沿用 Offline RL 那篇的 bandit，只加一点噪声：左边奖励固定为 1；右边奖励以相同概率为 2 或 4，均值 3。行为策略左 90%、右 10%；目标策略各 50%，真实值是 $0.5\times1+0.5\times3=2$。下表的方差是单条样本的方差；$\hat Q$ 假设来自另一份数据、此处固定。

看第 4 行怎么来的：模型猜 $0.5\times1+0.5\times2=1.5$。抽到左边，残差 $1-1=0$，估计就是 1.5；抽到右边，权重是 5，奖励 2 时残差为 0、估计 1.5，奖励 4 时残差为 2、估计 $1.5+5\times2=11.5$。平均起来正好是 2。IS 在右边样本上给出 10 或 20，DR 给出 1.5 或 11.5：模型吸收了大部分数值，权重只放大残差。$\hat Q$ 全对时剩下的方差 2.5，全部来自右边奖励本身的噪声被权重 5 放大：$0.1\times5^2\times1=2.5$。

最后一行提醒：两者都错，DR 照样有偏。“概率错但模型全对”的第 6 行在实践中也很少见，因为 $\hat Q$ 几乎不会完全正确。

多步：每一步都拿 $\hat Q$ 当控制变量

Jiang 与 Li（2016）把它推广到序列决策。从最后一步往前递推：

$$ V^{(t)}_{\rm DR}=\hat V(s_t)+\rho_t\Big(r_t+\gamma V^{(t+1)}_{\rm DR}-\hat Q(s_t,a_t)\Big),\qquad V^{(T)}_{\rm DR}=0, $$

其中 $\rho_t=\pi(a_t\mid s_t)/\mu(a_t\mid s_t)$ 只是当步的比值，$\hat V(s)=\sum_a\pi(a\mid s)\hat Q(s,a)$。行为概率已知时它无偏；$\hat Q$ 越接近真实 Q，剩下的方差越主要来自奖励和转移本身的随机性。论文还给出了这个问题的方差下界，并说明 DR 在某些情形下能达到它。

一个好记的特例：令 $\hat Q\equiv0$，递推展开就是逐步 IS。Thomas 与 Brunskill（2016）把同一个估计器写成不递推的控制变量形式，并把权重换成每步归一化的版本，得到加权 DR（有偏但一致）；他们还提出了在模型估计和重要性采样估计之间自动混合的 MAGIC，在自己的实验里报告了更低的均方误差。

不在时间上连乘：按状态分布的比值加权

前面的方法都在乘“沿时间的动作比值”。另一条路问的是：目标策略访问某个 $(s,a)$ 的频率，是数据里的多少倍？用折扣占用分布 $d^\pi(s,a)=(1-\gamma)\sum_t\gamma^t\Pr(s_t=s,a_t=a)$，有：

$$ J(\pi)=\frac1{1-\gamma}\,\mathbb E_{(s,a,r)\sim d^{\mathcal D}}\big[w(s,a)\,r\big],\qquad w(s,a)=\frac{d^\pi(s,a)}{d^{\mathcal D}(s,a)} . $$

数据由 $\mu$ 产生时，$w$ 可以拆成一个状态比值乘一个动作比值：$\frac{d^\pi(s)}{d^\mu(s)}\cdot\frac{\pi(a\mid s)}{\mu(a\mid s)}$。权重不再是时间上的连乘，不会随时域指数增长。

回到两步例子。那里状态不受动作影响，每一步的状态比值都是 1；有限时域时按每个时间步分别取比值，于是每个奖励只乘它自己那一步的动作比值。4 条轨迹的值依次是 3.2、1.6、1.6、0，平均仍是 1.6，方差降到 1.28（逐步 IS 是 2.51，轨迹 IS 是 4.20）。这里状态比值恰好已知；一般情况下它要从数据里估，估错了就带来偏差，而且仍要求数据覆盖目标策略会去的状态。

怎样估这个比值，是这类方法的核心：

• Liu 等（2018）把重要性采样直接用在平稳状态分布上，从行为轨迹里估计两个分布的密度比，用来对付长时域下的方差爆炸；
• Xie、Ma 与 Wang（2019）在有限时域、非平稳的设定里逐步递推估计目标策略的状态边缘分布，证明误差界只随时域多项式增长；
• DualDICE（Nachum 等，2019）连行为策略都不需要知道。它的出发点是一个小事实：在每个 $(s,a)$ 上最小化 $\tfrac12d^{\mathcal D}x^2-d^\pi x$，解是 $x=d^\pi/d^{\mathcal D}$。例如 $d^{\mathcal D}=0.25$、$d^\pi=0.5$，导数 $0.25x-0.5=0$ 给出 $x=2$。再经过一次变量替换，把拿不到的 $d^\pi$ 期望换成对初始状态的期望；论文证明，这样得到的优化问题，其最优解的 Bellman 残差就是要找的比值。

截至 2026 年 10 月，把这些估计器用到 LLM 或 agent 的离线评估仍在快速变化：一个“动作”可能是一整段文本，概率比值极端，行为策略的概率也常常拿不到。本篇不把任何一种做法当成定论；上面的估计器本身则是已经稳定的结果。

LSTD：线性特征下直接解出 TD 不动点

换个角度：不加权，直接从固定数据里解出价值函数。设 $V(s)\approx\phi(s)^\top w$，$\phi$ 是 $k$ 维特征。要求 TD 误差（TD error / residual）在特征方向上平均为零，$\sum_i\phi(s_i)\big(r_i+\gamma\phi(s'_i)^\top w-\phi(s_i)^\top w\big)=0$，整理成线性方程：

$$ A=\sum_i\phi(s_i)\big(\phi(s_i)-\gamma\phi(s'_i)\big)^\top,\qquad b=\sum_i\phi(s_i)\,r_i,\qquad w=A^{-1}b . $$

这就是 Bradtke 与 Barto（1996）的最小二乘 TD（LSTD）。他们证明在线性逼近下它以概率 1 收敛；每步计算比 TD 多，但更充分地利用了数据，而且没有学习率要调。终止状态的 $\phi(s')$ 取 0。

两个状态的环：从状态 1 到 2 得 0 分，从 2 回到 1 得 1 分，$\gamma=0.9$，数据里每种转移各一条。真实价值满足 $V_1=0.9V_2$、$V_2=1+0.9V_1$，解得 $V=(4.737,\,5.263)$。

先用独热特征 $\phi(1)=(1,0)$、$\phi(2)=(0,1)$：

解 $Aw=b$ 得 $w=(4.737,\,5.263)$，正好是真实价值。独热特征下，LSTD 等于用数据估出的转移去解 Bellman 方程。

再换成一维特征 $\phi(1)=1$、$\phi(2)=2$，它只能表示“状态 2 的价值是状态 1 的两倍”。$A=1\times(1-0.9\times2)+2\times(2-0.9\times1)=1.4$，$b=2$，$w\approx1.43$，估出 $V\approx(1.43,\,2.86)$。可以检查 TD 误差：状态 1 是 $0.9\times2.86-1.43\approx1.14$，状态 2 是 $1+0.9\times1.43-2.86\approx-0.57$，按特征加权 $1\times1.14+2\times(-0.57)=0$。在同一个特征下，对真实价值做等权最小二乘拟合，得到的是 $w\approx3.05$，即 $(3.05,\,6.11)$。LSTD 解的是 TD 不动点，不是对真值的最佳拟合；特征表达不了真值时，两者都不对，而且不一样。 这和 Fitted Q 那篇里“投影和 Bellman 更新用的不是同一把尺子”是同一件事。

每条样本更新 $A$ 要 $O(k^2)$，最后解方程一次 $O(k^3)$。样本太少或特征冗余时 $A$ 会奇异或病态，实践中常加一个小的 ridge 项。

LSPI：同一批数据反复做策略迭代

LSTD 估的是数据背后那个策略的 $V$，要改进策略还需要模型。Lagoudakis 与 Parr（2003）的 LSPI 改用状态动作特征 $\phi(s,a)$：LSTDQ 把上式里的 $\phi(s)$ 换成 $\phi(s,a)$，把 $\phi(s')$ 换成 $\phi(s',\pi(s'))$，估出当前策略 $\pi$ 的 Q；再令新策略 $\pi'(s)=\arg\max_a\phi(s,a)^\top w$，用同一批样本重复。论文强调它完全 off-policy、每轮复用同一批数据、没有学习率；也指出 LSTDQ 的结果受样本在 $(s,a)$ 上的分布影响。论文报告它从随机动作的少量试验中学会了倒立摆和自行车平衡。

离线时问题出在 $\arg\max$ 上。设只有一个状态 $s$、两个动作“保守”和“激进”，日志里只有“保守”：每次付 1 分成本，回到 $s$，$\gamma=0.9$。用独热特征时，$(s,\text{激进})$ 从没出现，它在 $A$ 里对应的那一行全是 0，矩阵不可逆；加一个很小的 ridge 后，它的权重被定成 0。

• 评估“保守”策略：$w_{\text{保守}}\approx-10$，$w_{\text{激进}}=0$。改进一步：$\arg\max(-10,\,0)$ 选“激进”。
• 评估“激进”策略：$w_{\text{保守}}\approx-1$（先保守一次、之后按激进走），$w_{\text{激进}}$ 仍是 0。策略停在“激进”。

LSPI 停在了一个从没试过的动作上，它的“价值 0”只是 ridge 给的默认值。若奖励都是正的，同样的默认值反而会让没见过的动作显得最差；结论由默认值决定，而不是由数据决定。在线时，智能体去试一次“激进”就能纠正；离线时没有这个机会。这正是 Offline RL 与 OPE 里的支持集（support）问题，也是 Fitted Q 里对没有数据支持的动作取 max 的问题。

一张表对照

这里讲到哪里为止

这篇讲估计器的结构和一个个手算例子，不涉及 OPE 的置信区间和下界理论。所有估计器都假设日志覆盖了目标策略会去的地方，也都假设观测里没有漏掉同时影响动作和结果的变量；这两件事先按 Offline RL 与 OPE 里的顺序检查。重要性采样的基本推导在 Policy Gradient，函数逼近（function approximation）下的投影问题在 Fitted Q。

本页术语 13

轨迹 trajectory

与环境交互得到的一串状态、动作和奖励；采样时也可能只保存其中一段

策略 policy

给定状态，规定怎样选动作；可以输出一个动作，也可以输出动作的概率分布

回报 return

从某一步开始，把后续奖励按约定累加；有折扣时还要乘上相应的折扣权重

奖励 reward

RL 里指导策略更新的标量信号

重要性采样 importance sampling

用目标分布与采样分布的概率比重新加权；采样分布必须覆盖目标分布需要的区域

行为策略 behavior policy

实际产生这批状态和动作数据的策略

方差 variance

估计量的波动幅度；重要性加权最容易在这里爆炸

目标策略 target policy

这次希望评估或改进的策略，不一定是收集数据的那个策略

观测 observation

智能体实际收到的信息，可能只是环境完整状态的一部分

双重稳健 doubly robust

结合倾向性加权和结果模型，降低 IPS 的方差

TD 误差 TD error / residual

一步目标减去当前估值；是学习信号，不是与真实价值之差

支持集 support

分布实际覆盖的区域；离散情形中可理解为概率非零的状态或动作

函数逼近 function approximation

用一个受限的函数族表示价值或策略，例如用神经网络代替逐状态查表