RLHF：评估闭环与复习题

常见的四个角色是 Actor、Critic、Reward、Reference。它们不等于「必须同时常驻四份完整模型」。

在这个典型设置里，只有 Actor 和 Critic 更新参数。 Reward 是第二阶段训好后冻结的，Reference 是 SFT 模型的冻结副本。Actor 和 Reference 初始权重相同，训练中 Actor 逐渐偏离，Reference 停在原地作为 KL 的参照。

奖励模型在有限数据上学到的偏好，未必能泛化到策略后来生成的回答。优化得越来越用力，可能找到高分但不合人意的输出，例如迎合某种表达风格，而不是改善答案本身。

Reference KL 为偏离参照策略增加代价。$\beta$ 越大，这个代价通常越强，但实际效果也取决于 reward 尺度。去掉 KL 不等于训练必然崩溃；保留它也不能保证不钻奖励的空子。应把有无 KL、系数与独立评估一起比较，而不是把某个非零系数当成定律。推导和数值例子见 Reference 与 Critic。

Critic 估计状态价值 $V_t$，可用来构造类似 $\hat A_t=\hat G_t-V_t$ 的优势估计。合适的 baseline 能降方差（variance）；使用 TD 或 GAE 时，还涉及 bootstrapping 的偏差。没有 Critic 也能训练，例如 REINFORCE，并不是「没有就训不动」。

GRPO 从同一 prompt 的一组回答中构造相对信号，不训练独立 Critic。它省下 Critic 的相关成本，但增加了组内采样需求；全对、全错（见 DAPO 的动态采样）、reward 尺度和长度归一化都需要检查。不能只数少了几个模型，就断言总训练成本更低。

DPO 用了一个推导：带 KL 约束的奖励最大化有闭式最优解，把奖励反解成策略的表达式之后，偏好损失可以直接对策略求梯度。于是奖励模型和 RL 循环都不需要了。

标准 DPO 的代价是使用离线偏好对。训练中策略在变，数据却不跟着变；它无法主动探索当前 policy 的新失败。PPO 或其他 online RL 可以从当前策略采样，更适合需要探索、环境交互或可验证多步结果的任务，但 rollout 更贵，训练也更不稳定。

所以 DPO 不能完全替代 PPO，但 PPO 也不是所有场景都更好。高质量静态偏好数据可以先用 DPO；需要当前策略不断产生新数据时使用 online RL。Online DPO 等变体进一步说明，关键区别是数据与反馈闭环（feedback loop），而不只是 loss 的名字。

Bradley–Terry 损失直接约束的是同一 prompt 下 chosen 与 rejected 的分差。给所有分数加一个常数，损失完全不变，所以零点没有可识别语义；一个 $2.4$ 不能直接读成「满意度 2.4」。

固定 Reward Model 的原始输出当然可以拿来计算，但跨 prompt、领域或模型版本比较时，必须先确认校准与尺度是否稳定。训练实现也可能做 reward whitening 或 normalization；那是优化选择，不是 Bradley–Terry 必然要求的规则。

因为 verifier 只检查写进去的条件。测试覆盖不足、答案提取错误、边界情况遗漏，都可能让错误答案得高分。程序确定性强，不代表它准确表达了全部任务目标。

RLVR 适合能自动检查结果的任务或子目标；开放式对话也可能用程序检查格式、工具参数，但这些检查覆盖不了全部回答质量。要保留独立题目、不同类型测试和必要的人类评审，确认模型学到的是任务，而不是检查器的漏洞。可验证奖励从一个具体反例讲起：一段永远输出同一个列表、却能通过单个排序测试的“解法”。