PPO、GRPO 与 DPO：反馈怎样变成一次更新

先看反馈怎样进入训练

这些算法有的换了 advantage 的估计方式，有的换了数据来源或优化目标，并不都能理解成“删掉 PPO 的一个部件”。读它们时，先问：反馈从哪里来，要采多少回答，最后怎样计算梯度？

PPO、GRPO 和 DPO 回答的是同一个问题：已经有了 SFT 模型，怎样利用回答质量或人类偏好，继续提高好回答的概率、降低差回答的概率？区别在于反馈怎样进入训练：

• PPO：用回答的 reward、Critic 的 value baseline 和 clipped policy update；
• GRPO：同一 prompt 采样一组回答，用组内相对奖励（reward）代替 Critic；
• DPO：直接读取 chosen/rejected pair，用一个偏好分类损失更新 policy。

先用同一道题建立直觉

Prompt 都是“计算 $17\times24$”。先把整条回答当作一次动作，只看终局奖励、暂不计 KL，所以表里的 PPO 优势可以简写成 $R-V$；真实的逐 token PPO 还要处理 return、GAE 和各前缀的 value。

这三个方法可以各用一句话记住：PPO 问“实际结果比 Critic 预期高多少”；GRPO 问“这次结果比同题其他回答高多少”；DPO 不估 advantage，而是直接问“相对于 Reference，chosen 是否比 rejected 提升得更多”。

PPO 里，谁在学习，谁在打分？

经典 PPO-RLHF 概念图里有四种角色，其中两个需要训练：

Critic 也要训练，除了前向和反向计算，还要保存优化器状态。它可以是独立的 value model，也可以和 Actor 共享 backbone、只增加 value head。所以表里列的是四种职责，不一定是四个常驻显存的完整模型。接下来的问题是：不用 Critic，能不能也得到有用的比较标准？

不用 Critic，baseline 从哪里来？

Critic 估计状态价值，既可以提供降低方差（variance）的 baseline，也参与 TD / GAE 的 bootstrapping。若任务适合整条回答的终局评分，可以考虑用采样统计构造相对信号；多步、延迟奖励的情况则要重新考虑 credit assignment。

这些方法不再依赖独立训练的 value model，但并没有消除估计误差。省下的训练状态，要和额外采样、信号方差及任务结构一起比较。表中 REINFORCE++ 对应首版论文 §3；batch 归一化不是另一个训练出来的 baseline，也不保证梯度无偏或训练稳定。截至 2026-10，arXiv 上的最新版是 v9（2025-11-10），标题改为 “…with Global Advantage Normalization”，并增加了一个 “REINFORCE++ w/ baseline” 变体：同一 prompt 采多份回答，先减组内平均奖励，再在整个 batch 上归一化，KL 改成单独的损失项（v9 §3.2）。

RLOO 的基线写出来是这样，$k$ 是同一提示下的采样数：

$$\hat A_i = r_i - \frac{1}{k-1}\sum_{j \neq i} r_j$$

Back to Basics §2.2–2.3把整条生成当作一个动作，但不等于 token 不接收梯度：整条回答的 log-prob 是各 token 条件 log-prob 的和，同一个优势会乘到这些项上。它没有单独估计“哪一步比预期更好”。留一基线的无偏性还依赖同 prompt 下独立采样等条件，不能套到任意相关样本上。

该论文在特定的预训练（pre-training）模型和偏好任务上比较了这些简化，不意味着所有任务都不需要 Critic 或 GAE。

GRPO 的组相对 advantage

对同一个 prompt 采样 $G$ 个回答，得到奖励 $R_1,\ldots,R_G$。常见的 response-level advantage 是 $\hat A_i=(R_i-\mu_R)/(\sigma_R+\varepsilon)$：$\mu_R$ 是组内均值，$\sigma_R$ 是组内总体标准差（分母为 $G$），$\varepsilon$ 防止除零。逐项写开的公式和 [0, 1, 0, 0] 的完整算例在四份回答，只有一份答对。开头那组奖励 $[1,0,1,0]$ 的 $\mu_R$、$\sigma_R$ 都是 0.5，忽略很小的 $\varepsilon$ 后，优势约为 $[1,-1,1,-1]$。代码库若用样本标准差，数值尺度会不同。奖励可以来自 Reward Model、人类、数学 verifier、单元测试、代码执行或格式检查器。

常见 GRPO 实现把同一回答的 sequence-level advantage 广播给该回答里的 token，再使用 PPO-style clipped objective：

$$ \rho_{i,t}(\theta)= \frac{\pi_\theta(o_{i,t}\mid q,o_{i,<t})} {\pi_{\mathrm{old}}(o_{i,t}\mid q,o_{i,<t})}, $$

$$ \begin{aligned} c_{i,t}&=\operatorname{clip}(\rho_{i,t},1-\epsilon,1+\epsilon),\\ s_{i,t}&=\min(\rho_{i,t}\hat A_i,\;c_{i,t}\hat A_i),\\ J_{\mathrm{GRPO}}&=\frac{1}{G}\sum_i\frac{1}{|o_i|}\sum_t s_{i,t}. \end{aligned} $$

这里 $G$ 是同一 prompt 的回答数，$|o_i|$ 是第 $i$ 条回答的有效 token 数；$J$ 是要最大化的策略目标，代码通常最小化 $-J$。DeepSeekMath 原论文 §4.1还加入相对于 Reference 的 KL 项；有的配方干脆去掉它，例如 DAPO。截至 2026-10，TRL v1.16.0 的 GRPOTrainer 默认 beta=0.0（不加载 Reference）、loss_type="dapo"（按全局有效 token 数归一化，不是上式的先按回答平均），用 vLLM 生成时还默认打开重要性采样（importance sampling）修正（vllm_importance_sampling_correction=True）。GRPO 主要省掉的是 learned value baseline，不是 rollout、reward 或 policy ratio。具体框架的 loss reduction、KL 系数和更新次数都要单独看，不能只读算法名。

Loss 是 0，为什么模型还能学？

一组回答有好有坏，训练日志里的 policy loss 却是 0，看起来像没有信号。先别急着改代码：相互抵消的是几个数，不一定是它们对参数的梯度。

把问题缩到两个单 token 回答 A、B。采样时各有 50% 的概率，奖励分别是 1、0；为便于手算，使用优势 [1,-1]。只用一个参数 $\theta$ 控制概率：$p(A)=\sigma(\theta)$，$p(B)=1-p(A)$。旧概率固定为 0.5。

刚开始 $\theta=0$，两个 ratio 都为 1，尚未进入裁剪的平坦区。要最小化的策略 loss 是：

$$\begin{aligned} \mathcal L(\theta)&=-\tfrac12\big[2p(A)-2(1-p(A))\big]\\ &=1-2\sigma(\theta),\\ \mathcal L(0)&=0,\qquad \mathcal L'(0)=-0.5. \end{aligned}$$

Loss 为 0，斜率却不是 0。用学习率 0.2 做一次普通梯度下降，$\theta$ 变成 0.1，A 的概率约为 0.525。这只是手工构造的两动作检查，不是一次语言模型（language model, LM）训练实验。

这里最容易写错的是分母。logp - old_logp.detach() 在刚采样后数值上可以为 0，但分子仍可导；写成 logp - logp 则把同一条计算路径减掉，梯度也一起消失。只做一次更新时可以用当前值的 detached 副本；如果复用这批数据多次，必须保留当初的副本，不能每次重算分母。

import torch

theta = torch.tensor(0.0, dtype=torch.float64, requires_grad=True)
logits = torch.stack((theta, torch.zeros_like(theta)))
logp = logits.log_softmax(dim=-1)
old_logp = logp.detach().clone()
advantages = torch.tensor([1.0, -1.0], dtype=torch.float64)
loss = -((logp - old_logp).exp() * advantages).mean()
loss.backward()
assert abs(loss.item()) < 1e-12
assert abs(theta.grad.item() + 0.5) < 1e-12

哪些条件变了，初始 loss 就未必是 0？

上面的抵消依赖于完整组、组内中心化、相同 ratio 和所用的平均方式，不是 GRPO 每次运行都会成立的性质：

长度算例对应的是两种不同的目标，不能靠改日志把它们“修”成相同值。Dr. GRPO讨论了长度与组内标准差带来的权重变化；TRL 的 loss types也区分多种聚合方式。检查配置中的 loss_type 和实际 mask，比猜初始 loss 应该是多少更有用。

日志至少把 policy loss、KL、有效 token 数、组内奖励方差和梯度范数分开看。Loss 接近 0 既不证明模型没学，也不证明已经收敛。接下来若想问“被 clip 的 token 还会动吗”，看完整梯度算例；数据为何叫 old，则看一组回答的生命周期。

换成组内比较以后，要注意什么？

省去一个模型，不等于省去了判断好坏这件事。现在比较标准来自这一组回答，新的问题也就出在这里。

问题一：组内奖励没有差异时，基线不含信息。 一组回答全对或全错，例如 $R=[0,0,0,0]$，减去组内均值后 advantage 都是 0；带有 $\varepsilon$ 的实现避免了除零，但创造不出相对信号。这一组对 policy-gradient 项不产生有效梯度。这种组有多常见、过滤它们要多花多少采样，见 DAPO 的动态采样。

问题二：归一化引入偏置。 除以组内标准差会改变不同 prompt 的相对权重；按回答长度平均又会改变不同长度的 token 权重。Dr. GRPO分析了这些偏置。是否改善你自己的任务，仍要按相同采样与评估预算比较，不能把去掉归一化当成普遍正确的修复。

问题三：同样的 ratio 上界，对低概率 token 意味着什么？ PPO 在部分分支截平 surrogate 的收益，不是把实际概率比硬限制在区间里。相同乘法上界对低概率 token 对应的绝对增量更小；放宽上界可能改变探索，但熵下降有多种原因，不应只凭一条曲线归因。

问题四：序列级的损失稀释长回答。 先在每条回答内部平均、再对回答平均时，一个 1000 token 的回答和一个 50 token 的回答总权重相同。前者每个 token 的 loss 权重只有后者的 1/20；实际梯度大小还取决于 advantage 和模型。若重要的推理步骤集中在长回答里，这种加权方式值得检查，但回答长本身不代表推理更好。

DAPO 围绕采样、clipping、token 权重和超长回答做了组合调整。柔性长度惩罚没有取消生成长度上限，也不等于去掉组内标准差。详细算例见 DAPO：采样、长度和 clipping。

DPO：直接用偏好对训练

DPO 换了一个做法：在标准的离线训练阶段，不需要显式 Reward Model、Critic 或在线 rollout loop。

每条数据是 $(x,y_w,y_l)$：prompt、chosen 和 rejected。定义两条回答相对于冻结 Reference 的 log-probability 变化：

$$ \Delta_w=\log\frac{\pi_\theta(y_w\mid x)}{\pi_{\mathrm{ref}}(y_w\mid x)}, $$

$$ \Delta_l=\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\mathrm{ref}}(y_l\mid x)}. $$

DPO 优化：

$$ \mathcal L_{\mathrm{DPO}} =-\log\sigma\!\left(\beta[\Delta_w-\Delta_l]\right). $$

不用死记展开式。它只要求：

相对于 Reference，让 chosen 的提升大于 rejected 的提升。

一对回答的 loss 怎么手算，见入门篇的算一对回答的 loss：相对分差为 2、$\beta=0.2$ 时约为 0.513。

为什么不用单独训练 Reward Model？

Bradley–Terry 偏好模型写成

$$ \begin{gathered} \Delta r=r(x,y_w)-r(x,y_l),\\ P(y_w\succ y_l\mid x)=\sigma(\Delta r). \end{gathered} $$

再看带 KL 约束的奖励最大化。在 $\beta>0$ 的 KL 正则化（regularization）奖励目标下，若把优化范围看成所有满足支持条件的策略分布，并假定配分函数 $Z(x)$ 有限，最优策略满足：

$$ \begin{gathered} \pi^*(y\mid x)=\frac{\pi_{\mathrm{ref}}(y\mid x)}{Z(x)}\\ {}\times\exp\!\left(\frac{r(x,y)}{\beta}\right). \end{gathered} $$

把它反过来写，得到 $r(x,y)=\beta\log[\pi^*(y\mid x)/\pi_{\mathrm{ref}}(y\mid x)]+\beta\log Z(x)$。代回 Bradley–Terry：比较同一 prompt 的两个回答时，$\beta\log Z(x)$ 在 reward difference 中抵消，$\Delta r$ 就只剩 $\beta$ 乘以两份回答的 policy/reference log-ratio 之差。用正在训练的 $\pi_\theta$ 代替 $\pi^*$，再对偏好数据集取负对数似然的平均，就得到上面的 $\mathcal L_{\mathrm{DPO}}$。因此奖励概念没有消失，而是被隐式吸收进 policy objective。

这段推导来自 DPO 原论文 §4。它依赖奖励目标、偏好模型和支持条件；并不是证明了“所有人的真实偏好都长这样”，也不保证有限神经网络和有限数据能找到全局最优。

DPO 和 SFT 到底差在哪

如果 A 是 chosen、B 是 rejected：

$$ \mathcal L_{\mathrm{SFT}}=-\log\pi_\theta(A\mid x) $$

只告诉模型“A 值得模仿”；DPO 同时看到 A 和 B，学习的是“A 相对 B 更受偏好”。chosen 不必是唯一完美答案，原始二元偏好也通常只提供 $A>B$ 的顺序，而不直接告诉模型好多少。

$\beta$ 同时参与 Reference 约束的理论关系和 preference logit 的尺度。把它机械记成“越大越保守”容易出错：不同推导约定、loss 实现和数据尺度会影响观察到的训练行为，面试中最好先写清公式和代码库定义，再讨论调大调小。

标准离线 DPO 使用固定的偏好对。策略会变，数据不会自动跟着变，因此可能漏掉当前 policy 的新失败；分布错配是否变大，要实际测，不是必然单调增加。Online DPO 和迭代式数据刷新会重新收集反馈，所以“DPO 只能离线”不是整个算法家族的边界。

相对更好，不等于概率一定上升

用三类输出做一个小检查：

chosen 的概率下降了，但 rejected 降得更多。相对 Reference 的概率比之比为 $(0.3/0.1)/(0.4/0.3)=2.25$。取教学值 $\beta=1$，这对数据的 DPO loss 从 $\log 2\approx0.6931$ 降到 $\log(1+1/2.25)\approx0.3677$。

这不是一次真实梯度更新的轨迹，而是两组合法分布的对照：偏好损失更低，不保证 chosen 的绝对概率更高。这正是相对目标和只模仿 chosen 的区别。目标定义见 DPO 原论文 §4。

两个后续修补：

• IPO — 使用不同的偏好目标，使相对 log-ratio 拟合有限的目标间隔；不是简单在 DPO 后面加一个通用正则项。原论文
• KTO — 可以用非成对的 desirable / undesirable 标签；数据形式更灵活，但成本仍取决于实际标注流程，不能保证一定更便宜。

RLVR：让程序检查答案

数学题可以核对答案，代码可以跑测试。有可靠检查器时，可以直接把结果变成 reward，不必为这部分反馈另训 Reward Model。DeepSeek-R1-Zero 的奖励设置就是一个例子；这说的是奖励来源，并没有指定必须用 PPO 还是 GRPO。

检查器的结果很确定，不代表它完整表达了需求：只对公开测试返回写死答案的函数也能拿满分，可验证奖励用一个排序检查把这类漏洞拆开讲。它避免了这部分 learned reward 的拟合误差，却不能保证 reward hacking 更少；仍需检查测试覆盖、执行隔离和独立评估。

RLVR 适合有可验证结果的部分。复杂任务也可以混合程序检查、人工判断和 learned reward，不必把所有要求硬塞进同一个检查器。

一张表收尾

再看扩展方法，就不必只数“少了几个模型”：RLOO 改的是 baseline 的估计，REINFORCE++ 使用 batch statistics，RLVR 改的是奖励来源，DAPO 则调整了采样、clipping、token weighting 和超长回答的处理。这些选择不全在同一层，也不一定互斥。

怎么选

顺序是：先看 feedback 是否可靠，再看能否形成 online loop，最后看系统瓶颈。

选择算法时检查什么

面试时能否两分钟讲清楚

继续阅读

• RLHF 的三个阶段，和后来发生了什么：四个模型各自在干嘛，以及 GRPO、DPO 的入门算例
• 数据与反馈：偏好标签本身的质量问题
• Evaluation：怎么判断对齐之后真的变好了
• Clipping 与梯度：用同一个输入比较 Dual-clip、CISPO 与 SAPO；基础读者可以稍后再看

回到实际选择：手上有什么反馈？

参考论文

• PPO — 剪切目标与信任域
• DeepSeekMath — GRPO
• DAPO — 针对 GRPO 四个失效模式的四条改进
• Understanding R1-Zero-Like Training — Dr. GRPO，归一化项引入的长度偏置
• Back to Basics — RLOO
• REINFORCE++ — 去 Critic 但保留 PPO 的稳定化技巧
• DPO · IPO · KTO

中文导读

• 大模型中的强化学习 — 知乎 @大家好我是爱因，专栏《机器学习（machine learning, ML）小王子》，作为补充中文资料。本文按反馈、baseline 和更新目标来比较；具体公式和实现仍需回到原论文与固定版本的代码核对。