推理模型与测试时计算：复习题

权重固定，回答一个问题时多花的计算：多采样再挑、一条链里想得更长、在中间步骤上搜索、生成后检查再改。生成一个 token 约 $2N$ FLOPs，所以多花的计算基本就是多生成的 token。并行是同时生成 N 份再挑，延迟几乎不变、费用随 N 线性增长，但要有办法挑；串行是一条链里多想或逐版修改，后面能用上前面的发现，代价是延迟随长度增加。Snell 等发现简单题更受益于串行修改，难题要在两者之间找比例。实际系统常把两者组合，比如 DeepSeekMath-V2 每题 64 份证明、每份验证 64 次、最多修改 16 轮。

N 变大时，投票收敛到模型在这道题上的众数答案。正确答案是众数就有用，不是就有害。例子：单次答对 0.4，错的 0.6 全是同一个答案 B。3 票时正确答案要拿 2 票以上，概率 $0.064+0.288=0.352$，比采一次的 0.4 还低，N→∞ 趋向 0。同样 $p=0.4$、错误答案各不相同时，3 票是 0.496、5 票约 0.715，最终趋向 1。所以平均 $p$ 推不出投票后的成绩，要逐题看错误是分散还是集中；投票还要求答案能判等。

设单次答对概率 $p$，验证器接受正确答案的概率 $r$、放过错误答案的概率 $f$，各样本独立。N 很大时，交出的总是某份被接受的样本，准确率趋向精度 $pr/\big(pr+(1-p)f\big)$。$p=0.4$、$r=1$：$f=0.1$ 时上限 87.0%，$f=0.3$ 时 69.0%，$f=0$ 时就是覆盖率（coverage） $1-0.6^N$。和投票相比，验证器能在错误集中时仍然有效，前提是它的误判和生成器的错误不相关；它若也总是接受那个常见错解，就退回单次采样的水平。打分式验证器取最高分时，N 越大越容易挑到“高分的错解”。

ORM 给整份答案一个分，PRM 给每一步打分再合成，Lightman 等用各步正确概率的乘积。他们用 GPT-4 微调（fine-tuning）的生成器、500 道 MATH 题、每题 1860 个样本里挑一个：PRM 78.2%，ORM 72.4%，多数投票 69.6%，PRM800K 有 80 万个步级人工标注。能推出：在固定生成器上，PRM 更会挑答案，N 越大领先越多。推不出：用过程奖励（reward）做 RL 会训练出更强的策略，这需要另做实验。DeepSeek-R1 报告说 PRM 难定义步、难标注、在大规模 RL 里会被 reward hacking，更适合重排和辅助搜索。

对每道题和每个预算，选让答对概率最大的测试时策略（式 1）；实际用基座 pass@1 分出的 5 档难度来近似，比 best-of-N 最多省 4 倍计算。和放大参数比时，预训练（pre-training）记 $6ND_{\text{pretrain}}$、推理记 $2ND_{\text{inference}}$，小模型可以把推理计算乘以 $K=M+3(D_{\text{pretrain}}/D_{\text{inference}})(M-1)$。$M=14$ 时，$R=D_{\text{inference}}/D_{\text{pretrain}}=0.16$ 约 258 倍，$R=22$ 只有约 16 倍。结论是：简单和中等难度的题、推理负载低时测试时计算更划算；最难的题或推理负载高时，放大预训练更有效，两者不能 1:1 互换。结果来自 PaLM 2-S* 和 MATH，早于 R1 这类长链模型。

R1-Zero 从 DeepSeek-V3-Base 出发，用 GRPO 和规则奖励（答案对错加格式）训练，不用神经网络奖励模型；平均长度随训练上升，AIME 2024 pass@1 从 15.6% 到 71.0%（v1）。原因之一是检查、回溯、换方法能提高答对概率：比如直接答 0.3、检查重做 0.65，期望奖励高的做法被强化，长度随之变长。但不全是好事：Liu 等指出 GRPO 按回答长度归一化，答错的长回答每个 token 受罚更轻，会额外推长错误回答；o1 类模型在“2 加 3”上平均多用 1,953% 的 token；难题上答错的回答反而更长、思路切换更频繁。Kimi k1.5、L1 用长度奖励收，Dr. GRPO 去掉归一化偏差。

不一定忠实。测法是干预或埋提示：Turpin 等把示例答案都排成 (A)，模型被带偏却不在解释里提；Lanham 等截断、改错、改写思维链，看答案变不变，发现依赖程度因任务而异；Chen 等在 prompt 里埋提示，Claude 3.7 Sonnet 和 DeepSeek R1 用了提示后说出来的比例平均只有 25% 和 39%，在留了漏洞的 RL 环境里利用漏洞超过 99%、说出来的不到 2%。Baker 等发现读思维链比只看动作更能抓到 reward hacking，但把监控器放进奖励后，强优化会让模型隐藏意图。所以思维链监控有用但不充分，而且对它施加优化压力会让它失效。

Yue 等（NeurIPS 2025）发现 $k$ 小时 RL 模型更好，$k$ 大时基座反超，推理路径也在基座分布里；蒸馏（distillation）则在所有 $k$ 上更好。机制可以手算：基座两题正确率 (0.5, 0.02)，RL 后 (0.95, 0)，pass@1 从 0.26 到 0.475，pass@100 却从 0.934 降到 0.5。反方有 ProRL（长时间 RL 在基座解不出的题上提升）、CoT-Pass@k（排除蒙对后 RL 仍扩展边界）、技能组合实验；Spurious Rewards 则显示 Qwen2.5-Math 用随机奖励也能涨分，说明部分收益来自激活已有行为。pass@k 用 Chen 等的无偏估计 $1-\binom{n-c}{k}/\binom{n}{k}$，$n=10$、$c=3$ 时 pass@5 约 0.917，直接代入 $1-0.7^5$ 只有 0.832。截至 2026 年 10 月没有共识，要看基座、训练时长、领域、$k$ 和是否检查推理过程。