推理模型与测试时计算：多想一会儿，什么时候有用

同一个模型、同一道竞赛题，只采样一次，和采样 64 次再投票、或者让它先想几万个 token，准确率可能差十几个点，花的钱也能差几十倍。2024 年以后的“推理模型”把这件事做成了训练目标和产品开关。多花推理计算要起作用，需要两个条件：模型有相当的概率碰到正确答案，并且有办法把对的那份挑出来，或者让模型在一条链里自己改对。缺一个，多想只是多花钱。

待审核草稿。 这一篇还没有经过站主审阅，事实、取舍和措辞都可能修改；引用前请回到文中链接的一手资料核对。

测试时计算指什么

权重训练完就不再改，回答一个问题时多花的计算都算测试时计算（test-time compute，也叫 inference-time compute）。生成一个 token 大约要 $2N$ 次浮点运算（$N$ 是参数量，不计 attention），所以多花的计算基本就是多生成的 token；Snell 等（2024-08）就按 $2N$ 乘以推理 token 数来记账。花法有四种，实际系统常常组合使用：

两条轴：并行和串行

并行是同时生成 N 份互不依赖的回答，再用投票或验证器挑一份。只要服务端放得下，延迟几乎不随 N 增加，费用随 N 线性增加。串行是在一条链里多想，或者看着上一版改下一版：后面的步骤能用上前面的发现，代价是延迟跟着长度涨。

Snell 等在 PaLM 2-S* 和 MATH 数据集上发现，各种方法的效果“critically varies depending on the difficulty of the prompt”（摘要），即很大程度上取决于题目难度，两条轴适合的题也不一样：简单题从串行修改里得到的收益更多，难题上最好在两边之间找一个比例。今天的系统多半两条都用。DeepSeekMath-V2（2025-11）每题先生成 64 份证明、每份验证 64 次，再挑高分的修改，最多迭代 16 轮；OpenAI 的 GPT-5 system card（2025-08）说 ChatGPT 里的 gpt-5-thinking-pro 用的是“并行测试时计算”设置；Google DeepMind 说在 IMO 2025 拿到金牌分数的 Gemini Deep Think 会同时探索并组合多个候选（candidate）解。后两者没有公开具体做法。

本系列用同一个教学例子：一道答案可以核对的数学题，模型单次答对的概率是 $p$。 第 1 篇看采样多少次、怎么挑；第 2 篇看一条链怎么被训练得更长，长度又怎么控制；第 3 篇看发布里的数字该怎么比较。

时间线

哪些已经比较确定，哪些还在变

每格都对应一条带日期的公开记录；“接下来看什么”写的是什么样的结果会改变判断，不是预测它会发生。

这一组怎么读

先读这些会更顺：解码策略（采样参数）、拒绝采样与 best-of-N、可验证奖励、GRPO 的组相对信号和 DAPO。相邻的几篇：生成、验证、再训练讲同一个验证器上限在训练回路里的样子；Agent 选模型讲“谁决定要不要思考”；Looped Transformer讲不写出 token、在隐藏状态（hidden state）里多算几圈；judge 的可靠性见 LLM-as-a-Judge。

1. 多采样、投票与验证器：投票为什么只在正确答案是众数时有用，验证器的误判率怎样定下上限，过程奖励模型和搜索，以及 Snell 等的 compute-optimal 到底说了什么
2. 长思维链是怎样训练出来的：R1-Zero 做了什么、长度为什么涨，蒸馏（distillation），想多久怎么控制，想太多与想太少，思维链是否忠实
3. 怎么比较、怎么读数字：等计算量比较，pass@1、pass@k 与 maj@k，“RL 只是锐化”之争，污染与饱和
4. 复习题：面试题和自检

本页术语 6

奖励 reward

RL 里指导策略更新的标量信号

候选 candidate

召回阶段捞出来、等待精排挑选的内容

覆盖率 coverage

结果覆盖了多少目标内容或类别，计算前需要说清范围和分母

预训练 pre-training

先用大量数据学习通用表示和能力，再适配具体任务

隐藏状态 hidden state

递归模型在时间步之间传递的压缩表示

蒸馏 distillation

用一个模型的输出训练另一个通常更小的模型