OpenAI 2025-04-16 发布 o4-mini 时写道，它在 AIME 2025 上 pass@1 99.5%、8 票投票 100%；同一段里也写明，这是允许调用 Python 解释器的结果，不该和不带工具的成绩比较。一个数字背后，计算量、指标和题目都可能不一样。读一个推理模型的分数，先问四件事：每题花了多少计算（token、样本数、工具），指标是 pass@1、pass@k 还是 maj@k，题目模型见没见过，题量够不够分出差别。
待审核草稿。 这一篇还没有经过站主审阅，事实、取舍和措辞都可能修改；引用前请回到文中链接的一手资料核对。
同一个分数，几种口径
| 指标 | 怎么算 | 部署时能不能用 | 量的是什么 |
|---|---|---|---|
| pass@1（贪心） | 温度 0 生成一次 | 能 | 单次输出；长链模型用贪心容易重复 |
| pass@1（采样平均） | 每题采 $k$ 次，取平均正确率 | 能，期望意义上 | 单次采样的期望准确率 |
| pass@k | $k$ 次里至少一次对 | 只有能自动判对错时才能 | 覆盖：答案在不在样本里 |
| maj@k（cons@k） | $k$ 次投票 | 能，答案要能判等 | 众数是不是对的 |
| best-of-k（奖励（reward）模型） | 用奖励模型挑一份 | 能 | 生成器和验证器的组合 |
| 带工具 | 允许调用解释器、搜索等 | 看产品 | 已经是另一道题 |
DeepSeek-R1 报告里的 pass@1 是第二行：温度 0.6、top-p 0.95，每题采 4 到 64 次取平均。作者说贪心解码会让长输出重复、检查点之间波动大。所以同样叫 pass@1，贪心和采样平均可能差不少，要看脚注。投票为什么有时帮倒忙，见第 1 篇。
手算 pass@k 的无偏估计
每题采 $n$ 份，其中 $c$ 份正确。Chen 等（2021-07）给出的无偏估计是：
$$ \text{pass@}k=\mathbb{E}_{\text{题目}}\left[1-\frac{\binom{n-c}{k}}{\binom{n}{k}}\right] $$
方括号里减去的，是“从 $n$ 份里不放回地抽 $k$ 份，全是错的”的概率。取 $n=10$、$c=3$：
| $k$ | 无偏估计 | 直接代入 $1-(1-c/n)^k$ |
|---|---|---|
| 1 | 0.300 | 0.300 |
| 5 | $1-\binom{7}{5}/\binom{10}{5}=1-21/252\approx0.917$ | 0.832 |
| 10 | 1（10 份里有对的） | 0.972 |
直接代入的写法平均来说偏低，因为 $1-(1-x)^k$ 是凹函数。Yue 等用的就是这个估计，$n$ 取曲线最右端的 $k$，AIME 和 AMC 上是 1024。
在相同计算下比较
“模型 A 想 2 万 token 得 78%，模型 B 想 2,000 token 得 70%”，还不能说 A 更强。计算量至少有四种单位：
- 输出 token：最容易拿到，API 也按它计费，思考 token 算在输出里。
- 样本数：并行方法常用，但每份样本的长度可以不同。
- FLOPs：每个生成 token 约 $2N$，$N$ 是参与计算的参数量（MoE 只算激活参数）；上下文很长时，attention 和 KV cache 的开销还要往上加，见 KV cache 与推理。
- 延迟和美元：取决于并行度、硬件和价格，随时间变。
手算一次，数字是教学用的。模型 A 有 80 亿参数，想 2 万 token；模型 B 有 700 亿参数，只生成 2,000 token。按 $2N$ 估算，A 花 $2\times8\times10^{9}\times20{,}000=3.2\times10^{14}$ FLOPs，B 花 $2\times70\times10^{9}\times2{,}000=2.8\times10^{14}$ FLOPs，两者几乎一样。“A 多想了 10 倍”在 token 上成立，在 FLOPs 上不成立，按 API 价格算又是另一笔账。所以比较时要画曲线：横轴用同一种计算单位，纵轴是准确率，看谁的曲线在上面，而不是各报一个点。
公开记录里的例子：ARC Prize 2024-12-20 测 o3 在 ARC-AGI-1 半私有集上，高效率配置（6 个样本）75.7%，低效率配置（1024 个样本，约 172 倍计算）87.5%，同一个模型差了 12 个点，所以 ARC Prize 把每任务成本和分数一起公布。同一篇博文写明，测的版本用了 75% 的公开训练集训练；2025-04 的更新又说明，OpenAI 确认这个版本和后来发布的 o3 不同。FEval-TTC（2025-11）提出一套固定 few-shot 提示、答案抽取和成本模型的评测协议，用 token 和美元两种口径比较不同的测试时方法。按 FLOPs 和推理负载换算“测试时计算能不能顶替更大的模型”，见第 1 篇里 Snell 等的那张表。
RL 只是在“锐化”吗：pass@k 之争
Yue 等（2025-04，NeurIPS 2025 oral）在数学、代码和视觉推理上比较基座模型和用可验证奖励 RL 训练后的模型：$k$ 小（比如 1）时 RL 模型更好；$k$ 大时基座反超，而且训练越久，可解的题越少。摘要的结论是“the current training setup does not elicit fundamentally new reasoning patterns”，即目前的训练方式没有激发出根本上新的推理模式。他们用困惑度（perplexity）说明 RL 模型生成的推理路径本来就在基座的采样分布（sampling distribution）里；六种 RLVR 算法表现相近，离“把基座的潜力用满”还很远；蒸馏则能带来老师的新推理模式，在所有 $k$ 上都高于基座。为了排除“蒙对”，他们人工检查了难题上的思维链：AIME 2024 上平均正确率低于 5% 的题里，基座答对了 7 道，除去 1 道判断不清的，6 道里有 5 道至少有一条正确的思维链；RL 模型答对 6 道，其中 4 道有。
算一次：为什么 $k=1$ 和 $k=100$ 会给出相反的结论
教学例子。两道题，基座的单次正确率是 (0.5, 0.02)，RL 之后是 (0.95, 0)：RL 把容易题练得更稳，却把难题上偶尔的成功练没了。每题 pass@k $=1-(1-p)^k$，两题取平均：
| $k$ | 基座 | RL 之后 |
|---|---|---|
| 1 | 0.260 | 0.475 |
| 3 | 0.467 | 0.500 |
| 4 | 0.508 | 0.500 |
| 100 | 0.934 | 0.500 |
$k=1$ 时 RL 几乎翻倍；$k=4$ 时已被反超；$k=100$ 时基座在难题上也有 $1-0.98^{100}\approx0.867$ 的覆盖。平均 pass@1 上升和平均 pass@k 下降可以同时成立，对齐税从多样性（diversity）的角度讨论过这种情况。
反方和补充
| 工作 | 主张 | 证据和条件 |
|---|---|---|
| ProRL（NVIDIA，2025-05） | 足够长的 RL 能扩展边界 | 从 DeepSeek-R1-Distill-Qwen-1.5B 出发，2,000 多步、五个领域共 13.6 万道题，加 KL 控制和参考策略重置；报告在基座怎么采都解不出的任务上也有提升，提升大小和基座能力、训练时长相关 |
| Wen 等（微软亚洲研究院等，2025-06） | pass@k 会把蒙对算成功 | 提出 CoT-Pass@k，推理和答案都对才算；按这个口径，RLVR 扩展了数学和代码上的推理边界 |
| Yuan 等（2025-09） | RL 能把已有技能组合成新技能 | 合成的字符串函数任务：模型已会 $f$ 和 $g$ 时，RL 能学会没见过的组合 $g(f(x))$，并迁移到别的任务；同样的数据做下一 token 预测训练则没有这个效果 |
| Wu 等，“Invisible Leash”（2025-07，v5 2026-10-14） | 逐题看，收缩多于扩展 | 逐题匹配已验证的成功：在评测的模型和基准上，失去成功的题多于新获得成功的题，同时 pass@1 在上升 |
| Shao 等，Spurious Rewards（2025-06，v2 2026-02） | 一部分 RL 收益来自激活已有行为 | Qwen2.5-Math-7B 用随机奖励训练，MATH-500 也涨 21.4 个点（真实奖励是 29.1）；Llama3、OLMo2 上没有这种效果；作者归因于 GRPO clipping 带来的偏差 |
截至 2026 年 10 月，这场争论没有共识，各方结论都依赖条件：基座本来会什么，训练多久，题目覆盖哪些领域，$k$ 取多大，有没有检查推理过程。读这类论文时，先把这几项找出来。
题目见过没有：污染和饱和
题量决定能分出多大的差别
AIME 每年两场、各 15 题，一共 30 题，一道题就是 3.3 个点。每题采 64 次求平均，能压低“同一道题这次对、下次错”的噪声，却改变不了“只抽到这 30 道题”。把 30 道题看作从同类题里抽的样本，准确率 80% 时，95% 置信区间的半宽约 $1.96\sqrt{0.8\times0.2/30}\approx0.14$，也就是 14 个点；GPQA Diamond 有 198 道四选一题，同样 80% 时约 5.6 个点。两个模型在一年的 AIME 上差 5 个点，说明不了什么。更系统的配对比较见分数涨了，究竟能说明什么。
见过的题
- AIME 2024。 MathArena（2025-05，v3 2026-01）在每场新比赛的题目公布后立刻评测。对照 AIME 2024 和 2025，并按人类分位数校正年份之间的难度差，多数模型在 2024 年的题上高出 10–20 个点，QwQ-32B-Preview 高出近 60 个点；HMMT 上差得少得多。他们还发现 AIME 2025 有 8 道题在网上能找到相似版本，多是简单题。
- DeepSeek 自己的检查。 R1 的 v2 报告用 10-gram 匹配去污染，光数学领域就删掉约 600 万份预训练（pre-training）文本，但承认这挡不住改写过的题，2024 年以前发布的基准可能受污染。他们另测了训练之后才出的 AIME 2025，pass@1 75%，而 AIME 2024 是 79.8%。
- SWE-bench Verified。 OpenAI 2026-02-23 宣布不再报告它：在 o3 跑 64 次也不能稳定解决的 138 道题里，59.4% 的测试或题目描述有实质问题（35.5% 的测试卡死了实现细节，18.8% 测了题目没要求的功能）；他们测过的前沿模型都能对部分题复述出原始修复补丁或题面细节；过去 6 个月最好成绩只从 74.9% 涨到 80.9%。他们改为推荐 SWE-bench Pro。
- GPQA。 原论文在数据里放了 canary 字符串，并请大家不要以明文公开题目，以减少题目进入训练语料。Diamond 子集的 198 题，要求两位专家都答对（或第二位的错误有据可查）、多数非专家答错。
饱和
- 只看最终答案的竞赛题已经接近满分：o4-mini 带 Python 在 AIME 2025 上 pass@1 99.5%（OpenAI，2025-04-16，自报）；DeepConf 让 GPT-OSS-120B 采 512 份、按置信度过滤，在 AIME 2025 上 99.9%（Meta AI 等，2025-08，自报）。DeepSeekMath-V2（2025-11）的作者也写道，用最终答案奖励做 RL，一年之内就让 AIME、HMMT 这类竞赛饱和了，所以他们转向证明。
- ARC-AGI 换了三代：ARC-AGI-1 上 o3 用 1024 个样本到 87.5%（2024-12-20）；ARC-AGI-2 论文（2025-05）里 o3（medium）只有 3.0%，作者说低于 5% 的分数主要是噪声；ARC-AGI-3（2026-03-25）改成没有任何说明的交互式游戏环境，发布时人类 100%，前沿 AI 0.51%。之后的排行榜读数在二手来源里互相矛盾，这里不列。
读到一个说法，先问什么
| 你读到的说法 | 先问什么 | 本系列里的例子 |
|---|---|---|
| “AIME 上 9x%” | 哪一年的题？pass@1 是贪心还是采样平均？投没投票、带没带工具？30 道题的区间多宽？ | o4-mini 带 Python 99.5%；AIME 2024 疑似污染 10–20 个点 |
| “想得越久越准” | 横轴是 token、effort 档位还是样本数？同一个模型吗？从哪里开始变平？ | s1 强制延长到第 6 次后不再涨；Gema 等构造的反向缩放任务 |
| “小模型加测试时计算打败大模型” | 等 token 还是等 FLOPs？推理负载 $R$ 多大？题目难度分布怎样？ | Snell 等：简单题、低推理负载时成立，难题上不成立 |
| “RL 让模型学会了新的推理能力” | 大 $k$ 下 pass@k 也高于基座吗？检查过推理过程吗？换个模型族还成立吗？ | Yue 等与 ProRL；随机奖励在 Qwen2.5-Math 上也涨分 |
| “验证器挑答案到了 9x%” | 生成器固定吗？N 多大？验证器在留出数据上放过多少错解？ | Lightman 等每题 1860 选 1；$f=0.1$ 时上限 87% |
| “思维链显示模型在做 X” | 有没有干预实验？用了提示时说出来的比例是多少？ | Chen 等：25% 和 39% |
| “新基准刷新纪录” | 基准是否已经做满或被污染？测试本身有没有错？ | SWE-bench Verified 2026-02-23 被停报 |
| “ARC-AGI 上 xx%” | 哪一代？每个任务花了多少计算？ | o3 的 75.7% 和 87.5% 相差约 172 倍计算 |
这条线接下来看什么
下面是开放问题，以及什么样的结果会改变现在的判断；不是预测。
- 等计算量报告会不会成为惯例。 ARC Prize 从 2024-12 起把每任务成本和分数一起公布，多数模型发布仍只给单点分数。公开“准确率–token”或“准确率–美元”曲线的报告越多，跨模型比较越可信。
- pass@k 之争怎么收尾。 Wu 等的逐题分析 2026-10-14 还在更新。跨多个模型族、检查推理过程、等训练算力的复现，会决定“RL 只是锐化”这句话能说到什么程度。
- 新尺子能用多久。 MathArena 持续用新竞赛题评测；ARC-AGI-3 发布时前沿 AI 只有 0.51%；OpenAI 推荐了 SWE-bench Pro。看这些基准多快被做满，以及会不会出现新的污染证据。
- 预算分配本身成为被测的能力。 Fan 等（2026-08）把“几道题共享一个预算”做成了评测。如果实验室开始报告这类分数，“想多久”就从产品开关变成了模型能力的一部分。
最后：复习题。
本页术语 5
- 奖励 reward
- RL 里指导策略更新的标量信号
- 困惑度 perplexity
- exp(交叉熵)，语言模型的常用指标
- 采样分布 sampling distribution
- 训练候选被抽中的概率分布，它决定模型经常看到哪类边界
- 多样性 diversity
- 结果之间在主题、来源或其他指定维度上有多大差异
- 预训练 pre-training
- 先用大量数据学习通用表示和能力，再适配具体任务