这组对照最值得观察什么
厂商称 GLM-5.3 与 5.2 使用同一基座。若这一前提成立，我们可以少考虑一个起点差异，却不能直接回答“哪项后训练（post-training）改动贡献最大”。
看这组结果时，可以先问三件事：究竟改了什么，分数是在什么预算下得到的，训练和采样是否算出了相同的概率。把这些问题分开，才比较容易判断一个结论有没有足够的证据。
为什么这更像一次受限的自然对照
共享基座不等于每个后训练阶段都从同一 checkpoint 开始，也不等于固定了训练数据、目标、训练算力、采样系统或评测条件。比较前要分别列出“据称没变的”“明确改变的”和“没有披露的”，不能把第三类默认为控制变量。
例如，两套方案同时更换训练任务与 rollout 调度器，即使最后的任务成功率提高，也无法只凭最终分数把收益分给其中一项。若要估计调度器的作用，可以固定任务和训练目标，比较相同训练预算下的结果；若两者有交互，再做组合消融（ablation）。
⚠️ 下列数据均为厂商自报，本文没有复现。同基座对照缩小了归因范围，并没有自动成为单变量因果实验。
数字
这里只保留两项公开基准与一个独立的预算对照，均来自 GLM-5.3 发布。
| 基准 | 5.2 | 5.3 |
|---|---|---|
| Terminal-Bench 3.0 | 4.6% | 28.3% |
| DeepSWE v1.1 | 46.2% | 66.9% |
发布口径：Terminal-Bench 使用 Claude Code 2.1.207、avg@3；DeepSWE 使用 mini-swe-agent。不要把这两行当成相同计分协议。 例如三次结果为 [0, 0, 1]，取平均是 $1/3$，取“至少成功一次”则是 $1$。读取 avg@3 时不能偷偷换成后者；正式复现还需核对发布脚注里的时间、上下文、采样及工具限制，并确认两版本是否同口径重跑。
下面是私有 Z.ai Code Bench 的另一组数字，不是上表两项基准的 token 用量：
| 模型 | Effort | 发布分数 | 每任务输出 token（约） |
|---|---|---|---|
| GLM-5.2 | Max | 23.4% | 96k |
| GLM-5.3 | Max | 34.5% | 75k |
| GLM-5.3 | High | 31.4% | 50k |
这里暂用“发布分数”，因为目前核对到的正文没有说明这些百分数对应原图中的哪条指标轴。要细究评分和聚合方式，还需要核对原图与评测协议。
- 同 effort 标签： Max 对 Max，token 降幅为 $(96-75)/96=21.875\%$。但“都叫 Max”也不代表实际推理计算量相等。
- 跨 effort： 旧 Max 对新 High，降幅为 $(96-50)/96\approx47.92\%$。可以把它作为不同设置下的质量—输出长度对照，不能写成只改变模型而其他设置全不变的实验。
- 不要过度解释输出长度： token 更少不等于时延、价格或训练成本同比下降，更不能单凭平均输出长度认定推理路径已经更好。还应看每题结果、失败轨迹及实际资源消耗。
但第一行那个数字要小心读
先区分相对增幅与百分点变化，再问题目难度和计分方式。低基线（baseline）本身不能说明缺了哪类训练；DeepSWE 上 46.2% 的中等起点，也不能单独当作“哪项改动起了作用”的更有力证据。 GLM-5.2 的发布已描述长程编码训练；仅凭某个新基准的低分，不能推断这类训练不存在。
一个合成反例：假设任务有 25 个独立步骤，全部正确才通过，每步成功率相同。若每步成功率从约 88.41% 提高到约 95.08%，整体成功率就能从 4.6% 提高到 28.3%：
$$ 0.046^{1/25}\approx0.884118,\qquad 0.283^{1/25}\approx0.950761. $$
这是独立步骤假设下的教学模型，不是对 GLM 轨迹的拟合。它只说明：错误累积就能产生低总分，不能从总分反推出“基本没训练过”。现实中还要检查任务覆盖、工具失败、预算截断和验证器规则。
真正值得看的是他们改了什么
发布材料区分了沿用的 slime / SAO 与上下文压缩，以及扩大的环境、任务和训练计算量；还有后续算法与系统工作。来源
因此，分析时更有用的是下面三类问题，而不是把所有组件都列成“本版新增”：
- 沿用的机制： 旧版是否已经具备？同一组件在两版中是否用了相同配置？
- 扩大的训练投入： 更多样的任务、更多轨迹和更多计算是否一起变化？比较的是固定算力下的效率，还是投入更多后达到的质量？
- 新增或调整的机制： 有没有独立消融？吞吐提升是否转化为固定预算下的质量提升，还是只缩短了同一训练任务的耗时？
组件数量不是贡献比例。两个系统改动加一个算法改动，不能据此推出“多数质量收益来自系统”。上下文压缩也可能同时改变任务可完成性、可见信息和学习轨迹，不能简单归为只影响能否跑完的工程开关。
训练—推理对齐：先检查比率，再看误差统计
先记号约定：$q(a\mid s)$ 是实际 rollout 的采样概率，$p_\theta(a\mid s)$ 是训练侧评估的目标概率。对 $q(a\mid s)>0$ 的动作，比率为：
$$ r_\theta(a\mid s) =\frac{p_\theta(a\mid s)}{q(a\mid s)} =\exp\!\left(\log p_\theta(a\mid s)-\log q(a\mid s)\right). $$
这里用一个状态下的条件概率说明问题，不是完整 PPO 实现。若采样还用了温度、截断或 mask，原始模型 logprob 未必就是实际 $q$。重要性加权还需要相应的支持集条件；目标有正概率、采样却永不产生的动作，不能靠这批样本恢复。
一个故意放大差异的小例子： 权重还没更新，但两个实现算出的分布分别是：
$$ q(\cdot\mid s)=(0.5,0.5),\qquad p_{\theta_0}(\cdot\mid s)=(0.6,0.4). $$
于是两个 token 的比率分别为 $(1.2,0.8)$，不是统一乘上同一个常数。一般而言，差异会随状态和 token 改变。这个例子不代表任何真实模型的误差大小；它只是说明“相同权重”不自动等于“相同概率分布”。
这样的比率不一定算错：若 $q$ 确实是行为分布，它可以是在表达真实的离策略差异。要判断更新是否符合预期，还需检查 rollout 的权重版本、采样概率、目标定义与裁剪方式；不能一看到不等于 1 就宣布梯度有偏。
发布所报的是 logprob 平均差异约 $10^{-7}$，不是所有状态和 token 的最大误差保证。即使统计的是绝对误差，$10^7$ 个位置中一个误差为 1、其余为 0，平均也只有 $10^{-7}$；若是带符号均值，还可能正负抵消。
所以应先确认均值的定义和测量样本，再看分位数、最大值及不同长度、精度和采样配置的切片（slice）。小均值值得关注，但不能证明所有轨迹已对齐，更不能证明每一步更新都正确。
这次对照能告诉我们什么
一、固定起点能缩小问题，却不会消除其他变量。 读者可以先把注意力放在后训练与评测设置，但仍要靠受控比较区分贡献。
二、不要把“能力被调用出来”当成已经证明的机制。 行为改善可能涉及新学习、已有行为更稳定，或两者兼有。相同初始权重既不能区分这些解释，也没有测出不可改变的能力上界。
三、系统和算法应在共同预算下讨论。 一个实用对照是同时报告任务质量、训练资源和推理资源，而不是先宣布某一类改动必然更重要。
这次对照没告诉我们什么
- 跨任务与跨基座的可迁移性。 一组编码任务上的比较，不能替代其他能力、其他基座上的评测。
- 有没有退化。 没报告的维度要另测；没有提到退化，不等于没有退化。
- 完整成本。 环境数量不能直接换算训练算力，更不能推断成本倍数；需要实际训练时长、rollout、验证与服务资源账单。
- 哪项改动贡献最大。 缺少控制变量和消融时，应保留多种解释，不把工程直觉写成实验结论。
解读这类对照实验时检查什么
- 分数的任务、版本、聚合方式、harness、重试与预算都对齐了吗？
- 当前比较是同 effort 标签、同实际计算预算，还是跨设置的质量—成本对照？
- 哪些组件是沿用的，哪些只是扩大投入，哪些确实做了独立消融？
- logprob 的差异按什么样本和统计量计算？分母是否对应实际采样分布（sampling distribution）？
- 低基线还有哪些解释？成本、失败样本和未报告的能力是否另行测过？
继续阅读
- PPO、GRPO 与 DPO：反馈怎样变成一次更新：理解目标和约束
- RLHF 的三个阶段：区分训练角色（optimization role）与数据来源
- 双塔检索：检查训练与候选（candidate）池的定义
资料来源
- GLM-5.3 厂商发布，2026-08-14：表格、预算与发布范围。
- GLM-5.2 厂商发布，2026-06-16：前序训练与沿用机制的背景。
核对日期：2026-10-10；读取的是官方页面的索引正文，非二手转述。未复现模型、私有评测或训练系统；表格不能代替完整评测协议。文中的概率与算术反例均为独立构造，不是厂商实验。
快速学习：同基座对照能证明什么
Natural experiment、confounders 与 train–serve alignment
快速记忆：固定起点不等于固定过程；同名 effort 不等于同等计算；平均误差不等于最大误差。
面试回答
先把厂商观测与自己的解释分开。对齐任务、计分和预算，再区分沿用组件、规模变化与独立消融。检查概率时，明确实际采样分布和训练目标；检查误差时，同时看均值、尾部与测量范围。没有控制实验，就不要按改动名称分配收益。
深挖：怎样设计更有解释力的对照？
先选要估计的因素，例如是否启用某个调度策略；固定初始权重、训练数据、目标与评测协议。明确预算是固定训练时间还是固定样本数，记录另一项的变化，重复运行并报告不确定性。若任务分布也必须改变，就把它列为第二个因素，而不是藏在“其他相同”里。
本页术语 7
- 后训练 post-training
- 预训练之后为特定任务和行为做的所有训练
- 消融 ablation
- 去掉一个组件再测一次，用来判断它到底有没有贡献
- 基线 baseline
- 用来比较新方法的参考方法或配置
- 切片 slice
- 按内容或用户属性划分的子群体，用来检查平均值掩盖了什么
- 采样分布 sampling distribution
- 训练候选被抽中的概率分布，它决定模型经常看到哪类边界
- 训练角色 optimization role
- 样本在具体 loss 中扮演 positive、negative 或 distractor 等角色
- 候选 candidate
- 召回阶段捞出来、等待精排挑选的内容