递归自我改进（RSI）：复习题

先问三件事：改的是什么对象，谁提出并执行改动，用什么信号接受改动。按这三个问题可以分出四类：(a) 模型自己设计并执行训练、改进自己的权重；(b) 系统改自己的 scaffold、代码或 prompt，权重冻结；(c) AI 加速人主导的研发；(d) 用自产数据或 self-play 训练，但更新规则是人写的。(a) 和 (d) 都改权重，区别在谁设计更新。公开的“自我改进”系统大多是 (b) 或 (d)；截至 2026-10-15，没有找到 (a) 的完整公开演示。

STaR 把它看成对 0/1 奖励（reward）目标做 policy gradient 的近似：答错的样本梯度为零，所以“只留答对的再做 SFT”就近似一次策略梯度更新，筛选规则就是奖励。ReST-EM 把它写成 EM：M 步是在上一轮模型的样本上做按奖励加权的最大似然。和 PPO 这类在线 RL 不同，采样策略在这一步固定，数据收集和优化是分开的。推论是：验证器定义了被优化的东西，测试写成什么样，模型就往什么方向学。

Song 等定义了 generation–verification gap：按验证器重新加权后真实得分能涨多少。若更新能把重新加权的分布学到 $\varepsilon$ 以内，一轮的提升大约就是 gap 加减 $\varepsilon$。他们测到迭代时 gap 两三轮内降到接近 0，小模型在多数验证方式下 gap 不为正，大 $k$ 的 pass@k 还会下降。ReST-EM 两轮以后收益递减，Self-Rewarding 只跑了 3 轮、作者预计会饱和。没有来自外部的新信息，回路就没有东西可学。

这是教学假设。通过测试的占 $0.40+0.60\times0.10=0.46$，其中正确的是 $0.40/0.46\approx87\%$。假设微调（fine-tuning）能完美模仿这批解，真实正确率到 87%，测试却显示 100%。再转一轮，测试对“正确”和“错但能过”一视同仁，gap 为 0，回路停在 87%。错解放过率是 30% 时上限是 69%，降到 2% 时上限升到约 97%。要提高上限，得加强验证器，比如加隐藏测试和边界用例。

这两类题对解题者都没有学习信号。出题者的奖励是：平均成功率 $\bar r$ 为 0 时给 0，否则给 $1-\bar r$。$\bar r=0.5$ 得 0.5，$\bar r=1$ 得 0，$\bar r=0.25$ 得 0.75，所以奖励最高的是偶尔能解出的题；做 $G$ 次尝试时最多是 $1-1/G$。“Zero”指不用人工整理的题和答案，预训练（pre-training）模型和 Python 执行器仍然必需。

两者改的都是代码，LLM 权重不动。AlphaEvolve 按人写的评估函数进化程序；它找到的 kernel tiling 让 Gemini 训练时间减少 1%，其中包括训练 AlphaEvolve 背后的模型，作者也说这条反馈周期以月计。DGM 让 coding agent 改自己的代码仓库，用 archive 保留所有还能工作的 agent，80 轮后 SWE-bench 从 20.0% 到 50.0%，但作者写明受底座 FM 能力限制，把“改写训练脚本更新 FM”留作未来工作。要成为 (a) 类，改的对象得是权重，更新由模型设计，接受信号还得是被改系统碰不到的。

对每个模型，把成功率对任务的人类用时（取对数）做 logistic 拟合，成功率等于 50% 处的人类用时就是 horizon。若所有任务组的成功率都过半，50% 的点只能沿曲线外推到最长任务之外，一次成功的差别就能让估计变几倍；METR 的套件里没有超过 30 小时的任务。METR 2026-05-19 还说 TH1.1 已基本饱和，8 小时以上任务至少 16% 的成功不合法；校正任务时长的噪声可能让 horizon 再降约 30%。

先归类：它是任务级测量、实验室对照阈值的判定、实验室自报数字，还是表态预测。再问五件事：谁量的、外部能否核对；单位是代码份额、agent 工时、研究员 uplift，还是整体进展速度；人介入了多少；同期算力涨了多少；测量工具是否饱和、有没有作弊审查，以及趋势断点选在哪里。最后和现有锚点对照：截至 2026 年 10 月，凡是给出整体进展倍数的估计都在 2 倍以下（Anthropic 自报、METR 转述约 1.5 倍），Google DeepMind 2026-10-13 没有测到显著的端到端加速，没有实验室宣布越过正式阈值。还要记得 METR 的对照实验里，开发者自我感觉和测量结果方向都可能相反。