“世界模型”可能指一个在潜在空间里预测下一步的强化学习(reinforcement learning, RL)组件,也可能指一个按键就能走进去的生成视频;“自我改进”可能是模型筛选自己的答案再训练,也可能是实验室说 AI 写了大半代码。同一个词背后常常是几件不同的事,先分清是哪一件,再看证据。 这个板块放的就是这类还在变化的方向。
为什么单独放一块
这里的内容变化快,过半年就可能有新系统、新说法,所以每篇都标了“最近审阅”,按 6 个月复核。站内其他板块讲的方法大多已经定型;这里更多是在帮你读懂新消息:它测了什么,在什么条件下测的,又有哪些只是声明或预测。
收进来的方向要满足两点:已经在改变实际的系统设计,并且有可以核对的公开证据。只是最近很热的词,不单独开篇。
每个系列都把三类内容分开写:已经比较确定的结论、还在快速变化的部分、接下来值得盯的信号。快变的事实都写明日期,以及是谁、在什么条件下测的;公司自己报告的数字标成“自报”。这样即使某条消息过时了,你也知道该拿新结果去对照哪一处。
| 你读到的说法 | 先问什么 |
|---|---|
| “某某是一个世界模型” | 它预测什么、在什么空间里预测、以什么为条件、拿来做什么? |
| “AI 在改进它自己” | 改的是哪个对象,谁来决定改动,靠什么信号接受改动? |
| “测到了 N 倍加速” | 谁测的、用什么单位、有多少人工介入、算力是否同时增长? |
六个系列
- 世界模型:这个词现在指哪几种东西。从 Dreamer 在想象里训练策略,到 JEPA 预测表示,再到能交互的视频、给机器人当评测器,最后看它们是否真的懂物理。
- 递归自我改进(RSI):先问改的是什么。区分改权重、改代码、加速研发和自产数据,看验证器为什么决定上限,以及“AI 加速 AI”现在怎么测量。
- 推理模型与测试时计算:多想一会儿,什么时候有用(待审核草稿)。多采样投票、验证器、长思维链怎样训练出来,以及在同等算力下怎么比较。
- 用强化学习训练 agent(agentic RL):从一问一答到多步任务(待审核草稿)。环境和奖励(reward)从哪里来、会怎样被钻空子,多步回合里梯度落在哪些 token 上。
- 机制可解释性:打开模型看它怎么算(待审核草稿)。探针、叠加、稀疏自编码器(encoder)和电路,各自能说明什么、说明不了什么。
- 扩散语言模型(dLLM):不从左到右,整块去噪(待审核草稿)。掩码扩散在训练什么、和 BERT 的 MLM 是什么关系,以及并行解码为什么不会自动变快。
读之前最好先看
世界模型系列会用到 Model-based RL 和规划与 LQR,深度强化学习新补的学什么样的模型也可以作为这一系列的入口。自我改进系列会用到 Deep RL 的基本记号和评估的基本概念。这些都不是硬性前提,遇到不熟的词再回头查。
本页术语 3
- 强化学习 reinforcement learning, RL
- 根据行动带来的回报调整策略,学习怎样作出更好的选择
- 奖励 reward
- RL 里指导策略更新的标量信号
- 编码器 encoder
- 把原始输入压成向量的那一半模型