一个视频模型把杯子滑下桌边的画面生成得很逼真；一个语言模型（language model, LM）能答出“推 5 厘米杯子会掉”。它们“有世界模型”吗？这个问题争了好几年，很大程度上是因为大家说的“有”不是一回事。内部读得出状态、改动这个状态会改变输出、换个说法或换个情境行为仍一致、预测的结果分布和真实世界对得上，这是强度不同的几种证据；目前正面证据多停在“读得出”，行为一致性和分布校准（calibration）的测试常常失败。
先说清“有世界模型”指什么
Chen 等在 2026-07 的视角论文摘要里直说：“there is no consensus on what a world model fundamentally is”，即世界模型究竟是什么，目前没有共识。几份一手资料的说法：
| 来源 | 说世界模型是什么 |
|---|---|
| Ha & Schmidhuber 2018 | RL 环境的生成模型，学到压缩的时空表示；智能体可以完全在它的“梦”里训练，再迁移回去 |
| LeCun 2022 | 自主智能体六个模块之一：估计缺失的状态信息，预测可能的未来（可以以动作为条件），在抽象表示空间里预测 |
| Genie 3 博客（2025-08） | 用对世界的理解去模拟世界的某些方面，让智能体预测环境怎样演化、自己的动作有什么影响 |
| Chen 等（2026-07） | 学习环境结构和动态的内部模拟器；提出一个科学定义和分阶段路线图 |
| World Labs 功能分类（2026-06-03） | 按输出分：renderer 输出观测（Genie 3、RTFM），simulator 输出几何、物理等状态，planner 输出动作（VLA、world action model）；用 POMDP 表述，并把这个词追溯到 Craik（1943） |
也有人对这个词本身持保留态度：Melanie Mitchell 认为它定义不清，LLM 有抽象世界模型的证据弱（博客）；Gary Marcus 认为 LLM 缺少稳健的显式世界模型（博客）；Xing 等（MBZUAI / CMU，2025-07，arXiv）认为单靠视频生成器不足以支撑推理和行动，另提了一种架构。
为了把证据分开讨论，本篇用一个工作框架。它是我们的组织方式，不是领域标准：
- 读得出：从模型内部能解码出环境状态，比如杯子离桌边多远。
- 在使用：改动这部分内部表示，输出按预期跟着变。
- 行为一致：两段历史通向同一个真实状态时，模型对未来的预测相同；通向不同状态时，能区分开。
- 分布校准：同一起点、同一动作，模型给出的结果分布和真实频率一致。
一个定理：能完成多步目标，策略里就藏着世界模型
Richens 等（Google DeepMind，ICML 2025）的论文 v1 标题是“…need world models”，现在改为 “General agents contain world models”。摘要的核心结论是 “any agent capable of generalizing to multi-step goal-directed tasks must have learned a predictive model …”，即任何能泛化到多步、目标导向任务的智能体，一定学到了一个（关于环境的）预测模型。我们读了原文，条件如下：
- 环境：controlled Markov process，即没有奖励（reward）的 MDP；有限、连通、平稳，且智能体完全可观测（§2.2、§2.4）。
- 智能体：目标条件策略；对所有深度不超过 $n$ 的复合目标，成功概率至少是最优的 $(1-\delta)$ 倍（§2.4）。只假设“有能力”，不假设理性。
- 结论：只看策略本身，就能提取出一个近似的转移模型；$\delta$ 越小、$n$ 越大，误差界越紧（§3，定理 1）。只追求一步目标的最优智能体则不必学到转移概率（定理 2）。
- 作者自己写的边界（§4）：定理证明的是策略里编码着一个世界模型，不是它被怎样使用（比如用来规划）；只覆盖完全可观测的环境。
放到杯子例子里：一个能可靠完成“把杯子推到离边 1 厘米处，再拉回中央”这类任意组合目标的智能体，从它的选择里可以反推出每次推多远、杯子掉下去的概率有多大。但定理不说它“用这个模型想过”，也不覆盖只有摄像头、看不全状态的场景，而视频模型恰恰处在这种场景里。
探针说“有”
探针（probe）是在冻结的模型激活上再训练一个小分类器或回归器，看能不能读出某个环境变量。几项代表性结果：
- Othello-GPT（Li 等，2022-10，ICLR 2023）：只用走子序列训练的 GPT，非线性探针读出棋盘状态，最好误差 1.7%；沿探针方向干预，模型的下一步预测会随之改变。Nanda 等进一步发现，换成“我方 / 对方”的坐标后，棋盘可以线性读出（99.6%）。
- Gurnee & Tegmark（2023-10）：Llama-2-70B 线性编码了地理坐标（$R^2$ 0.911）和历史时间（0.835）。
- Joseph 等（2026-02，ICML 2026）：在 V-JEPA 2 和 VideoMAE-v2 里，物理变量在约三分之一深度处突然变得可解码，作者称之为 Physics Emergence Zone。
- Garrido 等（2025-02，作者含 LeCun）：在违反预期（violation-of-expectation）测试上，表示空间预测器（V-JEPA）表现出直觉物理，像素空间生成器和多模态 LLM 接近随机。
但 Punzo 等（2026-06）比较 V-JEPA、VideoMAE 和一个 diffusion 生成器后认为：能解码出什么，更多取决于基准和探针本身，而不是预训练（pre-training）目标。
算例：读得出，不等于在用（教学例子）
先写下线性探针和沿探针方向的干预：
$$ \hat y=w^\top h+b,\qquad h'=h+\alpha\,\frac{w}{\|w\|} $$
$h$ 是模型某层的激活，$w,b$ 是探针参数，$\hat y$ 是读出的变量（比如杯子到桌边的距离）。第二个式子把激活沿探针方向推 $\alpha$，看模型输出变不变。
设想一个看推杯子视频、预测“杯子掉不掉”的模型（数字全是编的）。内部有两组特征：$h_1$ 编码杯子到桌边的距离，因为渲染下一帧需要知道杯子在哪；$h_2$ 编码这次推了多少。训练视频里，杯子总是从离边 4 厘米处出发（教学假设），于是“推 ≥ 4 厘米就掉”这条只看 $h_2$ 的规则，在训练集上 100% 正确，模型的“掉不掉”头只用了它。
- 探针：在留出数据上从 $h_1$ 读距离，$R^2=0.97$。看上去“模型知道杯子在哪”。
- 干预：在 200 段测试视频里把 $h_1$ 改成“离边 1 厘米”，“掉不掉”的输出改变了 0 次；改 $h_2$，改变了 180 次（90%）。
- 行为：让杯子从离边 1 厘米处出发、推 2 厘米。真实世界里它会掉，模型说不掉，因为 2 < 4。
读得出（第 1 层）成立，在使用（第 2 层）不成立，行为一致（第 3 层）在新起点上失败。Othello-GPT 做了干预，比只做探针更进一步；但也有可解释性研究认为它跑的可能是“一堆启发式”而不是一个连贯算法，那篇 Alignment Forum 文章未经同行评审。
行为测试说“常常不一致”
Vafa 等 2024（NeurIPS 2024）借用 Myhill–Nerode 定理的思路：在确定性有限自动机里，两段历史若到达同一个状态，允许的后续必须完全相同；到达不同状态，就一定有某个后续能把它们区分开。据此可以测两件事：同一状态的不同历史，模型是否同等对待（压缩）；不同状态，模型能否区分（区分）。
论文在曼哈顿出租车路线上训练 Transformer：下一步合法率约 1.00，序列压缩的 precision 却只有 0.10–0.50；做最短路的模型遇到 10% 的随机绕路时，合法路线从 0.99 掉到 0.08。
换成杯子（教学设定，假设没有惯性、摩擦处处相同）：历史 (a) 先推 3 厘米再推 2 厘米，历史 (b) 一次推 5 厘米，两者让杯子停在同一个位置，之后的合理预测应当相同。如果模型说 (a) 杯子还在桌上、(b) 杯子掉了，它跟踪的是“最后一次推了多少”，而不是杯子。
更多同类结果：
- Vafa 等 2025（ICML 2025）：在行星轨道上训练的 Transformer，轨迹预测 $R^2$ 超过 0.9999；可一旦用归纳偏置探针让它推出受力，每个样本得到的是一条不同的、非牛顿的力定律。
- Kang 等（2024-11）：在 2D 物理上，分布外的失败不随规模改善，模型像是“按案例”找最近的训练样本来泛化。
- Song & Cai（2026-06）：LLM 智能体的状态保真度在状态负载和步数超过某个阈值后突然崩塌。
- AutumnBench / WorldTest（2025-10）：在 43 个网格世界里通过交互学习世界模型，人类远远领先前沿模型。
视频模型考物理
Physics-IQ。 Motamed 等（Google DeepMind 与 INSAIT，2025-01）用真实视频做物理基准，原论文里最好的成绩是 29.5%（VideoPoet，multiframe），并发现物理理解程度和画面逼真度无关。Physics-IQ Verified（Rädsch 等，2026-06-17）审核了原基准，修订了 57.6% 的样本，改为按样本计分，模型排名有中等程度的变化（Kendall τ = 0.46）。
社区维护的 Physics-IQ Verified 排行榜在 2026-10-15 读取时：榜首是 Odyssey-3 Pro 加 best-of-8，66.10（video-to-video，Odyssey 公司自报）；前沿的 image-to-video 模型里，Sora 2 为 26.5，Veo 3.1 Fast 为 29.96，Seedance 2.5 为 42.43；Cosmos3-Super（multiframe）为 50.8 ± 2.2。分数由社区提交，有的用了 best-of-N 和定制提示，输入方式也不同，不能直接横比。
best-of-N 会抬高多少？教学算例：假设单次生成“物理对”的概率是 0.3，各次独立，再有一个总能挑中对的那条的裁判，8 选 1 的成功率是 $1-0.7^8\approx0.94$。真实的 Physics-IQ 分数不是对错二值，挑选也不完美，但方向一样：只有在相同 N、相同提示策略下比较才公平。
其他视角。 Google DeepMind 的 Wiedemer 等（2025-09）让 Veo 3 零样本做 62 个定性和 7 个定量视觉任务，pass@10 下 5×5 迷宫 78%（Veo 2 是 14%）；作者也提醒，API 的 LLM 提示改写器可能替模型解掉部分任务，结果对提示很敏感。2026 年的基准从“看起来真不真”转向“能不能用”：WorldArena（2026-02）发现画质和具身用途之间有差距；WRBench（2026-06）、WorldMemBench（2026-10）测的记忆问题，见交互视频一篇。
算例：杯子 30% 会掉，模型却说 0% 或 100%（教学例子）
推 5 厘米，桌面摩擦略有差异，真机试验里杯子掉下去的比例是 30%。三个模型各用很多个随机种子生成：A 每次都让杯子掉，B 从不掉，C 大约 30% 掉。A 或 B 的每一段视频单看都合理，一次只看一段的评审分不出来。
用期望 Brier 分数比较。$Y=1$ 表示真机里杯子掉了，$q=0.3$ 是真实掉落率，$p$ 是模型生成里杯子掉下的比例：
$$ \mathbb E\big[(p-Y)^2\big]=q\,(1-p)^2+(1-q)\,p^2 $$
A（$p=1$）：$0.3\times0+0.7\times1=0.70$。B（$p=0$）：$0.3\times1+0=0.30$。C（$p=0.3$）：$0.3\times0.49+0.7\times0.09=0.21$，最好。B 比 A 好看，只因为“掉”本来就少见。要是拿 B 去评测推杯子的机器人策略，它永远不会报“危险”。
Odyssey 在 2026-08-10 发布的 CaliBench 专门测这件事：它报告六个前沿 image-to-video 模型大多出现 mode collapse，Veo 3.1 在每个种子上都掷出同一个骰子点数。这是厂商发布的基准，Odyssey 自己也做世界模型，结论需要第三方复现。OpenAI 在 Sora 2 发布页（2025-09-30）也说，有用的模拟器要能模拟失败。
每种证据能说明什么
| 证据类型 | 能说明 | 不能说明 | 例子 |
|---|---|---|---|
| 线性或非线性探针 | 信息在内部可以读出 | 模型的输出用了它；读出靠的是模型还是探针本身 | Othello-GPT、Llama-2 空间与时间、V-JEPA 2 物理变量 |
| 沿探针方向干预 | 这部分表示会影响输出 | 整体是一个连贯算法，而不是一堆启发式 | Othello-GPT 的干预 |
| 下一 token 或下一帧准确率 | 在训练分布上预测得准 | 内部状态连贯；分布外仍然成立 | 出租车模型下一步合法率约 1.00 |
| Myhill–Nerode 式一致性测试 | 同一状态的不同历史是否被同等对待 | 模型内部具体怎样表示 | Vafa 等 2024 |
| 归纳偏置探针、分布外测试 | 迁移到新任务时用的是什么规律 | 规模再大是否会改变 | 轨道模型、Kang 等 |
| 单样本物理基准 | 生成结果和真实视频的物理一致程度 | 结果分布是否校准；best-of-N 的分数等于单次能力 | Physics-IQ / Verified |
| 多种子分布测试 | 结果分布是否和真实频率一致 | 每一次的细节是否正确 | CaliBench（厂商发布） |
| 闭环使用 | 拿来规划或评测时是否真的有用 | 它“理解”了什么 | WorldArena、World-in-World |
| 定理 | 给定条件下，能力必然蕴含一个可提取的模型 | 模型被使用；部分可观测的场景 | Richens 等 |
这条线接下来看什么
- 定义会不会收敛？ Chen 等（2026-07）提出定义和路线图，World Labs（2026-06）提出 renderer / simulator / planner 分类。能改变判断的结果：基准开始按同一个定义，分层报告“读得出、在使用、行为一致、分布校准”。
- 有没有视频模型不靠 best-of-N 和定制提示，在 Physics-IQ Verified 上拿到高分？ 截至 2026-10-15，排行榜前列的条目依赖这两者。能改变判断的结果：单次生成、统一提示下的高分，并由基准维护方复核。
- 探针找到的物理变量，模型是否真的在用？ Joseph 等（2026-02）在 V-JEPA 2 里找到了可解码的物理变量；Punzo 等（2026-06）认为可解码性更取决于探针和基准。能改变判断的结果：在视频世界模型上做因果干预，改动这些变量后预测按物理规律改变。
- 分布校准能否被独立复现？ CaliBench（Odyssey，2026-08）是厂商自建的基准。能改变判断的结果：第三方的多种子分布测试，覆盖更多模型和物理场景。
最后用复习题把整个系列串一遍。
本页术语 4
- 语言模型 language model, LM
- 对文本序列建模，用上下文预测或生成后续内容
- 校准 calibration
- 模型给出的置信度是否等于真实正确率
- 奖励 reward
- RL 里指导策略更新的标量信号
- 预训练 pre-training
- 先用大量数据学习通用表示和能力，再适配具体任务