2026 年，强化学习（reinforcement learning, RL）论文、LeCun 的新公司、Google 的可玩视频世界、NVIDIA 的机器人发布会都在说“世界模型”。共同的核心是：学一个模型，预测环境的状态或观测会怎样变化，通常以动作为条件，让 agent、规划器、测试工具或者人用这个预测代替真实世界。但它们预测什么、在什么空间预测、拿来做什么，差别很大；先把这几件事问清楚，再去比较数字。
为什么这个词这么乱
一手资料的定义各不相同。Ha 和 Schmidhuber（2018）指强化学习环境的生成模型，用它可以“train our agent entirely inside of its own hallucinated dream generated by its world model …”（摘要），即 agent 完全在世界模型生成的梦里训练，再迁移回真实环境；LeCun（2022）把它当成自主智能体的一个模块，在抽象表示空间里预测未来状态（§3）；NVIDIA Cosmos（2025-01）把它定位成物理 AI 的“数字孪生”；World Labs（2026-06）按输出分成 renderer（输出观测）、simulator（输出几何、物理等状态）和 planner（输出动作）。Chen 等人 2026 年 7 月的观点论文在摘要里直说，世界模型究竟是什么，目前没有共识。
这个词也成了公司和交易的标签：AMI Labs 在 2026-03-10 的公告里说融资 10.3 亿美元（AMI Labs），AMD 在 2026-09-28 宣布以约 82 亿美元全股票收购 World Labs（AMD 新闻稿）。看到它时，先别默认它指哪一种。
先问 4 个问题
| 问题 | 常见的答案 |
|---|---|
| 预测什么？ | 下一个 latent 状态和奖励（reward）；接下来几帧视频；未来片段的 embedding；一个 3D 场景；或者只预测奖励、价值和策略 |
| 在什么空间预测？ | 紧凑的 latent 向量；像素，或者视频 token / latent；学到的 embedding；显式 3D（Gaussian splats、网格） |
| 以什么为条件，有没有动作？ | 机器人动作、键盘鼠标、自车轨迹、文字事件；有的只控制相机，有的根本不接动作 |
| 拿来做什么？ | 规划；在想象里训练策略；仿真和评估别的策略；生成训练数据；娱乐 |
同一个问题，几种回答
整个系列都用同一个教学例子：机械臂准备把桌上的杯子往桌沿推，推 2 cm 和推 5 cm，杯子会不会掉下去？ 数字只是教学设定，不对应任何论文实验。不同的世界模型给出的“回答”形式完全不同：
| 哪一类 | 对“推 5 cm”给出什么 | 谁用这个回答 |
|---|---|---|
| Dreamer 式 latent 模型 | 下一个 latent 状态、预测奖励，以及回合是否继续（杯子掉了就结束） | 在想象里训练的策略 |
| MuZero 式模型 | 只给奖励、价值和策略，不必说出杯子在哪 | 树搜索 |
| 视频世界模型 | 接下来几帧画面：杯子滑动，也许翻倒 | 看画面的人、打分的评估器、拿它当训练数据的策略 |
| JEPA | 未来片段的 embedding，再和“目标图片”的 embedding 比距离 | 规划器，例如 CEM |
| 可交互视频世界 | 人按键推杯子，实时看到画面回应 | 玩家，或者正在测试的 agent |
6 种含义
常见的用法可以分成 6 类，每类列 1–2 个代表：
| 含义 | 预测什么 | 在什么空间 | 以动作为条件？ | 主要用途 | 代表 |
|---|---|---|---|---|---|
| (a) RL 世界模型 | 下一 latent 状态、奖励、是否继续；MuZero 只预测奖励、价值和策略 | 紧凑 latent | 是 | 在想象里学策略；规划（MCTS、MPC） | DreamerV3、MuZero |
| (b) JEPA / 隐空间预测 | 被遮住或未来部分的表示 | 学到的 embedding，不需要像素解码器 | 预训练（pre-training）不需要；action-conditioned 版本需要 | 表示学习；用能量最小化做规划 | I-JEPA、V-JEPA 2-AC |
| (c) 可交互生成视频 | 下一帧或几帧 | 像素（经过 latent token 或 latent） | 是（键鼠、相机、文字事件） | 可玩的世界、agent 训练环境、娱乐 | Genie、Genie 3 |
| (d) 机器人和驾驶的 world foundation model | 未来的多相机视频（有的还有 lidar、radar），有时也输出动作 | 像素或 latent | 是（自车轨迹、机器人动作、文字） | 合成数据、策略评估、闭环仿真；最近也直接当策略 | Cosmos、GAIA-2 |
| (e) 3D / 空间 | 显式 3D 场景，或视角一致的画面 | 3D 或带位姿的帧 | 多数只控制相机 | 内容创作、仿真资产、real-to-sim | Marble、HY-World 2.0 |
| (f) 通用模型内部的隐式世界模型 | LLM 或视频生成器内部有没有表示世界状态 | 隐藏层激活，或生成的结果 | 不适用 | 可解释性；“世界模拟器”这类说法 | Othello-GPT、Sora 技术报告 |
最容易混的是 (c) 和普通视频生成。Sora、Veo 这类模型是“给提示、出一段视频”；可交互世界模型还要接动作、实时逐帧生成、保持前后一致。
一条时间线
- 2018-03 World Models：VAE 加 MDN-RNN 加线性控制器，控制器在模型的“梦”里训练再迁移。
- 2019-11 MuZero（DeepMind）：模型只预测奖励、价值和策略，配合 MCTS。
- 2019-12 Dreamer：在想象出的 latent 轨迹上学 actor-critic；之后是 DreamerV2（2020-10）和 DreamerV3（2023-01）。
- 2022-06 LeCun 的立场论文提出 JEPA 和用能量做规划；I-JEPA（2023-01）先用在图像上。
- 2024-02 Genie（Google DeepMind）：从没有动作标签的平台游戏视频里学出 latent action，得到可交互环境。
- 2025-01 NVIDIA Cosmos：开放的 world foundation model、tokenizer 和数据处理流程。
- 2025-06 V-JEPA 2 / V-JEPA 2-AC（Meta FAIR）：100 万小时以上视频预训练，再加动作条件，在 Franka 机械臂上零样本规划。
- 2025-08 Genie 3：Google DeepMind 博客称可实时生成 720p、24 fps 的世界，保持几分钟一致。
- 2025-09 Dreamer 4：只用离线数据、在 2B 参数的视频世界模型里训练，在 Minecraft 里拿到钻石。
- 2026-01 至 03 Project Genie 开放给付费用户；Waymo World Model 在 Genie 3 上后训练（post-training）出驾驶仿真；DreamZero 把视频和动作一起生成，直接当机器人策略；AMI Labs 成立，LeWorldModel 和 V-JEPA 2.1 发布。
截至 2026 年 10 月
- 可玩的视频世界公开了。 Google 在 2026-01-29 向美国 Google AI Ultra 订阅用户开放 Project Genie，自己说明生成只有 60 秒、不一定遵守提示和物理；Runway 在 2026-09-03 发布 GWM Worlds 2 研究预览；开源的有 Skywork 的 Matrix-Game 3.0（2026-03）、Overworld 的 Waypoint（2026-01 起）。这些模型的帧率和分辨率多数是公司自报。
- 机器人和驾驶里，世界模型从造数据走到当评估器，再到直接当策略，例如 NVIDIA 等人 2026 年 2 月的 DreamZero。Waymo（2026-02）没有公开保真度指标；Wayve 的 GAIA-4（2026-08）只给了“重建保真度提升 2.5 倍”这一个数字。
- JEPA 这条线有新论文，新公司还没有模型。 V-JEPA 2.1（Meta FAIR，2026-03-15）、LeWorldModel（2026-03-13）、H-JEPA（2026-10-05）相继发布；AMI Labs 的更新页面截至 2026-10-15 没有列出任何模型、论文或代码。
- 评测从“像不像”转向“有没有用”。 Shang 等人的 WorldArena（2026-02）报告画面质量和具身任务上的有用程度之间有差距；Lu 等人的 WRBench（2026-06，23 个模型）发现，模型回到一个场景时往往原样接着，而不是让正在发生的事件往前推进。
哪些已经比较确定，哪些还在变
| 已经比较确定 | 还在变 | 接下来看什么信号 |
|---|---|---|
| 在学到的 latent 模型里训练策略，能在标准任务上工作：DreamerV3 一套超参跑 150 多个任务（作者报告，Nature 2025） | 换成大视频模型、只用离线数据能走多远：Dreamer 4 的钻石成功率 0.7%（Google DeepMind，2025-09） | 以 2026-10 时的 0.7% 为基准：离线想象训练在更高成功率、或 Minecraft 以外任务上的结果 |
| 在 embedding 空间里预测，能在实验室机械臂上零样本规划：V-JEPA 2-AC（Meta 在自家两个实验室测，2025-06） | 防塌缩的配方：EMA 加 stop-gradient、SIGReg（2025-11）、LeWM（2026-03）；分层规划 H-JEPA（2026-10） | 截至 2026-10-15：AMI Labs 是否公开模型；JEPA 规划能否走出实验室机械臂、不靠子目标图片 |
| 实时、可交互的视频世界做得出来：Genie 3 的 720p、24 fps（DeepMind 博客，2025-08） | 几分钟以上的记忆和一致性：Genie 3 约 1 分钟视觉记忆（DeepMind 博客，2025-08）；2026 年几个记忆 benchmark 都报告了系统性失败 | WRBench（2026-06）、WorldMemBench（2026-10）这类记忆测试上的后续结果 |
| 世界模型能当策略评估器，并报告了和真实结果的相关性：基于 Veo 的评估器对最强的一个策略、在几条分布外泛化轴上 Pearson 0.86（Google DeepMind，2025-12） | 世界模型直接当策略：DreamZero（2026-02）、Cosmos Policy（2026-01）、1X（2026-01），都是作者自己的测试 | 截至 2026-10：驾驶仿真器（GAIA-3/4、Waymo）是否公开和真实结果的相关性 |
| 画面逼真不等于物理正确，也不等于对 agent 有用：Physics-IQ（2025-01）、WorldArena（2026-02） | Physics-IQ Verified 的分数在涨，但榜首用了 best-of-N、由厂商提交（排行榜，2026-10-15 读取） | 同样设置下的横向比较；结果分布是否校准（calibration）（Odyssey 的 CaliBench，2026-08，厂商发布） |
“比较确定”的意思是：有一手结果，在原论文的设置里成立；不代表换任务、换数据也成立。
和本站其他笔记的关系
- Model-based RL：会预测，不代表会规划里的动力学模型、MPC、误差累积和“规划器钻模型漏洞”，在世界模型里全都还在，只是状态从几个数变成了图像、视频或 embedding。
- 规划再拆一层：CEM、LQR 与模型内训练：V-JEPA 2-AC 用的就是那篇讲的 CEM；那篇表格里的 “Latent imagination” 一行就是 Dreamer。
- 学什么样的模型把模型按“预测状态、观测、latent，还是只预测价值”拆开讲，和这里的 6 种含义互为补充；规划和学习怎样互相喂讲 MCTS、AlphaZero 和 MuZero 式的隐式规划。
这一组怎么读
- 在想象里学（Dreamer）：RSSM、在想象轨迹上训练 actor-critic、手算 λ-return，以及 Dreamer 4 的 0.7% 该怎么读
- 预测表示，不预测像素（JEPA）：为什么不预测像素、表示塌缩和防塌缩、V-JEPA 2-AC 怎样用 embedding 距离规划
- 能交互的视频（Genie 与可玩世界）：Genie 一类实时、可交互的视频世界模型
- 给机器人和汽车当模拟器、评测器与策略：世界模型当数据引擎、策略评估器，以及直接当策略
- 它真的懂世界吗：探针、物理 benchmark、记忆测试各说明了什么
- 复习题：面试题和自检
本页术语 5
- 强化学习 reinforcement learning, RL
- 根据行动带来的回报调整策略，学习怎样作出更好的选择
- 奖励 reward
- RL 里指导策略更新的标量信号
- 预训练 pre-training
- 先用大量数据学习通用表示和能力，再适配具体任务
- 后训练 post-training
- 预训练之后为特定任务和行为做的所有训练
- 校准 calibration
- 模型给出的置信度是否等于真实正确率