世界模型：复习题

先问四件事：预测什么，在什么空间预测，以什么为条件（有没有动作），拿来做什么。按这四问，常见用法能分成 RL 里的学习型模拟器（Dreamer、MuZero）、JEPA 一类的表示空间预测、可交互视频（Genie 3）、机器人和驾驶的世界基础模型（Cosmos、GAIA）、3D 空间生成（Marble），以及“LLM 或视频模型内部有没有隐含的世界模型”。World Labs 2026-06 的分类按输出更简洁：renderer 输出观测，simulator 输出状态，planner 输出动作。

同叫世界模型，学的东西可以完全不同：Dreamer 重建输入，JEPA 预测 embedding，MuZero 只预测奖励（reward）、价值和策略，隐藏状态（hidden state）不必对应任何真实状态。见导读。

确定性循环状态 $h_t=f_\phi(h_{t-1},z_{t-1},a_{t-1})$ 负责携带记忆，随机的类别 latent $z_t$ 表达不确定性；编码器（encoder）给后验 $q(z_t\mid h_t,x_t)$，动力学给不看观测的先验 $p(z_t\mid h_t)$，另有奖励、继续标志和解码头。损失是预测项、$L_{\rm dyn}$（先验追后验）和 $0.1\,L_{\rm rep}$（让编码器好预测）之和，两个 KL 都用 free bits 截在 1 nat。

想象时从回放（replay）的真实状态出发，用先验滚 16 步；critic 拟合 λ-return，actor 的策略梯度用“优势除以回报 5%–95% 百分位范围（至少取 1）”加权。actor 只看得到模型给的数字。Dreamer 4（2025-09）把世界模型换成 2B 的视频模型，只用离线数据在 Minecraft 拿到钻石，但只在 0.7% 的回合里。见 Dreamer。

LeCun 2022 的理由是：像素级的未来（树叶、纹理）本身不可预测，在表示空间预测可以丢掉这些细节。代价是多了一条捷径：编码器对任何输入都输出同一个常数，预测误差就是 0，这就是塌缩（I-JEPA §2 的定义）。

三类防法：VICReg 的方差（variance）和协方差约束；I-JEPA、V-JEPA 2 用的 EMA 目标编码器加 stop-gradient，经验上有效，但损失里没有一项明确禁止塌缩；LeJEPA（2025-11）的 SIGReg，要求 embedding 的随机一维投影像标准正态。V-JEPA 2-AC 再加一个动作条件预测器，用 CEM 最小化预测 embedding 到目标图像 embedding 的 L1 距离来规划。见 JEPA。

潜在动作模型（LAM）的编码器看过去和下一帧，输出一个连续向量，再量化到只有 8 个代码的码本；解码器只看历史和这个代码，却必须重建下一帧，所以代码被迫装下“最主要的变化”。动力学模型以这些代码为条件预测下一帧的 token；推理时丢掉编码器，玩家直接选 0–7。可控性用 $\Delta_t$PSNR 衡量：分别用推断出的动作和随机动作生成，比较哪个离真实帧更近。

局限：代码的含义要靠人事后试玩；8 个代码表达粗，“推 3.5 厘米”可能正好落在两个代码的边界上；目标不区分变化是不是智能体造成的（这一点是推断）；原版只有 16 帧记忆、约 1 FPS。DreamGen 用 latent action model 或 IDM 给机器人视频补伪动作，是同一个思路。见交互视频。

交互模型必须先交出第 $t$ 帧，才知道下一个按键，所以只能因果生成。24 fps 时一帧约 41.7 ms，每帧 $K$ 个采样步就是每步最多约 $41.7/K$ ms，这是开源系统普遍蒸馏（distillation）到 2–4 步的原因；它还要在分钟级会话（session）里记住看不见的东西。离线生成器拿到完整提示，再交付整段。

看演示要问：帧率和分辨率在什么硬件上测，按键到响应的延迟，能保持一致多久，有哪些控制，看不见的东西是否还在、还在变（WRBench、WorldMemBench 报告这里常失败），开放到什么程度。截至 2026-10-15，Genie 3 没有论文和 API，架构也没有公开。

不能直接用。Pearson 衡量的是这批策略上的线性关联，在 $\hat R=aR+b$（$a>0$）下不变，所以绝对成功率可能整体偏低（Veo 评测器论文自述如此），不能拿来判断是否过门槛；它还常被差策略和好策略之间的大差距撑高。教学例子里 Pearson 0.98、Spearman 0.9、MMRV 0.04，按模型挑出的第一名仍然是错的；只看前三名，Spearman 降到 0.5。另外，Veo 论文里的 0.86 是针对一个策略、在几条 OOD 轴上算的。

实际做法：同时报告排序指标和“第一名是否选对”，留出从没参与挑选的策略，定期回真机抽检，防止策略专门钻评测器的空子。见机器人与汽车。

只能说明信息读得出。还要看：沿探针方向干预，输出是否按预期改变（Othello-GPT 做了）；行为是否一致，Vafa 等 2024 的出租车模型下一步合法率约 1.00，序列压缩的 precision 却只有 0.10–0.50，遇到 10% 绕路时合法路线从 0.99 跌到 0.08；分布外是否用对了规律，轨道模型 $R^2$ 超过 0.9999，推出的却是非牛顿的力定律；结果分布是否校准（calibration）。

Richens 等的定理说，能完成多步目标的智能体，其策略里一定能提取出一个世界模型；但前提是完全可观测，而且定理不说明这个模型被使用。见它真的懂世界吗。

按顺序问：它是哪一种世界模型，输出观测、状态还是动作，接不接动作；谁在什么时候测的，是有方法的论文、只有博客的公告、厂商自报的数字，还是二手报道；比的条件是否一致，包括硬件、采样次数和提示，比如 Physics-IQ Verified 排行榜前列的条目用了 best-of-N 和定制提示；能保持多久，有没有测看不见的东西是否还在变化。

再问它在下游闭环里是否真的有用，而不只是画面好看（WorldArena 的 perception–functionality gap）；能否复现，有没有论文、权重或 API；哪些没公开，比如 Genie 3、GAIA-4 都没有公开架构。复述时写成“截至某日，某机构自报”，而不是一句永久的结论。