机械臂推 5 cm，杯子会不会掉？让像素级视频模型来回答，它还得顺便画出影子的纹理、桌面的反光，甚至碎片落在哪。这些细节大多猜不准，也和“掉不掉”无关。JEPA（joint-embedding predictive architecture）换了个做法：先把未来编码成一个向量，只要求预测这个向量。它省掉了不可预测的细节，代价是必须防止编码器（encoder）把一切都压成同一个向量；而且没有解码器，你看不到它“想象”出的画面。
预测每个像素，力气花在哪里
设想一帧画面只有 100 个“像素”（教学设定）：4 个描述杯子的位置和姿态；96 个是影子和桌面纹理，随灯光随机闪动，每个等概率取 +1 或 −1，和推不推无关。用均方误差训练一个确定性的预测器：
- 96 个随机像素，最好的预测是平均值 0，每个误差的期望是 1，合计 96，怎么训练都降不下去；
- 杯子的 4 个像素，猜对是 0，猜错（把“掉了”画成“没掉”）每个差 1，合计 4。
于是杯子猜对时总损失 96，猜错时 100：真正决定结果的那件事只占损失的 4%，光看损失曲线几乎看不出模型学没学会。那 96 个像素，模型输出灰色的平均值，和 model-based 那篇里“把两条路平均成墙”是同一个问题；换成扩散这类生成模型能画出清晰纹理，但就得花容量学纹理的分布。
再假设有个编码器把画面压成两个数：（杯子沿桌面移动了多少，杯子倒没倒）。误差只在这两个数上算，猜对和猜错是 0 和 2 的差别，整份损失都在说杯子。LeCun（2022）反对生成式架构的理由正是这个（§4.5–4.6）：树叶、纹理这类像素级的未来本来就不可预测，JEPA 可以把它们丢掉。
两点要说清楚。第一，“编码器只留下杯子的信息”是这里的假设；真实的编码器是学出来的，没有什么保证它一定留下“倒没倒”。第二，如果用途就是画面本身，比如游戏或给人看的仿真，像素是必需的，见能交互的视频。
目标：在 embedding 空间里算误差
LeCun 2022 把它写成能量（§4.4，式 10–12）：
$$ E_w(x,y,z)=D\big(s_y,\ \mathrm{Pred}(s_x,z)\big),\qquad F_w(x,y)=\min_z E_w(x,y,z) $$
$x$ 是看得见的部分，$y$ 是要预测的部分，两个编码器分别给出 $s_x$、$s_y$；预测器 $\mathrm{Pred}$ 从 $s_x$ 猜 $s_y$；$z$ 是可选的 latent 变量，表示光看 $x$ 定不下来的东西，比如杯子往哪边倒；$D$ 是距离。能量低，表示 $x$ 和 $y$ 相容。
I-JEPA（2023）在图像上的损失（§3）：
$$ \mathcal L=\frac1M\sum_{i=1}^{M}\sum_{j\in B_i}\big\|\hat s_{y_j}-s_{y_j}\big\|_2^2 $$
V-JEPA 2（2025）在视频上用 L1，只在被遮住的 patch 上算（§2.1，式 1）：
$$ \min_{\theta,\phi,\Delta_y}\ \big\|P_\phi(\Delta_y,E_\theta(x))-\operatorname{sg}(E_{\bar\theta}(y))\big\|_1 $$
三处的角色对得上：
| 角色 | LeCun 2022 | I-JEPA | V-JEPA 2 | 推杯子的视频里 |
|---|---|---|---|---|
| 看得见的部分 | $x\to s_x$ | 一大块上下文，进 context encoder $f_\theta$（ViT） | 没遮住的 patch，进 $E_\theta$ | 没被遮住的画面 |
| 要预测的部分 | $y\to s_y$ | target encoder $f_{\bar\theta}$ 看整张图，取 $M=4$ 个目标块 $B_i$ | 被遮住的 patch，进 $E_{\bar\theta}$，加 stop-gradient | 被遮住的那些时空块 |
| 预测器 | $\mathrm{Pred}(s_x,z)$ | 窄 ViT $g_\phi$，用位置 mask token 指明要猜哪块 | $P_\phi$，$\Delta_y$ 是可学习的 mask token | 猜被遮住处的 embedding |
| 距离 | $D$ | 平方 L2 | L1 | — |
整个训练里没有任何一项要求还原像素。
塌缩：常数编码器也能把损失降到 0
两段视频：A 推 2 cm，杯子没掉；B 推 5 cm，杯子掉了。编码器给每段的“未来”打一个数。
- 好的编码器：$s_y(A)=0$，$s_y(B)=2$；预测器也猜出 0 和 2，损失 $|0-0|+|2-2|=0$。
- 塌缩的编码器：不管输入是什么都输出 0.7；预测器永远猜 0.7，损失 $|0.7-0.7|+|0.7-0.7|=0$。
两者损失一样，后者却对“掉不掉”什么都没说。目标编码器如果也跟着同一个损失训练，只看预测损失就没有理由偏向前者；把所有输出往一处收，反而是降低损失的捷径。I-JEPA 把塌缩定义为编码器不论输入都输出常数（§2）；LeCun 2022 说没有额外约束，能量曲面会变平（§4.5）。下面是三类解法。
办法一：直接要求不同输入有差别
LeCun 2022 以 VICReg 为例（§4.5.1）：方差（variance）项要求每个 embedding 维度在一个 batch 里的标准差不低于阈值，协方差项让各维度去相关。阈值取 1（教学数字）：塌缩编码器的 $\{0.7,0.7\}$ 标准差为 0，惩罚 $\max(0,1-0)=1$；好编码器的 $\{0,2\}$ 标准差为 1，惩罚 0。加上预测损失，塌缩总分 1，好编码器 0，塌缩不再是最优解。
办法二：EMA 目标编码器加 stop-gradient
I-JEPA 和 V-JEPA 2 用这一招。目标编码器的参数 $\bar\theta$ 不接收梯度，只是 context encoder 参数的指数滑动平均：$\bar\theta\leftarrow m\bar\theta+(1-m)\theta$，I-JEPA 里 $m$ 从 0.996 升到 1.0（附录 A）。算一步：$\bar\theta=1$，$\theta$ 突然变成 0，更新后 $\bar\theta=0.996$；即使 $\theta$ 一直停在 0，100 步后 $\bar\theta$ 还有约 0.67。目标移动得很慢。
I-JEPA 称 EMA 目标编码器必不可少（§3），V-JEPA 2 也说 stop-gradient 加 EMA 防止了塌缩。但损失里并没有一项明确禁止塌缩，这是经验上有效的设计；LeJEPA 的标题就把这类做法叫作 heuristics：“Without the Heuristics”（不靠那些启发式技巧）。
办法三：要求 embedding 像标准高斯
LeJEPA（Balestriero、LeCun，2025-11）的理论结论是，embedding 服从各向同性高斯时下游预测风险最小。它的 SIGReg 把 embedding 随机投影到很多个一维方向，用 Epps–Pulley 统计量检验每个投影像不像 $N(0,1)$。塌缩的编码器在任何方向上都投影成同一个点，方差为 0，不可能像标准高斯，于是被罚。摘要报告：不需要 stop-gradient 和 teacher-student，只有一个权衡超参；ViT-H/14 在 ImageNet-1K 上线性探测 79%。
| 做法 | 出处 | 怎么防塌缩 | 要调的 |
|---|---|---|---|
| 方差和协方差项 | LeCun 2022（VICReg） | 每维标准差不低于阈值，各维去相关 | 阈值和各项权重 |
| EMA 目标加 stop-gradient | I-JEPA、V-JEPA 2 | 目标编码器缓慢跟随，不接收梯度 | 动量计划 |
| SIGReg | LeJEPA | 随机一维投影要像 $N(0,1)$ | 一个权衡超参 |
| 预测加高斯正则 | LeWorldModel | 两项损失，从像素端到端训练 | 损失超参从 6 个降到 1 个（对比此前唯一的端到端方案） |
| 对比学习（contrastive learning） | VL-JEPA | 双向 InfoNCE | — |
V-JEPA 2-AC：给预测器加上动作
前面的 JEPA 只学表示，不接动作，还回答不了“推 5 cm 会怎样”。Meta FAIR 的 V-JEPA 2（2025-06）先在 100 万小时以上的视频上预训练（pre-training）编码器，再冻结它，训练一个约 300M 参数的 block-causal transformer 预测器，这就是 V-JEPA 2-AC（§3.1）：
- 输入：交错排列的动作 $a_k$、末端执行器状态 $s_k$ 和画面特征 $z_k$，预测下一帧的特征 $z_{k+1}$；$z_k$ 是 ViT-g 输出的 16×16×1408 特征图。
- 动作从哪来：数据集记录了每帧末端执行器的 7 维状态（位置、朝向、夹爪），$a_k$ 就是相邻两帧的状态差。
- 数据：不到 62 小时的 DROID 机器人视频，约 2.3 万条轨迹，成功和失败都有。论文说的 unlabeled，是指不用奖励（reward）、任务类型和是否成功这些标注。
损失由两项组成，都在 embedding 空间里用 L1：
$$ \mathcal L_{\rm tf}(\phi)=\frac1T\sum_{k=1}^{T}\big\|\hat z_{k+1}-z_{k+1}\big\|_1,\qquad \mathcal L_{\rm rollout}(\phi)=\big\|P_\phi(a_{1:T},s_1,z_1)-z_{T+1}\big\|_1 $$
teacher forcing 项每一步都喂真实特征，$T=15$；rollout 项让模型接着自己的预测往前滚，实际取 $T=2$。总损失是两项之和。
用 embedding 距离做规划
把目标图片编码成 $z_g$。规划就是找一串动作，让预测的未来 embedding 离 $z_g$ 最近（§3.2，式 5）：
$$ E(\hat a_{1:T};z_k,s_k,z_g)=\big\|P(\hat a_{1:T};s_k,z_k)-z_g\big\|_1 $$
论文用 CEM 最小化这个能量：从零均值、单位方差的高斯里采样动作序列，用能量最低的一批更新均值和方差，重复几轮，返回均值；只执行第一个动作，看到新画面后重新规划，也就是 MPC。每个采样的动作被限制在半径 0.075 的 L1 球里，末端最多移动约 13 cm，论文的理由是大动作偏离了模型的训练分布（§4.1）。
用推杯子算一次（教学数字）。把 16×16×1408 的特征图换成 2 个数：（杯子沿桌面移动了几 cm，倾倒程度 0–1）。当前 $z_k=(0,0)$；目标图片里杯子前移 3 cm、立着，$z_g=(3,0)$。规划步数取 1，比较 3 个候选（candidate）：
| 候选动作 | 预测的 embedding | 能量 $\lVert\hat z-z_g\rVert_1$ |
|---|---|---|
| 推 2 cm | (2, 0) | 1 |
| 推 3 cm | (3, 0.2) | 0.2 |
| 推 5 cm | (4, 1) | 2 |
规划器选推 3 cm，执行后拍新画面、重新编码、再规划，整个过程没有画出过一帧杯子。
换一个条件：训练数据里几乎没有杯子掉落的例子，预测器对“推 5 cm”给出 (3, 0.1)，能量 0.1，比推 3 cm 还低。规划器就会选推 5 cm，杯子真的掉了，重新规划也救不回来。这正是 model-based 那篇讲的“规划器钻模型漏洞”；把动作限制在小范围内，是论文躲开模型没见过的区域的一个办法。
论文报告的结果（表 2）：在两个实验室的两台 Franka 机械臂上零样本部署，两个环境都不在 DROID 里；每项任务 10 次试验，两个实验室取平均。
| 任务 | V-JEPA 2-AC | Octo |
|---|---|---|
| 移动到目标位置 | 100% | 100% |
| 抓杯子 | 65% | 15% |
| 抓盒子 | 25% | 0% |
| 拿起放下杯子 | 80% | 15% |
| 拿起放下盒子 | 65% | 10% |
表 3 把同一个 CEM 规划器里的世界模型换成 Cosmos（基于 latent diffusion 的动作条件视频模型），一张 RTX 4090、规划步数 1：Cosmos 每个动作 4 分钟（80 个样本），拿起放下成功率 0%；V-JEPA 2-AC 每个动作 16 秒（800 个样本），在实验室 2 的杯子和盒子上分别是 80% 和 50%。
读这些数字时要记住：拿起放下任务除了最终目标图，还给了两张子目标图（物体被抓住、物体到了目标附近），顺序是人定的；规划步数是 1，每一步只往前看一个动作；相机位置是人工反复试过才定下的（§4.3）。
2026 年这条线上的新东西
- V-JEPA 2.1（Meta FAIR，arXiv 2026-03-15，链接）：可见和被遮住的 token 都参与损失，跨多层的深度自监督（self-supervised），图像和视频共用 tokenizer。作者在摘要里报告，真实机器人抓取成功率比 V-JEPA 2-AC 高 20 个百分点。
- LeWorldModel（Maes 等，含 LeCun、Balestriero，2026-03-13）：从像素端到端训练，只有下一 embedding 预测和高斯正则两项损失。作者报告约 15M 参数、单张 GPU 几小时训完，在 2D 和 3D 控制任务上规划最多比基于 foundation model 的世界模型快 48 倍。
- H-JEPA（Zhang、Terver、Rabbat、LeCun、Balestriero，2026-10-05，链接）：多层动作条件 JEPA，每层在自己的 latent 空间里往更远处预测；规划自上而下，上层的预测成为下层的子目标。摘要说，数据里的因素按不同时间尺度变化时，高层会丢掉快变、难预测的细节，留下慢变、和任务有关的状态。Visual AntMaze 上三层结构把成功率从 18% 提到 73%，规划计算还更少。放到推杯子里，上层管“杯子最后停在离桌沿 3 cm 处”，下层管每次推 1 cm。
- AMI Labs：LeCun 参与创立的公司在 2026-03-10 的公告里说融资 10.3 亿美元，使命围绕世界模型：能理解世界、有持久记忆、会推理和规划、可控且安全（AMI Labs）。这是融资和自我描述，不是技术结果。截至 2026-10-15，它的更新页面没有列出模型、论文或代码；H-JEPA 的作者单位里有 Advanced Machine Intelligence，但那是一篇论文，不是公司的模型发布。
和像素视频预测、Dreamer 式模型比
| JEPA | 像素视频预测 | Dreamer 式 latent 模型 | |
|---|---|---|---|
| 预测什么 | 被遮住或未来部分的 embedding | 未来的帧，或能解码回画面的 latent | 下一 latent 状态、奖励、是否继续，同时重建观测 |
| 需要解码器吗 | 不需要，所以也看不到它预测的画面 | 需要，输出就是画面 | 训练时靠重建提供信号；想象时不必解码 |
| 擅长什么 | 表示学习；朝目标图片规划 | 给人看、可玩的世界、合成数据、策略评估 | 在想象里训练策略 |
| 典型的失败 | 表示塌缩；embedding 丢了任务要的信息；目标得是图片 | 慢且贵，Cosmos 在 CEM 里每个动作 4 分钟；画面逼真不等于物理正确 | 策略钻模型漏洞；重建把容量花在无关细节上 |
界线并不总是这么清楚：Dreamer 4 的世界模型本身就是视频模型；DINO-WM（2024-11）用冻结的 DINOv2 patch 特征当表示、用 CEM 规划，和 JEPA 很接近，只是编码器是现成的。
局限和还没回答的问题
- 规划走不远。 V-JEPA 2-AC 论文自己列了三条（§4.3）：对相机位置敏感；长时域上误差累积，动作序列的搜索空间随时域指数增长；目标只能用图片给。
- 看不见它在想什么。 没有解码器，只能靠探针检查 embedding。Joseph 等人（2026-02，ICML 2026）在 V-JEPA 2 约三分之一深度处，发现物理量突然变得可以解码；Punzo 等人（2026）比较 V-JEPA、VideoMAE 和一个扩散生成器，发现能解码出什么，更多取决于 benchmark 和探针，而不是预训练目标。详见它真的懂世界吗。
- 防塌缩的配方还在换。 从 EMA 加 stop-gradient 到 SIGReg 和 LeWM 的高斯正则；LeJEPA 的主要结果在图像上，LeWM 是约 15M 参数的控制模型，在 V-JEPA 2 那样百万小时视频的规模上，本文没有找到对应的结果。
这条线接下来看什么
只列能改变判断的结果，不做预测：
- AMI Labs 会不会公开模型？ 截至 2026-10-15，它的更新页面只有融资和使命。外部能复现、能评测的公开模型，才能让人在 Meta 的论文之外检验这条路线。
- JEPA 规划能不能走出实验室机械臂？ V-JEPA 2-AC（Meta，2025-06）的拿起放下要靠人给子目标图、规划步数为 1，只在作者的两个实验室测过；H-JEPA（2026-10）的分层规划在仿真里把 AntMaze 从 18% 提到 73%，在 DROID 真实视频上只评了离线规划的保真度。不靠子目标图、在真实机器人上完成长任务，并由作者以外的团队复现，才会改变判断。
- 不靠 heuristics 的防塌缩能不能放大？ LeJEPA（2025-11）在 ImageNet 上报告 79% 线性探测，LeWM（2026-03）约 15M 参数。SIGReg 这类方法若在百万小时视频的规模上达到同等结果，EMA 加 stop-gradient 就不再是必选项。
- embedding 里有没有规划需要的物理？ Joseph 等人（2026-02）在 V-JEPA 2 中层找到了物理量，Punzo 等人（2026）却发现结论高度依赖探针和 benchmark。在多种探针和 benchmark 上都稳定领先或稳定落后于像素模型，才能回答“预测表示”是否真的学到了更多物理。
本页术语 7
- 编码器 encoder
- 把原始输入压成向量的那一半模型
- 方差 variance
- 估计量的波动幅度；重要性加权最容易在这里爆炸
- 对比学习 contrastive learning
- 拉近正样本对、推开负样本对来学习表示
- 预训练 pre-training
- 先用大量数据学习通用表示和能力，再适配具体任务
- 奖励 reward
- RL 里指导策略更新的标量信号
- 候选 candidate
- 召回阶段捞出来、等待精排挑选的内容
- 自监督 self-supervised
- 从数据自身结构造出监督信号，不依赖人工标注