机器人学习：VLA 模型与仿真到现实

手上有一个能看图回答问题的视觉语言模型（VLM），想让它直接开机械臂：输入两路相机画面和一句“把杯子放进水槽”，输出 50 Hz 的关节指令。最直接的办法是把动作也写成文字 token，可一算延迟就会发现跟不上。截至 2026 年 10 月，常见做法是让 VLM 负责看懂画面和指令，旁边接一个连续的 flow-matching“动作专家”，一次生成一整块动作；人形机器人再把慢的推理和快的控制拆成两三层。仿真里训出的策略要上真机，靠的是随机化和在线适应；评测则在从接近满分的仿真榜单转向真机对比。

待审核草稿。 这一篇还没有经过站主审阅，事实、取舍和措辞都可能修改；引用前请回到文中链接的一手资料核对。

先读：从示范中学动作（多峰动作、动作块），LLaVA 与 DeepSeek-VL（图片怎样接进语言模型（language model, LM））。

动作写成什么：四种接法

VLA（vision-language-action）这个词出自 RT-2（Google DeepMind，2023-07）。区别各家 VLA，先看动作从模型的哪里出来、写成什么。

1. 动作当文本 token。 RT-2 的动作是 8 个数：末端 6 个自由度的位移和转动、夹爪开合、一个“结束”标志；连续的维度均匀切成 256 个 bin，整条动作写成一串整数 token，再和网页上的看图问答数据混在一起微调（fine-tuning）（§3.2）。55B 的版本放在多 TPU 的云服务上，控制频率 1–3 Hz，5B 版本约 5 Hz（§3.3）。OpenVLA（Stanford 等，2024-06）沿用这个思路：Llama 2 7B 加 DINOv2 和 SigLIP 两路视觉特征；7 维动作，每维在训练数据 1%–99% 分位之间切 256 个 bin，占用 Llama 词表（vocabulary）里最少用的 256 个 token；在一张 RTX 4090 上约 6 Hz（没做编译和投机解码）。

2. 先压缩，再变 token。 FAST（Physical Intelligence、UC Berkeley、Stanford，2025-01）的观察是：高频控制下相邻两步几乎一样，逐步逐维的 token 大多“抄上一个就对”，next-token 的学习信号很弱。原文是“this marginal information approaches zero as the control frequency of the training signal increases …”，即训练信号的控制频率越高，每个新 token 带来的边际信息越趋近于零（§IV）。它对每一维做离散余弦变换（DCT），量化后用 BPE 压缩。作者报告的每 1 秒动作块 token 数：7 维、20 Hz 的收拾餐桌从 140 降到 28；14 维、50 Hz 的叠 T 恤从 700 降到 53（表 I）。π0-FAST 能追平扩散版 π0，训练时间最多少 5 倍（作者）。

3. 连续的动作专家。 π0（2024-10）= PaliGemma 3B + 约 3 亿参数的 flow-matching 动作专家；动作块长 50，最高 50 Hz；推理时积分 10 步，图像、文字和机器人状态组成的前缀只算一次、KV 缓存起来，每步只重算动作那一段（§IV）。π0.5（2025-04）先用文字预测下一个子任务，再由 3 亿参数的专家出 50 步的动作块；π0.7（2026-04）换成 Gemma 3 4B 加 8.6 亿参数的专家，提示里加入质量、速度等元数据和子目标图片。NVIDIA 的 GR00T N1（2025-03）是 VLM（System 2）加 diffusion transformer 动作模块（System 1）端到端联合训练；Hugging Face 的 SmolVLA（2025-06）总共约 4.5 亿参数，其中约 1 亿是 flow-matching 专家。直接给 VLM 接一个随机初始化的连续专家也有代价：PI 的 knowledge insulation（2025-05）报告这会明显拖慢训练、损害知识迁移；正文（§1、§5.2）的解释是专家的梯度回传会破坏 VLM 主干，做法是把主干和这部分梯度隔开。

4. 不用 token，也不用扩散。 OpenVLA-OFT（Stanford，2025-02）把 OpenVLA 改成并行解码（双向注意力，一次前向就出整块）、连续动作、L1 回归。作者报告 LIBERO 平均成功率从 76.5% 升到 97.1%（最好的配置用了额外输入），动作生成吞吐提高 26 倍（块长 8 时测得）。

算一次：一块动作要等多久（教学数字）

下面的单步耗时都是教学假设，只为让量级能手算，不是任何模型的实测：

• 前缀：图像、指令和机器人状态过一遍 VLM，$T_{\rm prefix}=40$ ms，三种接法相同；
• 自回归解码（autoregressive decoding）：约 30 亿参数的主干每生成一个 token，$c_{\rm tok}=10$ ms；
• flow 一步：约 3 亿参数的动作专家（前缀 KV 已缓存）每积分一步，$c_{\rm flow}=3$ ms；
• 动作块：50 步 × 7 维，50 Hz 下正好 1 秒的动作；FAST 压缩后设为 40 个 token（作者说通常 30–60 个）。

$$ T_{\rm AR}=T_{\rm prefix}+N_{\rm tok}\,c_{\rm tok},\qquad T_{\rm flow}=T_{\rm prefix}+K\,c_{\rm flow} $$

$N_{\rm tok}$ 是要串行生成的 token 数，$K$ 是 flow 的积分步数。代进去：

逐维 token 比 flow 慢约 $3540/70\approx51$ 倍，FAST 慢约 $440/70\approx6$ 倍。如果逐维 token 不做动作块、每次只出一步，$40+7\times10=110$ ms，最多约 9 Hz，和 RT-2（1–3 Hz）、OpenVLA（约 6 Hz）实测的个位数 Hz 在同一个量级。

再对照真实测量。π0 论文（v1 附录 D，表 I）在 RTX 4090、3 路相机下测得：图像编码 14 ms，前缀前向 32 ms，10 步 flow 共 27 ms，机载合计 73 ms；移动机器人经 WiFi 放到机外推理时再加 13 ms 网络。FAST 论文（§VI-E）报告：同样在 RTX 4090 上，扩散版 π0 出 1 秒动作块在 100 ms 以内，π0-FAST 每块约 750 ms，因为要解码 30–60 个 token，而且每个 token 都要过 20 亿参数的完整主干，不是 3 亿参数的专家。作者也说，在他们测的静态操作任务上，这个延迟没有拖累表现。

这张图需要启用 JavaScript。

这个算例不说明的事：

• 串行步数和策略好坏是两回事：π0-FAST 的串行步数多得多，作者报告它在成功率上追平了 π0。
• 单步耗时随 GPU、量化、batch 和实现变化很大；比较时要写清硬件和配置。
• flow 方案里前缀占了大头：教学数字里是 $40/70\approx57\%$，π0 的实测里图像编码加前缀是 $46/73\approx63\%$。想再快，先压前缀。
• 真实系统会让推理和执行重叠：π0 在 50 Hz 机器人上每执行 25 步（0.5 秒）就推理下一块；SmolVLA 的异步推理把任务完成时间从 13.75 秒降到 9.7 秒（论文 §4.6，作者报告）。

快慢分层：为什么人形机器人拆成两三层

站稳和抓握要毫秒级的反馈，“把杯子放进水槽”这句话的含义却几秒才变一次。一个几十亿参数的模型跑不到 200 Hz，于是拆层：慢层理解场景和指令，快层把它变成关节指令。

算一下层间节奏：S2 取 8 Hz，每 125 ms 更新一次；这期间 200 Hz 的 S1 跑 $125/5=25$ 次，1 kHz 的 S0 在 S1 的每一步里再跑 5 次，合计 125 次。代价是：慢层看错了，错误会持续整整一个慢周期；层与层之间传什么（隐向量、文字子任务还是关节目标），各家公开得都不多。

在 VLA 上接 RL：学示范里没有的东西

示范只能教到示范者的水平，速度也被示范者限住；摔了、卡住之后怎么接着干，示范里也很少有。2025–26 年，Physical Intelligence 开始在 VLA 上用机器人自己的经验做 RL（以下均为公司自报）：

• π*0.6 / Recap（2025-11-17）。 先训一个价值函数，用它估计每段经验的 advantage（这一步比平均好多少，见 Actor–Critic 与 GAE），再让 π0.6 以这个信号为条件学习，预训练（pre-training）阶段属于离线 RL（见 Offline RL 与 OPE）；数据包括示范、机器人自己的经验和遥操作员的纠正。PI 报告在部分最难的任务上吞吐量翻倍以上、失败率降到一半或更低，并演示从早上 5:30 到晚上 11:30 连续做咖啡。
• RL tokens（2026-03-19）。 先训练 VLA 输出一个“RL token”，之后冻结 VLA，在这个 token 上训一个小的 actor-critic 做在线 RL，由它修改 VLA 给出的动作。PI 报告最精细的阶段最多快 3 倍，最少只用 15 分钟真机数据；测了 4 个精细任务（拧 M3 螺丝、扎扎带、插网线、插电源线），RL 只针对其中的关键阶段。
• π0.7（2026-04-16）。 PI 说这个通用模型在叠衣服、做咖啡、折箱子上追平了用 RL 训出的 π*0.6 专用模型；论文结论同时承认，没见过的任务成功率只有 60%–80%。

在仿真里训练腿足或全身控制器，常见的 RL 算法是 PPO 和 SAC，见策略该改多大和 SAC；Helix 02 的 S0 也是在仿真里训的。

评测：分数到 97% 以后

• LIBERO（UT Austin 等，2023-06）：共 130 个仿真操作任务。VLA 论文常用其中 4 个评测套件（Spatial、Object、Goal、Long），各 10 个任务；OpenVLA-OFT 报告的 97.1% 是这 40 个任务的平均。分数挤到这么高，强方法之间已经很难拉开差距；“LIBERO 接近天花板”是我们的判断，不是哪篇论文的结论。
• SIMPLER（2024-05）：在仿真里复刻真实的桌面和机器人，用来评测在真机数据上训出的策略；作者报告仿真和真机结果强相关。
• RoboArena（2025-06）：在 DROID 平台上做分布式、双盲的真机成对比较，7 家学术机构、600 多个成对 episode、7 个策略。

为什么高分段难比，可以算一下。OFT 的评测协议是每个套件 500 次（10 个任务 × 50 次），4 个套件共 2,000 次。成功率 0.97 时，标准误是 $\sqrt{0.97\times0.03/2000}\approx0.0038$，95% 区间约 ±0.75 个百分点；两个方法差 0.5 个点，差值的标准误约 $\sqrt2\times0.0038\approx0.0054$，还不到 1 个标准误。（这里把 2,000 次当成独立试验；同一任务内的试验相关时，区间还要更宽。）怎样比较两个分数，见分数涨了，究竟能说明什么。

用世界模型代替真机来评测，是另一条路，单独在世界模型给机器人和汽车当评测器一篇里讲。

仿真到现实：差距从哪来，怎么补

仿真便宜、能并行、不怕摔，但摩擦、质量、延迟、画面都和真机不一样。先用一个能手算的例子看三种补法。

教学例子：机械臂把冰球推出去，冰球以初速 $v$ 滑行 $d=v^2/(2\mu g)$ 后停下，目标 $d^\ast=0.5$ m，$g=9.8\ \text{m/s}^2$。真实桌面的摩擦系数 $\mu$ 在 0.3 到 0.7 之间，事先不知道。

• 只在仿真里按 $\mu=0.5$ 调。 $v^2=2\times0.5\times9.8\times0.5=4.9$。到了真桌面：$\mu=0.3$ 时滑 $4.9/5.88\approx0.83$ m，多出 0.33 m；$\mu=0.7$ 时只滑 $4.9/13.72\approx0.36$ m。
• 域随机化（domain randomization）。 训练时让 $\mu$ 在 0.3 到 0.7 之间随机，策略不知道这一次是多少，只能选一个各种情况都过得去的 $v$。若目标是让最坏误差最小，就让两端误差相等：$\frac{v^2}{2g}\left(\frac1{0.3}+\frac1{0.7}\right)=1$，得 $v^2\approx4.12$，两端分别滑 0.70 m 和 0.30 m，误差都是 0.20 m。更稳了，但很少正中。
• 在线适应（RMA 的思路）。 先轻推一下，看冰球减速多快（减速度等于 $\mu g$），估出 $\mu$ 再出手。量到减速度 $2.94\ \text{m/s}^2$，得 $\hat\mu=0.3$，取 $v^2=2\times0.3\times9.8\times0.5=2.94$，正好滑 0.5 m；剩下的误差只来自估计误差。

对应的论文：

• Tobin 等（OpenAI、UC Berkeley，2017-03）随机化渲染，让真实世界看起来只是又一种变化；只用仿真图像训练的物体检测器在真实世界里定位精度 1.5 cm（作者）。动力学随机化见 Peng 等（2017-10）。
• OpenAI 的魔方（2019-10）用自动域随机化（ADR）：策略在一个范围上表现够好，就把随机范围再放宽；只在仿真里训练，机械手完成了魔方还原（还原步骤由 Kociemba 求解器给出，学到的是手上的操作）。
• RMA（UC Berkeley、CMU、Facebook AI，2021-07）：基础策略加一个适应模块，适应模块从最近的状态和动作历史里在线估计一个编码环境条件的隐向量；只在仿真里训练，作者报告不经微调就让 A1 四足机器人走沙地、台阶、草地等地形。腿足机器人 sim-to-real 的另一篇经典工作是 Hwangbo 等（2019-01）。

截至 2026 年 10 月，仿真器在往 GPU 并行上集中：

哪些模型能下载（截至 2026-10-15）

GR00T N1.6 的骨干也有冲突：NVIDIA 研究页写的是内部的 Cosmos-2B 变体，GitHub 仓库和开发者页面写的是 Eagle。

人形机器人：官方说了什么（截至 2026-10-15）

Tesla Optimus 只看 Tesla 自己的季度致股东信（SEC 存档的 Exhibit 99.1）：

截至 2026-10-15，Tesla 的一手资料里没找到 Gen 3 / V3 的正式发布；2026 Q3 的信还没出。关于 V3 发布和周产量的说法只见于报道，这里不采用。

其他公司（公司自报，除非另注）：

• Figure：BMW 2026-02-27 的新闻稿确认，一台 Figure 02 在斯帕坦堡工厂参与生产了 3 万多辆 X3；Figure 在 2026-04-29 称已交付 350 台以上 Figure 03，没有点名客户，也没给现场部署台数。
• Agility：Digit 在 GXO 的仓库搬运了 10 万个以上周转箱（2025-11-20）。
• Boston Dynamics：2026-01-05 发布量产版电动 Atlas，称 2026 年的部署已全部排满，交给 Hyundai 和 Google DeepMind（博客）；之后没找到确认已交付的一手资料。
• 1X：2026-04-30 的工厂公告说 NEO 尚未开始向客户交付，首批先给内部做家庭测试，承诺 2026 年内开始交付；之后没找到确认交付的官方消息。

接下来看什么

• NVIDIA 是否按预告在年底前发布 GR00T N2，以及权重和许可；π0.6 / π0.7 是否开放权重，还是只走 API。
• 有没有不由模型作者自己做的真机对比，比如更多策略进入 RoboArena 这类双盲评测。
• Tesla 2026 Q3 的信怎样描述 Optimus 的生产。

回到系列导读；动作头的细节在上一篇；世界模型直接当策略（DreamZero、1X）见前沿板块。

参考：RT-2 · OpenVLA · FAST · π0 · OpenVLA-OFT · RMA

本页术语 6

视觉语言模型 vision-language model, VLM

能够结合图像与文字处理任务的模型

语言模型 language model, LM

对文本序列建模，用上下文预测或生成后续内容

微调 fine-tuning

在预训练权重上继续训练以适配具体任务

词表 vocabulary

模型能输出的所有 token 的集合

自回归解码 autoregressive decoding

把刚生成的 token 作为下一步输入并逐步继续生成

预训练 pre-training

先用大量数据学习通用表示和能力，再适配具体任务