自动驾驶：端到端驾驶与闭环评测

两个驾驶模型在开环评测上的 L2 误差一模一样；放进闭环仿真，一个不到两秒就压线，另一个稳稳开在车道里。开环评测每一步都把车放回日志里的位置，模型自己的小偏差不会累积；闭环里，模型的偏差会改变它下一步看到的世界。端到端模型越强，越要用闭环或接近闭环的指标来判断，上路之前还要有一份安全论证。

待审核草稿。 这一篇还没有经过站主审阅，事实、取舍和措辞都可能修改；引用前请回到文中链接的一手资料核对。

“端到端”到底指什么

共同点是：规划或驾驶目标的梯度能传回感知，中间输出不再是必须的接口。差别在于内部还留多少结构、有没有语言模型（language model, LM）参与。

下面只按 Tesla 自己的文件和演讲、按日期列，数字都是公司自报；这些一手资料都没有给出 v12–v14 的逐层结构：

• 2023 年第四季度股东信：V12 于 2023 年 12 月底开始推送，用 AI 来影响车辆控制，而不是把每种驾驶行为都手写出来，并称用了端到端训练。
• 2025 年第四季度股东信：FSD 跑在用客户车和 Robotaxi 真实数据训练的端到端 foundation model 上。
• 2026 年第一、二季度股东信（SEC 副本：Q1、Q2）：v14.3 升级了针对长尾（long tail）的 RL 阶段，推理延迟最多降 20%；v14 lite 把 AI4 上 v14 的驾驶行为蒸馏到 AI3 硬件。
• 2026 年 6 月 CVPR WAD 演讲（视频，据自动字幕转述）：Elluswamy 说输入包括相机、地图与导航、车辆状态和音频，网络在两颗冗余的 AI4 芯片上各跑一份。

模仿之外：RL 与 self-play

多数端到端模型先在人类驾驶日志上做模仿学习，也就逃不开模仿与奖励里讲的误差累积：日志里几乎只有“人在车道中央”的状态，没有“偏了以后怎么回来”。老补法之一是 ChauffeurNet：在训练数据里人为合成扰动，让模型见到偏离的状态。

另一条路是让模型在模拟器里自己开、按结果学：

• Apple 的 GigaFlow（ICML 2025）在批量模拟器里只用 self-play 做 RL。作者报告共模拟 16 亿公里、仿真中平均 17.5 年才出一次事故，在 CARLA、nuPlan、Waymax 上达到最好成绩；自述局限是只在仿真里，感知被抽象掉了。
• Tesla 在 2025 年 10 月的 ICCV 演讲中说，用神经世界模拟器重放过去的失败、注入对抗性的加塞，并做闭环 RL（视频，据自动字幕转述）。演讲者也说开环上的提升不一定能转化为真实驾驶，评测是最难的问题。

RL 绕开了“日志里没有偏离状态”的问题，但换来了新问题：模拟器不像真实世界的地方，可能被策略利用，这和 model-based 一篇里规划器钻模型漏洞是同一件事。

算一次：同样的开环分数，完全不同的闭环结局

下面全是教学设定。直道，车道宽 3.5 m，车宽 1.8 m，所以车身中心向一侧偏 $(3.5-1.8)/2=0.85$ m 时车轮压线，偏 1.75 m 时车身中心已越过车道线。车速 $v=10$ m/s。日志里人类一直在车道中央直行。两个策略都有同样的小偏差 $\varepsilon=0.02$ rad（约 1.15°）：

• 策略 A：沿自车当前航向外推，再多偏 $\varepsilon$。 它只看自车状态，不看车道线。
• 策略 B：看车道线，往中心拉。 计划航向 $=\varepsilon-g\,y$，$y$ 是车身中心向左的偏移（m），$g=0.1$ rad/m。

开环，即 nuScenes 式的评测：每一帧都把日志里的状态喂给模型（$y=0$，航向 0），让它输出未来 3 s 轨迹，再和日志比。两个策略在这个状态下都输出航向 0.02 的直线，横向偏移 $10\times t\times0.02=0.2t$：1、2、3 s 的 L2 误差都是 0.2、0.4、0.6 m，平均 0.4 m。下一帧又回到日志状态，误差从零重来。

闭环：每次执行计划的前 0.5 s（5 m），再从车实际到达的状态重新规划。用小角度近似 $\sin\theta\approx\theta$：

$$ \text{A:}\ \theta_k=\theta_{k-1}+\varepsilon,\qquad \text{B:}\ \theta_k=\varepsilon-g\,y_{k-1},\qquad y_k=y_{k-1}+v\,\Delta t\,\theta_k . $$

A 的航向每步加 0.02，偏移按 $0.05\,k(k+1)$ 增长：在 1.5 s 到 2.0 s 之间车轮压线，3 s 时车身中心已在邻车道。B 每步 $y_k=0.5\,y_{k-1}+0.1$，收敛到 $\varepsilon/g=0.2$ m，一直在车道里。

开环分不出它们，原因是日志里根本没有 $y\neq0$ 的状态，“偏了以后怎么办”从来没被问过。再换一个条件：一个完全不看路、只按当前速度和航向匀速外推的策略，在这条直道上开环 L2 是 0，满分。A 其实就是这种“自车状态外推器”加了一点偏差。

这张图需要启用 JavaScript。

nuScenes 开环指标为什么不再可信

nuScenes 开环规划评测比较模型预测的自车轨迹和日志轨迹，报告 1、2、3 s 的 L2 误差和碰撞率。几项一手结果：

• Li 等（CVPR 2024）统计出 nuScenes 有 73.9% 是直行；摘要说“These models tend to rely predominantly on the ego vehicle's status for future path planning”，即这些模型主要靠自车状态做规划，继续刷这个榜未必能得出可信的结论。
• AD-MLP 的摘要说，只输入过去轨迹和速度、不看图像或 lidar 的 MLP，平均 L2 反而低约 20%，只是碰撞率不如用感知的方法。同一个 AD-MLP 放进 Bench2Drive 闭环测试，成功率是 0（README v0.0.4 的表）。
• 实现也不统一。UniAD 自己的 README 报 nuScenes 平均 L2 0.90 m，SparseDrive README 的对比表里 UniAD 是 0.73 m；碰撞率的算法各篇也不一样。
• Bench2Drive 的 README（2025-02-05）说这个指标没有说服力，维护者已停止报告。

闭环和准闭环各测什么

最后一行指 Waymo World Model（2026-02）、Wayve GAIA-4（2026-08）和 Tesla 的神经世界模拟器（据演讲自动字幕）这类生成式模拟器；纯重建为什么在车偏离日志后失效，见三维重建与神经渲染，世界模型怎样当评测器，见世界模型：机器人与驾驶。

NAVSIM：给一条计划，模拟 4 秒

NAVSIM v1（NeurIPS 2024）把模型给出的计划交给 LQR 控制器，在俯视图（view）里不带反应地模拟 4 s，再按规则打分：

$$ \text{PDMS}=\text{NC}\times\text{DAC}\times\frac{5\,\text{EP}+5\,\text{TTC}+2\,\text{C}}{12} $$

NC 是没有自己负责的碰撞，取 0、1/2 或 1；DAC 是没有驶出可行驶区域，取 0 或 1；EP 是行驶进度，在 0 到 1 之间；TTC 是碰撞时间没有低于阈值，C 是舒适，都取 0 或 1（指标文档）。算一次：NC=DAC=1，EP=0.8，TTC=C=1，PDMS $=(4+5+2)/12\approx0.917$，论文里写成 91.7。若像第 2 篇的候选（candidate） A 那样离前车太近、TTC=0，PDMS 降到 $(4+0+2)/12=0.5$；若驶出路面、DAC=0，其他项再好也是 0。这和第 2 篇的结构一样：硬约束相乘，软项加权平均。

论文 navtest 上的 PDMS：人类 94.8，TransFuser 84.0，UniAD 83.4，只用自车状态的 MLP 65.6，匀速外推 20.6。在这里，只看自车状态的方法明显落后，nuScenes L2 上看不出这一点。论文也写明了自己的局限：不模拟其他车的反应，不看误差累积，不含红绿灯和停车标志规则，建议同时跑 CARLA。

放回我们的例子：A 和 B 在日志起点给出的是同一条计划，4 s 后横向偏移 $0.2\times4=0.8$ m，PDMS 自然相同。v1 一样分不出它们，这正是“不看误差累积”的意思。

NAVSIM v2（CoRL 2025）的“伪仿真”分两个阶段：第一阶段照常给计划打分；第二阶段从一批预先算好、用 3D Gaussian splatting 渲染的扰动起点出发再打分，按起点与第一阶段终点的接近程度加权，最后两段相乘。它的 EPDMS 在乘法项里加了行驶方向和红绿灯，把舒适项换成历史舒适，并新增车道保持和扩展舒适两个加权项（指标文档）。摘要报告，它与闭环结果的 $R^2$ 为 0.8，最好的开环指标是 0.7。按这个设计，如果第二阶段的起点里有“已经偏左 0.8 m、车头也歪了”这样的状态，A 会继续偏，B 会拉回来，车道保持和可行驶区域两项才有机会把它们分开。

CARLA 与 Bench2Drive：让车全程自己开

CARLA 排行榜 2.0 的驾驶分是路线完成率乘以违规惩罚，每发生一次违规就乘一次对应系数：撞行人 0.50，撞车 0.60，撞静止物体 0.65，闯红灯 0.70，闯停车标志 0.80。

$$ \text{DS}=\text{RC}\times\prod_j p_j^{\,n_j} $$

算一次：完成 90% 路线，撞车一次、闯红灯一次，$\text{DS}=90\times0.60\times0.70=37.8$。另一个模型开到一半就停下、没有任何违规，$\text{DS}=50\times1=50$，反而更高。这不只是假想：CARLA 官网写明，参赛者发现提前结束路线比跑完全程得分更高，所以 2025 年 3 月起的 2.1 版把违规扣分从连乘改成线性，2.1 和 2.0 的分数不能直接比；官网也显示 2025 年没有办挑战赛。读 DS 时要和路线完成率、违规次数一起看。

Bench2Drive（NeurIPS 2024）在 CARLA 0.9.15 里用 44 类场景、220 条路线分项测试闭环能力，数据集是 13,638 段片段、200 万帧。README v0.0.4（2026-08-06）汇总的 DS 从 UniAD 的 38.69 到 LEAD 的 95.59；这是维护者汇总的表，各方法的训练设置不一定相同。

安全论证：几份标准各管什么

评测分数回答“它开得怎么样”，安全论证回答“凭什么相信它在设计运行范围内足够安全”。ISO 标准正文收费，页面也拒绝了我们的自动抓取，所以 ISO 和 SAE 几项只按标准名称和通常的定位来写，没有读到原文：

端到端模型让“按部件逐项论证”变难：没有一个叫“感知”的模块可以单独出测试报告。Waymo 的做法是在车上另设一层独立的验证，并让同一个基础模型同时充当驾驶员、模拟器和评审（博客）；它也公开了安全方法论（Webb 等 2020）。另一条思路是把“什么算安全”写成形式化规则，例如 RSS。

截至 2026-10：部署与公开证据

上路运营是最终的闭环测试。各家的乘车量和城市数见导读；这里只列能拿来判断“闭环里表现如何”的公开证据。

截至 2026-10-15（变化很快，引用前请核对日期）

• Waymo 的 Safety Impact（数据截至 2026-06，公司自报）： 2.713 亿英里 rider-only 里程；与同类城市道路上的人类驾驶基准相比，重伤及以上的事故少 95%（少 55 起），致伤事故少 82%。这是 Waymo 自己做的相对比较，重伤事故的绝对数很小，且只覆盖 5 个成熟市场。
• 召回暴露的长尾（NHTSA 召回文件）： Waymo 26E026（2026-05-06，3,791 辆）在较高车速道路上遇到积水车道，可能减速但不停车；Waymo 26E035（2026-06，3,871 辆）可能高速驶入封闭的高速公路施工区（读自汇总站）；Zoox 26E044（2026-07-16，105 辆无人车）在事故现场可能识别不了浓烟。

积水、施工区、浓烟都是训练日志里少见的情况，开环 L2 测不出来。

读端到端论文时检查什么

参考：Parting with Misconceptions（PDM） · DAgger。上一篇：预测与规划；返回导读。

本页术语 8

语言模型 language model, LM

对文本序列建模，用上下文预测或生成后续内容

编码器 encoder

把原始输入压成向量的那一半模型

蒸馏 distillation

用一个模型的输出训练另一个通常更小的模型

长尾 long tail

出现频率很低但总量可观的那部分情况

视图 view

同一个对象的一种侧面表示；用户可以同时有画像视图和历史视图

候选 candidate

召回阶段捞出来、等待精排挑选的内容

消融 ablation

去掉一个组件再测一次，用来判断它到底有没有贡献

基线 baseline

用来比较新方法的参考方法或配置