英伟达博客发声：她不一样，她懂显卡 ( bushi )，她懂端到端！

她叫 Alpamayo 2 Edge。 英伟达11月10日刚发布出来的一款端到端自动驾驶模型。VLM 骨干约 2.45B、动作专家约 0.2B，跑在车规级芯片 DRIVE AGX Thor 上。

但“懂端到端”这四个字，还真不是标题党蹭流量。在各路AI疯狂“嘴替”、大模型疯狂自言自语的时代，英伟达力挺的这姑娘（划掉）这模型，是真·人间清醒。

Alpamayo 2 Edge希望让汽车里的 AI 不仅能看懂道路，还能理解复杂交通关系、分析潜在风险，并根据场景自主生成驾驶动作。简单来说，就是让 AI 从会看、会理解，进一步走向会开车。

当然，让 AI 在服务器里推理和让它在高速行驶的汽车里推理，完全是两回事。车载算力有限，响应时间也有严格要求，模型既要具备复杂场景下的推理能力，又不能把大量计算资源消耗在冗长的思考过程中。

Alpamayo 2 Edge 围绕这个问题做了一套新的设计：普通端到端模型输入图像直接输出轨迹，中间发生了什么是黑箱。而 Alpamayo 2 Edge 被强制要求生成 Chain-of-Causation（因果链）推理：不光要开车，还要说出为什么这么开。

所以汽车究竟需要怎样“懂端到端”的 AI，才能既想得明白，又开得及时？这套新 VLA 给出了一个颇有意思的技术方案。

01

让模型自主控制推理开销

Alpamayo 2 Edge 的一个核心设计，是让模型学习何时需要展开完整推理。自回归语言模型下推理文本越长，生成耗时越高，而车载系统还需要为视觉编码和轨迹生成预留计算资源。

NVIDIA 为此引入了 Adaptive Reasoning，并设计特殊标记 <NOMINAL>。当模型判断当前属于常规驾驶状态时，可以直接输出这个标记，结束显式推理文本的生成；遇到复杂交通交互时，再生成完整的 Chain-of-Causation（CoC）推理链。

这里有一个重要的实现细节：<NOMINAL>并不意味着关闭视觉网络，也不代表模型跳过后续动作计算。它改变的是语言模型的输出方式，减少常规场景下的推理 Token。公开架构没有披露独立的外置风险分类器，模型需要通过训练学会两种输出模式的选择。

那么，模型如何知道什么场景需要推理？这涉及 CoC 的数据构建。

NVIDIA 的自动标注流程会先从车辆轨迹中提取 Meta-Action，也就是自车的高层运动行为，再根据行为发生变化的时间点定位关键帧，随后调用 VLM 生成场景因素与驾驶动作之间的因果解释。标注还需要经过验证，检查解释是否有画面依据，以及描述的动作是否符合实际轨迹。

这里有一个重要的设计取舍：驾驶视频中存在大量连续画面，但并非每一帧都会产生新的驾驶决策。如果逐帧生成推理文本，训练集容易积累大量重复描述。

以 Meta-Action 变化为锚点，可以把监督集中在车辆行为发生变化的时刻，让模型学习障碍物、交通参与者和道路条件如何影响自车动作。

NVIDIA 使用 Alpamayo 2 Super 生成 CoC 自动标注，再通过离线蒸馏训练 Edge 模型。公开数据约包含 115,000 小时多摄像头驾驶视频，以及 370 万条 CoC 推理标注。

例如，前方车辆减速时，模型需要结合左侧来车、道路边界和自身速度判断是否能够绕行。CoC 要表达这些因素与减速、等待或转向之间的联系，同时避免引用决策发生之后才出现的信息。

这样，模型学习的内容包含两层：复杂场景下如何组织因果解释，以及常规场景下何时可以省去显式解释。前者提供驾驶推理监督，后者控制文本生成成本。

不过，自动生成的 CoC 仍可能继承教师模型的偏差，解释与实际驾驶动作是否一致，还需要在后续训练中检验。

02

从场景理解到连续轨迹

完成场景分析后，模型还需要把判断转化为车辆能够执行的运动轨迹。Alpamayo 2 Edge 将这项工作交给独立的 Diffusion Action Expert（约 0.2B 参数），与 VLM 骨干（约 2.45B 参数）形成双模块架构。

这套架构的输入设计也围绕驾驶场景展开。模型每轮处理 6 路摄像头、22 帧图像。前向广角和长焦各提供 5 帧，覆盖过去 2 秒、1 秒、0.5 秒、0.1 秒和当前时刻；左右侧向与后向四路摄像头各提供 3 帧，覆盖过去 1 秒、0.1 秒和当前时刻。

前向摄像头保留更密集的历史信息，用于识别道路变化和前方交通参与者的运动状态；侧后方画面补充周边车辆信息。此外，模型还接收 20 个历史 Ego Pose，按照 0.1 秒间隔覆盖过去 1.9 秒，并转换到当前自车坐标系。

这里的 Ego Pose 很关键。摄像头提供外部环境的视觉信息，Ego Pose 描述车辆自身的位置和姿态变化。两类信息经过统一的时间与坐标处理后，模型才能结合自车运动历史理解道路中其他参与者的相对运动。

在完成视觉与运动信息编码后，VLM 负责提供场景语义、导航条件和 CoC 推理，动作专家则接收这些条件，生成连续控制量。

动作专家输出每个时间步的加速度和曲率，再通过 Unicycle Model 积分形成车辆轨迹。加速度描述纵向速度变化，曲率决定路径弯曲程度。相比直接让语言模型生成大量坐标，这种控制量表达更贴近车辆运动学。

模型最终输出 64 个 Waypoints，覆盖未来 6.4 秒，每 0.1 秒一个点，包含 XYZ 位置和 3×3 旋转矩阵。这里还区分了车辆后轴的实际行驶路径与车身朝向：车辆发生侧滑时，车身航向与路径切线可能存在角度差异，因此两类信息需要分别表达。

连续动作采用 Flow Matching 训练，公开推理配置默认执行 10 步 Euler 积分。训练时，VLM 接受未来轨迹 Token 和 CoT 文本监督，动作专家接受加速度与曲率的 Flow Matching 监督。

其中一个关键实现是 Detach 梯度隔离。动作专家接收 VLM 输出的条件特征，但动作损失不会反向更新 VLM。这样可以减少连续控制目标对语言视觉骨干的梯度干扰，让两个模块分别优化语义理解和运动生成。

这也带来一个需要处理的问题：如果 VLM 对场景的理解存在偏差，动作专家无法通过自己的训练损失直接修正上游表征。因此，模型还需要一套独立的评价机制，检查推理文本是否有场景依据，以及生成的轨迹是否符合对应的驾驶意图。

03

让推理质量进入训练反馈

NVIDIA 为此引入 AlpaJudge，将 CoC 推理质量转化为可评估的训练信号。它提供 Reference-Based（RB）和 Reference-Free（RF）两个版本。

RB 接收问题、参考解释和模型生成的候选解释，判断两段文本的对齐程度，但不读取图像。因此，它适合已有专家标注的样本，却无法独立判断解释是否符合实际画面。

RF 则不需要参考解释，输入包括前向广角和长焦摄像头画面、自车 Meta-Action 历史与未来，以及模型生成的 CoC。它从五个维度评价推理质量：动作匹配、安全性、场景依据、要素完整性和因果一致性。

RF 将动作匹配与安全性合并为动作评分，占综合评分的 60%；场景依据、要素完整性和因果一致性构成另外 40%。这种设计把驾驶行为与语言解释放进同一套评价框架，避免只根据文本是否流畅来判断推理质量。

由于 RF 使用了未来 Meta-Action，它主要用于离线评估和训练，不参与车辆实时决策。它的作用是检查模型生成的解释是否符合场景证据，以及解释所表达的驾驶意图是否与实际动作对应。雷峰网

AlpaJudge 还参与训练数据筛选。NVIDIA 的实验显示，经过评分筛选后，中间分数样本在精选数据中的占比从原始数据的 27% 提高到 81%。中间分数样本通常保留更多学习空间，而低分样本可能来自错误标注，也可能对应模型尚未掌握的困难场景，因此仍需人工复核。

评分机制进一步进入后训练。模型生成候选 CoC 和轨迹后，训练流程结合推理质量、轨迹误差与驾驶舒适度计算奖励，并保留轨迹质量约束，避免模型只优化解释文本。

NVIDIA 在一组基于 Alpamayo 2 Super 的后训练实验中发现，使用 AlpaJudge 奖励后，模型评分提升 10.2%，人工评价提升 11.4%；使用基线奖励时，模型评分提升 13.4%，人工评价却只提升 1.8%。两组结果说明，模型自身评分与人工判断之间可能存在偏差，推理奖励需要经过人工校准。

不过，AlpaJudge 只能评价模型生成的解释，无法完整衡量连续驾驶中的动作后果。为此，NVIDIA 又将模型接入 AlpaGym 和 AlpaSim，进行闭环强化学习。

在仿真环境中，模型接收摄像头画面、自车状态和路线信息，生成轨迹后由仿真车辆执行，环境再返回新的画面和运动状态，模型继续作出下一轮决策。训练过程因此能够观察当前动作如何影响后续场景，并根据连续驾驶结果更新策略。雷峰网(公众号：雷峰网)

NVIDIA 披露，Alpamayo 2 Edge 经过闭环强化学习后，驾驶表现较未使用该轮 RL 的较优检查点提升 48.9%。在 AlpaSim 的 875 个场景中，每个场景执行三组 rollout，平均每发生一次责任事故或驶离道路事件前行驶约 15.15 公里。

开放环评估则使用 1,392 条样本，在 5 秒处测得 minADE₆ 为 0.52 米。这两组数据衡量的内容不同：闭环结果反映模型在持续交互中的驾驶表现，开放环结果衡量固定输入下的轨迹误差。AlpaJudge 负责检查解释质量，AlpaGym 负责检验动作后果，两者形成了不同层面的训练反馈。

模型训练完成后，还需要针对 DRIVE AGX Thor 进行推理优化。NVIDIA 提供的部署流程包含 FP8 量化校准、ONNX 导出和 TensorRT Engine 构建，并结合 TensorRT Edge-LLM 插件与 DFlash2 speculative decoding。

DFlash2 使用轻量 Draft 模型并行提出候选 Token，再由目标模型验证，减少自回归解码的等待时间。结合 NOMINAL 对常规场景推理文本的压缩，系统从文本生成长度和解码执行两个环节控制计算开销。

在 DRIVE AGX Thor-X、DRIVE OS 7.2.7.0、CUDA 13.4 和 TensorRT 11.3.1.9 的参考配置下，NVIDIA 公布的 Pixel-to-Trajectory 时延为 160–190 ms，具体取决于 CoC 文本长度。

需要注意，这个数字描述的是模型从图像输入到轨迹输出的推理耗时，不包含传感器采集、定位、控制器执行和安全监控组成的整车响应周期。

04

“会说话”不难，“说得起”才难

传统端到端模型被诟病的核心不是开得不好，而是说不清为什么这么开。Alpamayo 2 Edge 的因果链推理直接回应了这一点：它输出的不是“前方有车→刹车”，而是完整的因果解释。

Alpamayo 2 Edge 展示的技术路线，已经把自动驾驶 VLA 的研发推进到了一个更具体的阶段：模型需要根据道路状况调整推理深度，同时将场景理解转化为符合车辆运动学的连续动作。

这套设计的逻辑很明显：你说你懂因果，那就让评分器来判断。 英伟达还特别提醒，推理分高不代表车开得好，必须和碰撞、偏离车道、轨迹误差等指标一起报告。

同时，这对模型提出了两方面的要求，一方面要判断当前交通环境中有哪些因素会影响驾驶决策，另一方面还要控制推理过程带来的计算开销，让后续轨迹生成能够及时完成。

这里存在一个很现实的工程矛盾。如果模型对复杂场景的判断不充分，可能过早进入 NOMINAL 模式，遗漏需要处理的交通因素；如果模型频繁展开长 CoC，语言解码又会占用更多时间，影响整条推理链路的执行效率。

因此，自适应推理的效果不能只看文本质量，还需要结合模式选择、轨迹质量和实际响应时间进行评估。尤其在连续交通交互中，模型能否及时识别场景变化，并在必要时调整推理策略，会直接影响后续驾驶动作。

回到开篇那个问题：我们需要的是 AI"真懂"，还是"表现得懂"到足以通过 AlpaJudge？

从目前公布的结果看，NVIDIA 已经展示了模型架构、自动标注、强化学习和车载部署之间的完整技术路径，但仿真环境中的表现仍需要经过不同道路条件、传感器组合和车辆动力学环境的检验。

对于自动驾驶而言，模型生成轨迹只是决策链路中的一个环节。Alpamayo 2 Edge 将推理过程也纳入了计算资源分配和训练优化，进一步拓展了 VLA 的工程设计空间。

接下来，这套架构能否在真实车辆上稳定处理复杂交通交互，将决定其技术方案能够走多远。

参考链接：https://developer.nvidia.com/blog/running-av-reasoning-models-within-onboard-compute-and-latency-limits