一眼看懂
封面预览
提出名为 DriveMA 的驾驶视觉-语言-动作模型（Driving VLA）框架，旨在利用可验证的元动作来弥合语言决策与轨迹执行之间的鸿沟。
- 提出名为 DriveMA 的驾驶视觉-语言-动作模型（Driving VLA）框架，旨在利用可验证的元动作来弥合语言决策与轨迹执行之间的鸿沟。
- 核心研究目标是解决驾驶 VLAs 中普遍存在的“语言-动作差距”问题，即高层语言决策无法被底层轨迹有效执行。
- 论文证明，通过构建一个可验证、可监督、可优化接口，即使简单的元动作也能实现卓越的规划性能与语言-动作对齐。
Card 01
研究单位
研究单位
- Shanghai Qi Zhi Institute
- Tsinghua University
- Tongji University
Card 02
论文概述
论文概述
- 提出名为 DriveMA 的驾驶视觉-语言-动作模型（Driving VLA）框架，旨在利用可验证的元动作来弥合语言决策与轨迹执行之间的鸿沟。
- 核心研究目标是解决驾驶 VLAs 中普遍存在的“语言-动作差距”问题，即高层语言决策无法被底层轨迹有效执行。
- 论文证明，通过构建一个可验证、可监督、可优化接口，即使简单的元动作也能实现卓越的规划性能与语言-动作对齐。
Card 03
核心贡献
核心贡献
- 提出 DriveMA 框架，将元动作实例化为一个简单的可验证中间语言接口，并通过动作中心的预训练强化高层决策学习。
- 引入一种数据高效的回合级信用分配强化学习框架，通过密集奖励和精确的信用分配，实现显式的语言-动作对齐。
- 在 WOD-E2E 基准上创造了新的最佳记录，其中 DriveMA-2B 模型达到 RFS 8.060，DriveMA-4B 模型进一步提升至 8.079。
- 在 NAVSIM 基准上取得了具有竞争力的闭环规划性能，优于现有的 Driving VLA 方法。
- 展示了卓越的数据效率，仅使用少量偏好样本进行强化学习即可显著提升规划性能。
Card 04
方法描述
方法描述
- 采用基于分块的元动作标注流程，自动从专家轨迹中构造离散、可验证的元动作标签，包含纵向（停止、减速、保持、加速）和横向（直行、转弯、变道等）组件。
- 提出两阶段元动作引导的监督训练策略：第一阶段为动作中心预训练，使用驾驶 VQA 数据对齐模型；第二阶段进行元动作条件下的规划微调。
- 设计回合级信用分配强化学习框架，将多轮生成分解为决策轮和规划轮，在每一轮内分别进行奖励计算与优势值归一化，从而将不同类型的奖励精确地分配给对应的生成 token。
- 创新性地利用元动作的可验证性构建一致性奖励，将预测轨迹投影回验证空间，并与预测元动作进行比对，以显式激励决策与轨迹的一致性。
Card 05
数据集与资源
数据集与资源
- 主要评估数据集为 Waymo Open Dataset Vision-based E2E Driving (WOD-E2E) 和 NAVSIM。
- 在动作中心预训练阶段使用了 WaymoQA、IDKB 和 LingoQA 等开源驾驶 VQA 数据集，共计 240K 样本。
- 模型基于 Qwen3.5 模型家族，主要评估了 DriveMA-2B 和 DriveMA-4B 两个规模。
- 论文未在原文中明确说明具体的 GPU/TPU 等训练硬件资源详情。
Card 06
评估与结果
评估与结果
- 在 WOD-E2E 基准上，DriveMA-2B 达到了 8.060 的 RFS 总体分数，DriveMA-4B 进一步提升至 8.079，均超越所有先前方法，创造了新的最佳记录。
- 在 WOD-E2E 的挑战性子集上，DriveMA-2B 取得了 7.251 的 RFS Spotlight 分数，且具有最低的 ADE（平均位移误差）。
- 在 NAVSIM 基准上，DriveMA-4B 达到了 91.2 的 PDMS 分数，在现有的 Driving VLA 方法中表现最优。
- 主要评估指标包括 RFS (Rater Feedback Score) 用于 WOD-E2E，以及 PDMS (PDM Score) 用于 NAVSIM，涵盖安全性、进度和舒适性等多个维度。
- 消融实验证明，一致性奖励将语言-动作一致性从 88.50% 显著提升至 98.80%，有效解决了决策与轨迹不一致的问题。