一眼看懂
封面预览
论文提出了 NoRD 模型，旨在解决当前视觉-语言-行动模型对海量数据和密集推理标注两大昂贵需求的依赖。
- 论文提出了 NoRD 模型，旨在解决当前视觉-语言-行动模型对海量数据和密集推理标注两大昂贵需求的依赖。
- 核心研究目标是探索能否在不使用任何推理标注、且训练数据量大幅减少（<60%）的情况下，在自动驾驶基准上达到与现有方法竞争的性能。
- 首次发现了数据高效且无推理的VLA训练失败源于难度偏差，该偏差由弱SFT策略和复杂驾驶奖励共同触发。
Card 01
研究单位
研究单位
- Applied Intuition
- Texas A&M University
- UC Berkeley
Card 02
论文概述
论文概述
- 论文提出了 NoRD 模型，旨在解决当前视觉-语言-行动模型对海量数据和密集推理标注两大昂贵需求的依赖。
- 核心研究目标是探索能否在不使用任何推理标注、且训练数据量大幅减少（<60%）的情况下，在自动驾驶基准上达到与现有方法竞争的性能。
Card 03
核心贡献
核心贡献
- 首次发现了数据高效且无推理的VLA训练失败源于难度偏差，该偏差由弱SFT策略和复杂驾驶奖励共同触发。
- 实证表征了这一失败，表明数据高效的SFT策略会诱导出两极分化的奖励分布，从而剥夺了GRPO的学习信号。
- 提出使用 Dr. GRPO 作为直接替代算法来训练 NoRD，这是首次在自动驾驶领域验证这种策略优化方法。
- 在 NAVSIM 和 WaymoE2E 基准测试上，在不使用任何推理标注且数据量减少至少60%的情况下，取得了具有竞争力的性能，同时提升了推理速度。
Card 04
方法描述
方法描述
- 基于 Qwen-2.5VL-3B-Instruct 模型构建VLA，采用两阶段训练：1）使用有限数据的有监督微调，形成弱的NoRD-base策略；2）使用 Dr. GRPO 对弱SFT策略进行强化学习后训练。
- 创新点在于使用 Dr. GRPO 解决标准 GRPO 在优化弱SFT策略时的难度偏差问题。Dr. GRPO通过移除GRPO优势估计中的标准差归一化项，使模型能够从高方差（困难）样本中有效学习。
- 为提高标记效率，使用 k-disc 标记化（词汇表大小为2048）将轨迹编码为离散标记，并直接预测未来轨迹。
Card 05
数据集与资源
数据集与资源
- 主要使用 NAVSIM 和 WaymoE2E 两个自动驾驶数据集进行训练和评估。
- 基础模型为 Qwen-2.5VL-3B-Instruct，是一个约30亿参数的多模态模型。
- 训练资源：SFT阶段使用16个A100 GPU；RL后训练阶段对NAVSIM使用30个A100 GPU，对WaymoE2E使用32个A100 GPU。使用了 verl 和 vLLM 等工具库。
Card 06
评估与结果
评估与结果
- 在 WaymoE2E 测试集上，NoRD 取得了 RFS 7.709 的成绩（排名第三），是顶级模型中唯一不使用推理和集成的模型，且训练数据量大幅减少（例如，比Poutine少17倍）。
- 在 NAVSIM 测试集（navtest子集）上，NoRD 取得了 PDM Score 85.6 的成绩，在仅使用3个相机帧、无推理、无激光雷达的条件下，性能与许多BEV方法和VLA方法可比。
- 在 Best-of-N 评估中，NoRD-BoN 取得了 PDM Score 92.4，超过了推理模型 AutoVLA-BoN。
- 实验证明，使用 Dr. GRPO 优化弱SFT策略（NoRD-base）带来了 +11.68% 的性能提升，而标准 GRPO 仅带来 +0.67% 的微小提升。