一眼看懂
封面预览
提出了一种名为 DriveFine 的新型自动驾驶视觉-语言-动作模型，旨在结合扩散式规划器和基于令牌的规划器的互补优势，实现更精确和鲁棒的驾…
- 提出了一种名为 DriveFine 的新型自动驾驶视觉-语言-动作模型，旨在结合扩散式规划器和基于令牌的规划器的互补优势，实现更精确和鲁棒的驾…
- 核心目标是解决现有自动驾驶 VLA 模型中扩散式规划器存在模态对齐困难、泛化能力弱，以及基于令牌的规划器存在不可逆解码错误累积的问题。
- 对主流的扩散式和基于令牌的 VLA 规划器的优缺点进行了深入分析。
Card 01
研究单位
研究单位
- 华中科技大学
- 小米汽车
- 清华大学智能产业研究院（AIR）
Card 02
论文概述
论文概述
- 提出了一种名为 DriveFine 的新型自动驾驶视觉-语言-动作模型，旨在结合扩散式规划器和基于令牌的规划器的互补优势，实现更精确和鲁棒的驾驶。
- 核心目标是解决现有自动驾驶 VLA 模型中扩散式规划器存在模态对齐困难、泛化能力弱，以及基于令牌的规划器存在不可逆解码错误累积的问题。
Card 03
核心贡献
核心贡献
- 对主流的扩散式和基于令牌的 VLA 规划器的优缺点进行了深入分析。
- 提出了 DriveFine 模型，设计了一种“即插即用”的块级混合专家架构，以最小成本为基于令牌的 VLA 注入了轨迹优化能力。
- 针对性地设计了一种混合强化学习策略，进一步提升了 DriveFine 的性能上限。
- 在 NAVSIM v1、v2 和 Navhard 等基准测试上进行了广泛实验，证明了 DriveFine 的一致性和最先进的性能。
Card 04
方法描述
方法描述
- 方法以预训练的掩码扩散大语言模型为基础规划器，利用其并行解码、双向注意力建模和灵活解码顺序的优势。
- 创新性地引入了块级混合专家：将模型后部的若干 Transformer 块复制为“优化专家”，与原始“生成专家”解耦。在训练和推理时通过梯度隔离和显式选择，实现生成与优化功能的分离，保留了预训练模型的基础能力。
- 设计了一种在线-离线混合强化学习范式：生成专家通过 GRPO 在线采样轨迹；优化专家则利用生成专家采样的轨迹进行离线对比学习，同时进行在线探索优化，二者通过混合优势函数联合训练。
Card 05
数据集与资源
数据集与资源
- 使用 NAVSIM 数据集进行评估，该数据集基于 nuPlan 和 OpenScene，包含多摄像头图像和 LiDAR 点云，分为 navtrain 和 navtest 等子集。
- 模型基于 LLaDA-8B 扩散语言模型和 SigLIP-384 视觉编码器构建。
- 训练资源未在提供的文本中明确提及，但包含监督微调和强化学习微调两个阶段。
Card 06
评估与结果
评估与结果
- 评估环境：NAVSIM v1 (PDMS 指标)、NAVSIM v2 (EPDMS 指标)、Navhard 两阶段评估基准。
- 主要评估指标：PDMS 和 EPDMS，以及构成它们的多个子指标（如 NC、DAC、TTC、舒适度、车道保持、交通灯合规等）。
- 关键实验结果：DriveFine 在 NAVSIM v1 上达到 90.8 PDMS，在 NAVSIM v2 上达到 89.7 EPDMS，在更具挑战性的 Navhard 基准上也优于扩散基线方法，各项实验均展示了其优越的性能和鲁棒性。消融实验证实了块级 MoE 和混合强化学习策略的有效性。