Devil is in Narrow Policy: Unleashing Exploration in Driving VLA Models

• 北京航空航天大学（高等理工学院、电子信息工程学院、计算机学院、网络空间安全学院、人工智能学院）
• 清华大学智能产业研究院
• 联想集团
• 中国传媒大学媒体融合与传播国家重点实验室

• 识别了自动驾驶VLA模型中根本性的“Narrow Policy” 问题，即模仿学习阶段导致探索坍塌，限制了后续强化学习阶段的潜力。
• 提出Curious-VLA框架，通过模仿学习和强化学习两个阶段的创新设计，系统性地解决探索-利用困境。
• 目标是释放VLA模型的探索潜力，提升轨迹生成的多样性与质量，从而实现更优的驾驶规划性能。

• 识别并分析了“Narrow Policy”问题，并引入行为诊断方法（Diversity, Quality, Performance）对其进行定量验证。
• 提出了Curious-VLA训练框架，从数据、采样和奖励设计三个层面系统性地促进VLA模型的探索能力。
• 在IL阶段提出了可行轨迹扩展、思维链数据合成和逐步归一化策略，以增加数据多样性和训练平衡性。
• 在RL阶段提出了自适应多样性感知采样 和 跨度驾驶奖励，以维持训练中的奖励方差并增强奖励敏感度。
• 在Navsim基准上取得了最先进的性能（PDMS 90.3， EPDMS 85.4），并实现了94.8的Best-of-N PDMS。

• 模仿学习阶段：

- 可行轨迹扩展：利用扩散模型生成多条物理上有效的驾驶轨迹，将真实轨迹视为多种人类驾驶行为之一，扩充训练数据多样性。

- 思维链数据合成：将驾驶推理过程结构化为感知、解释、元行为描述和轨迹预测四阶段，生成结构化推理数据。

- 逐步归一化：对轨迹预测的每一步进行独立归一化，解决远近距离预测损失不平衡的问题，提升轨迹模式的可分性。

• 强化学习阶段：

- 自适应多样性感知采样：动态筛选能产生多样轨迹样本的场景，确保组内奖励有足够方差，从而稳定GRPO优化。

- 跨度驾驶奖励：通过类focal loss的函数重设计奖励函数，放大不同驾驶质量间的奖励差异，提高对驾驶质量的敏感性。

• 使用Navsim v1/v2基准进行训练与评估，其训练集来源于OpenScene（nuPlan重分发）约103k样本，仅使用前置摄像头视角。
• 主干网络基于Qwen2.5-VL-3B，模型参数量为3B。
• 实验使用了8张A800 GPU进行训练。

• 评估基准：主要在Navsim基准上进行闭环评估，并在nuScenes上进行开环评估。
• 主要评估指标：PDMS（Navsim v1）和 EPDMS（Navsim v2），包含安全性（NC, DAC）、舒适性（C, EC）、效率（EP, TTC）等多维度指标。
• 关键实验结果：

- 在Navsim v1上，Curious-VLA达到90.3 PDMS；使用Best-of-N采样后达到94.8 PDMS，超越所有对比方法。

- 在Navsim v2上，Curious-VLA达到85.4 EPDMS，取得最先进性能。

- 在nuScenes开环评估中，Curious-VLA在L2误差和碰撞率上均达到最优。

- 行为诊断实验证明，Curious-VLA显著提升了轨迹多样性与质量，有效缓解了Narrow Policy问题。