一眼看懂
封面预览
针对自动驾驶中 VLA 模型在强化学习优化时遇到的性能瓶颈（“持续失败”问题），提出了一种显式从失败中学习的框架。
- 针对自动驾驶中 VLA 模型在强化学习优化时遇到的性能瓶颈（“持续失败”问题），提出了一种显式从失败中学习的框架。
- 通过引入一个教师模型提供结构化诊断反馈，并指导策略模型生成反馈引导的轨迹修正，突破因稀疏标量奖励导致的性能瓶颈。
- 解决了VLA模型在安全关键、长尾驾驶场景中探索受限的问题，实现了自动驾驶性能的显著提升。
Card 01
研究单位
研究单位
- Tsinghua University
- University of Macau
- Beijing Jiaotong University
Card 02
论文概述
论文概述
- 针对自动驾驶中 VLA 模型在强化学习优化时遇到的性能瓶颈（“持续失败”问题），提出了一种显式从失败中学习的框架。
- 通过引入一个教师模型提供结构化诊断反馈，并指导策略模型生成反馈引导的轨迹修正，突破因稀疏标量奖励导致的性能瓶颈。
- 解决了VLA模型在安全关键、长尾驾驶场景中探索受限的问题，实现了自动驾驶性能的显著提升。
Card 03
核心贡献
核心贡献
- 提出了 ELF-VLA 框架，利用显式失败反馈解决 VLA 模型在 RL 训练中的性能瓶颈问题。
- 设计了 VLA能力对齐的反馈机制，使用教师模型生成结构化的、可解释的诊断报告，而非单一的标量奖励。
- 实现了 反馈引导的细化和再注入 过程，将修正后的高质量样本回注入RL训练批次，为目标梯度提供方向。
- 采用了 高效困难样本筛选 方法，聚焦于高价值的困难或不确定场景，最大化训练效率。
- 引入 策略塑形 技术，处理反馈生成的输出与基础查询之间的条件不匹配问题，稳定训练并鼓励学习罕见但正确的轨迹。
Card 04
方法描述
方法描述
- 采用 两阶段监督微调：第一阶段在驾驶问答数据集上预训练以注入驾驶知识；第二阶段在混合数据集上训练，使模型同时掌握轨迹预测和基于反馈的细化能力。
- 在 GRPO 算法中集成 失败反馈机制：当模型输出低分轨迹时，触发教师模型生成结构化诊断反馈；模型利用反馈生成修正轨迹；将高分修正样本加入训练批次进行优化。
- 关键创新点包括：基于阈值的样本分类、反馈引导的轨迹生成、融合反馈样本与原始样本的优势计算，以及解决条件不匹配的 Policy Shaping 技术。
Card 05
数据集与资源
数据集与资源
- 使用的数据集：NAVSIM 基准数据集、DriveLM、LingoQA、ImpromptuVLA、Nuscenes-QA 等多个开源驾驶问答数据集。
- 模型基础与规模：基于 InternVL3-8B 模型进行训练和微调。
- 训练资源：RL训练阶段使用了 32 张 NVIDIA H20 GPU。教师模型为 Qwen3-VL-32B。
Card 06
评估与结果
评估与结果
- 评估环境与基准：在 NAVSIMv1 和 NAVSIMv2 公共基准上进行测试。
- 主要评估指标：PDMS（Predictive Driver Model Score，驾驶模型预测得分）、EPDMS（Extended PDMS）、高层规划准确率。
- 关键实验结果：在NAVSIMv1上，ELF-VLA 达到 91.0 PDMS，在纯视觉方法中刷新了SOTA记录，比仅使用SFT的基线提高了 3.6 PDMS，比传统RL基线提高了 2.0 PDMS。在NAVSIMv2上达到 87.1 EPDMS，同样创造了新的SOTA。消融实验验证了其各组件（如教师反馈、策略塑形等）的有效性。