一眼看懂
封面预览
论文提出TakeVLA框架，一种用于驾驶视觉-语言-动作(VLA)模型的后期训练方法，利用专家接管数据来提升模型在安全关键场景下的表现。
- 论文提出TakeVLA框架，一种用于驾驶视觉-语言-动作(VLA)模型的后期训练方法，利用专家接管数据来提升模型在安全关键场景下的表现。
- 旨在解决现有基于接管数据的方法存在的两个关键局限：监督仅限于接管时刻之后导致安全边界有限，以及被动偏好优化缺乏对最优策略的主动探索。
- 通过引入接管前语言监督和场景梦境强化微调，让模型能够主动从错误中学习，扩大安全边界并优化驾驶策略。
Card 01
研究单位
研究单位
- University of Science and Technology Beijing
- Xiaomi EV
- Institute of Automation, Chinese Academy of Sciences
Card 02
论文概述
论文概述
- 论文提出TakeVLA框架，一种用于驾驶视觉-语言-动作(VLA)模型的后期训练方法，利用专家接管数据来提升模型在安全关键场景下的表现。
- 旨在解决现有基于接管数据的方法存在的两个关键局限：监督仅限于接管时刻之后导致安全边界有限，以及被动偏好优化缺乏对最优策略的主动探索。
- 通过引入接管前语言监督和场景梦境强化微调，让模型能够主动从错误中学习，扩大安全边界并优化驾驶策略。
Card 03
核心贡献
核心贡献
- 提出TakeVLA框架，首次利用VLA模型固有的语言-动作对齐能力，从接管前上下文中学习，实现预警式决策。
- 引入Scenario Dreaming任务，一种在重建接管场景中进行的强化微调范式，鼓励主动探索超越专家偏好的最优策略。
- 在Bench2Drive基准上达到最先进闭关环性能，驾驶分数超越强基线SimLingo 4.93分，平均碰撞时间(TTC)提升11.76%。
- 提出接管数据构建、语言标签增强以及多轮迭代的后期训练流程。
Card 04
方法描述
方法描述
- 方法基于SimLingo模型，采用思维链方法，使驾驶动作以生成的语言输出为条件。
- 创新性地构建接管数据集，包含接管时刻后的Takeover Data和接管时刻前的Pre-takeover Data，并对语言标签进行增强以强调紧迫性和因果性。
- 使用DAgger风格的采样策略，将接管数据与预训练数据混合进行监督微调(SFT)，其中Pre-takeover数据仅进行语言监督。
- 提出Scenario Dreaming，在伪模拟环境中重建接管场景，使用GRPO算法进行强化微调(RFT)，鼓励模型主动探索更优的语言输出和驾驶动作。
Card 05
数据集与资源
数据集与资源
- 使用Bench2Drive闭环基准进行训练和评估。
- 预训练数据集包含约310万驾驶帧（4 fps）。
- 后期训练迭代3轮，每轮收集约50k接管相关样本。
- 模型使用Qwen2-0.5B作为LLM，InternViT作为视觉编码器。
- 训练使用8块 NVIDIA H20 GPU。
Card 06
评估与结果
评估与结果
- 评估环境为CARLA模拟器上的Bench2Drive闭环基准，包含220条路线和44种交互场景。
- 主要评估指标包括驾驶分数(DS)、成功率(SR)、效率、舒适度及平均碰撞时间(TTC)。
- 核心结果：TakeVLA在驾驶分数(89.72)和成功率(73.73%)上达到所有端到端方法中的最优，相比基线SimLingo分别提升4.93和8.89%。
- 安全性显著增强：平均TTC从7.31秒提升至8.16秒（提升11.76%），且在无任何规则后处理（如creep）的情况下，性能仍优于基线。