一眼看懂
封面预览
提出了一种名为 CriticVLA 的“先评判,后驾驶”两阶段框架,旨在将视觉语言动作(VLA)模型在自动驾驶中的角色从单纯的动作生成者扩展为…
- 提出了一种名为 CriticVLA 的“先评判,后驾驶”两阶段框架,旨在将视觉语言动作(VLA)模型在自动驾驶中的角色从单纯的动作生成者扩展为…
- 解决了现有 VLA 方法仅将模型视为动作生成器、缺乏显式评估(Critic)能力的问题,从而限制了模型在复杂闭环场景下的表现。
- 核心思想是第一阶段生成粗略轨迹,第二阶段利用同一个 VLA 模型作为多模态评判者,生成自然语言的风险分析和动作建议来修正轨迹,从而输出高质量的…
Card 01
研究单位
研究单位
- 文中未明确列出具体研究机构,作者名单包括:Lijin Yang, Jianing Huang, Zhongzhan Huang, Shu Liu, Hao Yang
Card 02
论文概述
论文概述
- 提出了一种名为 CriticVLA 的“先评判,后驾驶”两阶段框架,旨在将视觉语言动作(VLA)模型在自动驾驶中的角色从单纯的动作生成者扩展为具备评判能力的决策者。
- 解决了现有 VLA 方法仅将模型视为动作生成器、缺乏显式评估(Critic)能力的问题,从而限制了模型在复杂闭环场景下的表现。
- 核心思想是第一阶段生成粗略轨迹,第二阶段利用同一个 VLA 模型作为多模态评判者,生成自然语言的风险分析和动作建议来修正轨迹,从而输出高质量的驾驶行为。
Card 03
核心贡献
核心贡献
- 提出了 CriticVLA 框架,形式化了 VLA 模型在自动驾驶中的评判角色,并基于理论分析(Theorem 3.3)设计了“生成-评判-修正”的两阶段流程。
- 构建了大规模合成数据集 CriticDrive,包含 1290 万 条标注轨迹,涵盖了多样的驾驶场景,专门用于增强模型的推理和轨迹修正能力。
- 在 Bench2Drive 基准测试中取得了最先进的性能,证明了该框架在自动驾驶任务中的有效性和优越性。
Card 04
方法描述
方法描述
- Stage-1(粗略轨迹生成):基于 InternVL2-1B 骨干网络,结合 LoRA 和 DETR 模块,通过微调生成初始的粗略驾驶轨迹。
- Stage-2(评判与修正):复用第一阶段的 VLA 模型作为评判者,引入额外的 LoRA 参数生成结构化的语言批判(风险分析和动作建议),并通过 DETR 模块将批判转化为修正后的最终轨迹。
- 利用理论推导证明了评判模型的泛化能力和初始轨迹质量对最终结果的关键影响,并据此设计了数据集构建策略。
Card 05
数据集与资源
数据集与资源
- CriticDrive 数据集:包含 1290 万 条轨迹,由模型生成子集(MGS,约 202 万条)和扰动增强子集(EPAS,约 1090 万条)组成。
- 基础训练数据:包含超过 202 万 帧,来源于 CARLA, DriveLM 和安全驾驶数据。
- 模型架构:骨干网络为 InternVL2-1B,使用 LoRA 进行参数高效微调。
Card 06
评估与结果
评估与结果
- 评估基准:在 Bench2Drive 闭环自动驾驶基准上进行测试,涵盖 220 条测试路线。
- 主要指标:驾驶分数(Driving Score, DS)、成功率(Success Rate, SR)、效率、舒适度。
- 关键结果:CriticVLA 取得了 88.02 的驾驶分数和 73.33% 的成功率,显著超越了现有 SOTA 方法(如 Simlingo 的 67.27%),在挑战性场景中实现了约 30% 的性能提升。