一眼看懂
封面预览
指出现有的 Driving VLA 模型存在“盲目规划”现象，即模型在预测轨迹时忽略视觉特征，仅依赖自车状态和文本命令。
- 指出现有的 Driving VLA 模型存在“盲目规划”现象，即模型在预测轨迹时忽略视觉特征，仅依赖自车状态和文本命令。
- 从逆向运动学视角出发，揭示了该问题的根源在于任务设计的结构性缺陷：现有模型仅输入当前视觉状态，缺乏对未来视觉状态的显式约束。
- 提出一种新的架构设计，通过引入未来视觉状态预测和独立的逆运动学网络来恢复视觉基，仅用 0.5B 参数模型即可达到与 7B-8B 模型相当的性能。
Card 01
研究单位
研究单位
- Korea Advanced Institute of Science and Technology (KAIST)
- KimJaeChul AI Graduate School
Card 02
论文概述
论文概述
- 指出现有的 Driving VLA 模型存在“盲目规划”现象，即模型在预测轨迹时忽略视觉特征，仅依赖自车状态和文本命令。
- 从逆向运动学视角出发，揭示了该问题的根源在于任务设计的结构性缺陷：现有模型仅输入当前视觉状态，缺乏对未来视觉状态的显式约束。
- 提出一种新的架构设计，通过引入未来视觉状态预测和独立的逆运动学网络来恢复视觉基，仅用 0.5B 参数模型即可达到与 7B-8B 模型相当的性能。
Card 03
核心贡献
核心贡献
- 理论诊断：通过偏差-方差分解证明，盲目规划并非训练不足，而是由标准轨迹损失函数导致的损失最优捷径。
- 架构改进：引入下一视觉状态预测目标和 IK Network 瓶颈结构，迫使模型必须利用视觉特征进行规划，抑制捷径学习。
- 卓越效率：提出的 0.5B 模型在 NAVSIM 和 nuScenes 基准上达到了比其大一个数量级（7B-8B）模型的性能，且在动态驾驶场景中表现更佳。
Card 04
方法描述
方法描述
- 下一视觉状态预测：LLM 不直接输出轨迹，而是预测未来 N 秒的 BEV 视觉状态，以此提供密集的视觉监督信号。
- 逆运动学网络：构建一个基于交叉注意力的条件扩散模型，仅以当前和未来视觉状态为条件生成轨迹，物理隔绝了自车状态的直接输入路径。
- 多任务联合训练：将视觉状态预测、轨迹规划与场景问答任务结合，增强模型对驾驶场景的理解能力。
Card 05
数据集与资源
数据集与资源
- NAVSIM-v1 和 NAVSIM-v2：用于闭环驾驶评估，使用 navtrain 数据集训练。
- nuScenes：包含 700 个训练场景和 150 个验证场景，用于开环轨迹规划评估。
- 辅助数据集：nu-Caption、nu-X 和 nuScenes-QA 用于提升场景理解能力。
- 模型配置：LLM 主干采用 Qwen2.5-0.5B-Instruct，视觉编码器采用 DINOv3 ViT-S/16。
Card 06
评估与结果
评估与结果
- NAVSIM-v1 结果：模型 PDMS 达到 92.2，大幅超越基线 **OpenDriveVLA* (73.2)，并优于 DriveFine (8B, 91.8)** 等大模型。
- NAVSIM-v2 结果：模型 EPDMS 达到 90.6，超过 DriveFine-8B (89.7) 和 DriveVLA-W0 (7B, 86.5)。
- 安全指标：在 NC（无碰撞）和 TTC（碰撞时间）等关键指标上达到 99% 以上，证明模型具备极强的安全驾驶能力。
- 因果性验证：通过反事实障碍物拼接实验证明，模型轨迹输出能随视觉输入变化而产生显著且合理的调整，成功恢复了视觉基。