一眼看懂
封面预览
论文提出 LVDrive，一个增强型 视觉-语言-行动 (VLA) 自动驾驶模型框架。
- 论文提出 LVDrive，一个增强型 视觉-语言-行动 (VLA) 自动驾驶模型框架。
- 核心目标是解决现有 VLA 模型仅依赖稀疏动作监督导致的场景理解与推理能力不足问题，以及基于世界模型的方法过度强调像素重建而忽视语义表示学习的…
- 论文通过引入 潜在未来视觉表示学习 任务，在统一的连续嵌入空间中一次性预测未来场景特征与轨迹，并设计两阶段轨迹解码策略，以提升自动驾驶的规划性…
Card 01
研究单位
研究单位
- 香港科技大学
- 小米 EV (Xiaomi EV)
Card 02
论文概述
论文概述
- 论文提出 LVDrive，一个增强型 视觉-语言-行动 (VLA) 自动驾驶模型框架。
- 核心目标是解决现有 VLA 模型仅依赖稀疏动作监督导致的场景理解与推理能力不足问题，以及基于世界模型的方法过度强调像素重建而忽视语义表示学习的问题。
- 论文通过引入 潜在未来视觉表示学习 任务，在统一的连续嵌入空间中一次性预测未来场景特征与轨迹，并设计两阶段轨迹解码策略，以提升自动驾驶的规划性能。
Card 03
核心贡献
核心贡献
- 将潜在未来视觉表示学习引入 VLA 框架，通过单次前向传播在统一连续空间内联合预测视觉与行动特征，进行未来感知的场景理解与推理，增强了模型的空间理解能力。
- 设计了 两阶段轨迹解码策略，显式地将学习到的未来场景特征注入运动生成过程：第一阶段生成粗轨迹，第二阶段通过轻量级轨迹细化模块，以预测的语义特征为条件进行精细化优化。
- 在 Bench2Drive 基准上进行了大量实验，证明了该方法显著提升了闭环驾驶性能，验证了密集未来视觉监督在运动规划中的有效性。
Card 04
方法描述
方法描述
- 核心技术为 潜在未来视觉表示学习。通过设计特殊的视觉占位符标记（如
- 创新性地采用 两阶段轨迹解码。第一阶段利用 VAE-based 规划器从规划嵌入中生成多模态粗轨迹。第二阶段设计了 TrajRefiner 模块，通过交叉注意力机制，显式地利用从 LLM 隐藏状态中提取的高维未来视觉嵌入来优化粗轨迹，生成更可行的最终轨迹。
- 整个模型在一个统一的前向过程中完成未来场景预测和运动规划，并通过组合视觉预测损失、规划损失等多个损失项进行端到端训练。
Card 05
数据集与资源
数据集与资源
- 主要评估数据集为 Bench2Drive，基于 CARLA v2 模拟器构建的闭环端到端自动驾驶基准。训练集包含 950 个 clips，评估覆盖 220 条路线。
- 模型核心采用 Vicuna v1.5 作为 LLM，视觉编码器使用 EVA-02-L 和 QT-Former。
- 训练资源：使用 32 张 NVIDIA H20 GPUs (每张 96GB 内存) 进行训练。
Card 06
评估与结果
评估与结果
- 评估环境为 Bench2Drive 基准，主要采用闭环评估指标：Driving Score (DS)、Success Rate (SR)、Efficiency、Comfortness 和 Multi-Ability。同时采用 L2 轨迹误差 进行开环评估。
- 关键实验结果显示，LVDrive 在闭环性能上超越了所有对比方法，包括传统端到端方法和 VLA 方法。在 Driving Score 上达到 80.71，在 Success Rate 上达到 58.26%，均为最高水平。
- 与基于世界模型并采用自回归图像生成的方法相比，LVDrive 通过在潜在空间学习语义丰富的特征，取得了显著改进，证明了其方法的有效性。