一眼看懂
封面预览
论文旨在解决将视觉语言模型集成到端到端自动驾驶系统时面临的三大核心问题：推理与动作空间的分布不匹配、预训练通用推理能力利用不足、以及同步推理导…
- 论文旨在解决将视觉语言模型集成到端到端自动驾驶系统时面临的三大核心问题：推理与动作空间的分布不匹配、预训练通用推理能力利用不足、以及同步推理导…
- 提出 AutoMoT 框架，一个统一的视觉-语言-动作模型，将场景理解、决策制定和轨迹规划整合在单一模型中，并通过异步混合Transforme…
- 通过实验验证了方法的有效性，并深入探究了预训练VLM在自动驾驶任务中的功能边界，明确了不同任务对微调的需求。
Card 01
研究单位
研究单位
- 南洋理工大学，主要作者所属机构。
- 长城汽车，部分作者所属的工业研究机构。
Card 02
论文概述
论文概述
- 论文旨在解决将视觉语言模型集成到端到端自动驾驶系统时面临的三大核心问题：推理与动作空间的分布不匹配、预训练通用推理能力利用不足、以及同步推理导致的延迟过高。
- 提出 AutoMoT 框架，一个统一的视觉-语言-动作模型，将场景理解、决策制定和轨迹规划整合在单一模型中，并通过异步混合Transformer架构实现高效的快慢推理。
- 通过实验验证了方法的有效性，并深入探究了预训练VLM在自动驾驶任务中的功能边界，明确了不同任务对微调的需求。
Card 03
核心贡献
核心贡献
- 提出了 AutoMoT 框架，通过层次化联合注意力共享，在单一VLA模型内统一了场景理解、决策与规划，并支持通过不同频率的异步执行实现快慢推理。
- 系统性研究了预训练VLM在自动驾驶中的功能边界，明确指出：对于多任务场景理解，仅语义提示即可达到竞争性能；而对于决策和轨迹规划等动作级任务，则必须进行微调。
- 在多个仿真和真实世界的开环与闭环基准测试中取得了与最先进方法相媲美的性能，验证了框架的有效性和通用性。
Card 04
方法描述
方法描述
- 整体架构采用 混合Transformer 设计，分为 理解专家 和 动作专家。
- 理解专家 采用冻结的 Qwen3-VL-4B 模型作为骨干，负责高层场景理解和链式思维推理，以保留预训练模型的通用知识。
- 动作专家 是一个从零训练的、约 1.6B参数 的专用Transformer，负责决策和轨迹规划，并通过联合注意力机制接收来自理解专家的知识传递。
- 提出 异步推理机制，通过共享KV缓存，使高层推理和底层动作策略能以不同的时间频率执行，满足实时驾驶的低延迟控制需求。
Card 05
数据集与资源
数据集与资源
- 使用 NuSync（本文构建）、nuScenes 和 CARLA-Garage 数据集进行训练与评估。
- 模型训练使用 8块NVIDIA A100 GPU，采用 完全分片数据并行 策略。
- 理解专家基于 Qwen3-VL-4B（冻结），动作专家参数量约 1.6B。
Card 06
评估与结果
评估与结果
- 在 CARLA Bench2Drive 闭环基准上，AutoMoT 取得了 87.34 的驾驶评分和 70.00% 的成功率，均达到最优水平。
- 在 nuScenes 开环规划基准上，取得了最低的碰撞率（平均 0.07%）和竞争力的L2位移误差。
- 在 LingoQA、OmniDrive 等自动驾驶VQA基准以及 TallyQA、InfographicVQA 等通用知识基准上均展现出强大的场景理解与推理能力。
- 消融实验证明，冻结理解专家骨干能避免灾难性遗忘，在通用推理任务上表现远优于微调后的模型。