Unifying Language-Action Understanding and Generation for Autonomous Driving

• 浙江大学 CAD&CG 国家重点实验室
• 理想汽车 (Li Auto)

• 提出了一种名为 LinkVLA 的新型 Vision-Language-Action (VLA) 架构，旨在增强自动驾驶中语言指令与规划动作之间的对齐。
• 旨在解决现有 VLA 模型中存在的语言与动作持续性错位、以及自回归动作生成效率低下的两大关键挑战。

• 提出了一个统一的语言-动作分词框架，将语言和动作词元映射到一个共享的离散码本中，从结构上弥合了模态差异。
• 引入了一个显式的动作理解目标，通过要求模型从轨迹生成描述性语言，强制执行双向语义一致性。
• 设计了一个由粗到精 (C2F) 的动作生成范式，显著降低了推理延迟。
• 在具有挑战性的闭环驾驶基准测试中实现了最先进的性能，在指令遵循准确性和驾驶能力方面均有显著提升。

• 核心技术是基于统一的多模态大语言模型架构，核心创新包含三个部分：

- 统一分词：通过对数坐标变换和空间软标签策略，对连续的轨迹（路径点和速度点）进行非均匀、空间感知的词元化，并与语言词表合并。

- 双向学习：联合训练动作生成（语言 → 动作）和动作理解（动作 → 语言描述）任务，强化语义链接。

- 由粗到精推理：采用两阶段生成：先预测轨迹终点并初始化一条粗略线性轨迹，再通过模型并行精炼得到最终的平滑轨迹。

• 使用 Bench2Drive 基准进行闭环训练和评估。
• 使用 Action Dreaming、DriveLM-hard 等数据集进行指令跟随、VQA 和评论生成任务的评估。
• 模型基于 InternVL2-1B 架构，包含 InternViT-300M 视觉主干和 Qwen2-0.5B LLM。
• 在 32 个 H20 GPU 上训练 30 个 epoch。

• 在 CARLA 仿真器 的 Bench2Drive 基准上进行闭环评估。
• 主要评估指标包括 驾驶分数 (DS)、成功率 (SR)、多能力评分以及指令跟随的成功率。
• 关键实验结果：

- LinkVLA 取得了 91.01 的驾驶分数 (DS) 和 74.55% 的成功率 (SR)，显著优于 Orion、SimLingo 等现有 VLA 和端到端方法。

- 在指令跟随任务上，在“减速”、“超车”等多个指令类别上取得了 60% - 93.33% 的高成功率。

- 相较于标准自回归 (AR) 生成，C2F 方法将推理延迟从 361ms 大幅降低至 48ms，节省了约 86% 的时间，且性能无损。