LaST-VLA: Thinking in Latent Spatio-Temporal Space for Vision-Language-Action in Autonomous Driving

• 论文作者未直接列出具体研究机构名称。从HTML的“
  ”部分列出的是所有作者姓名（Yuechen Luo, Fang Li, Shaoqing Xu, Yang Ji, Zehan Zhang, Bing Wang, Yuannan Shen, Jianwei Cui, Long Chen, Guang Chen, Hangjun Ye, Zhi-Xin Yang, Fuxi Wen），但未附带机构信息。通常这些信息位于论文标题页或作者姓名下方的脚注中，但提供的HTML片段中这部分内容可能已被截断。因此，根据现有信息，无法准确列出具体的研究单位。

• 论文针对自动驾驶中的 Vision-Language-Action 模型进行了创新，指出现有方法依赖显式文本推理链存在语义-感知脱钩和幻觉问题，而简单的无监督潜在推理则训练不稳定。
• 论文的核心目标是解决上述瓶颈，提出一种在潜在时空空间中进行物理基础推理的新范式，以提升自动驾驶规划的效率、稳定性和物理一致性。
• 为此，论文提出了名为 LaST-VLA 的框架，通过将3D几何约束和动态世界模型的先验知识蒸馏到潜在推理链中，并结合渐进式训练与强化学习，最终实现对复杂驾驶场景的鲁棒决策。

• 揭示了现有基于VLA的自动驾驶模型中，语言与现实物理世界脱节以及过度依赖语言先验带来的安全隐患两大核心缺陷。
• 提出了 LaST-VLA 框架，它通过潜在时空推理链将指令跟随和动态预测统一起来。该方法超越了显式文本推理和简单潜在推理，克服了前者的精度限制和后者的训练不稳定性。
• 设计了一种渐进式两阶段监督微调策略，该策略首先让模型习得时空理解能力，然后再学习规划技能，确保了推理能力的有效内化。
• 结合了基于群组相对策略优化的强化学习，利用稳定的潜在推理作为内部指导，进一步优化驾驶策略的安全性和规则遵从性。
• 在多个自动驾驶基准上实现了最先进的性能，包括 NAVSIM v1、NAVSIM v2、SURDS 和 NuDynamics 数据集。

• 核心技术：构建了一个潜在时空推理链，将推理过程从离散的符号空间转移到连续的、具有物理基础的潜在空间。
• 创新点：引入了双特征对齐机制，利用专门的适配器，将来自3D基础模型的几何特征和来自视频世界模型的动态特征，蒸馏到模型生成的潜在推理隐藏状态中，实现物理先验的对齐。
• 关键技术：

- 结构化因果掩码：在训练的第一阶段，通过掩码强制模型将视觉信息压缩到潜在推理链中，使后者成为决策的唯一信息桥梁。

- 渐进式两阶段SFT：第一阶段注重物理知识对齐，第二阶段注重轨迹生成。

- 基于GRPO的轨迹精炼：在SFT后，使用强化学习直接优化轨迹的安全、合规和精度等指标。

• 使用的主要数据集：NAVSIM（用于规划）、SURDS（用于空间推理）、NuDynamics（用于动态推理，论文中构建的基准）。
• 模型规模和参数量：基于InternVL3作为基础VLM，构建了两种规模模型：LaST-VLA-2B 和 LaST-VLA-8B。
• 训练资源：未在提供的HTML片段中明确说明。但通常此类大规模VLA模型训练需要大量的GPU集群。

• 评估环境与基准：在两个主要的闭环自动驾驶规划基准 NAVSIM v1 和 NAVSIM v2，以及空间推理基准 SURDS、动态推理基准 NuDynamics 上进行评估。
• 主要评估指标：

- 规划性能：PDMS 和 EPDMS，以及其细分子指标（如NC、DAC、TTC、EP等）。

- 空间/动态推理：SURDS的平均准确率及其各任务（Yaw, Pixel, Depth, Dis, L/R, F/B）准确率，以及 NuDynamics 的 Motion 准确率。

• 关键实验结果：

- 在 NAVSIM v1 上，LaST-VLA-8B (RL) 以 91.3 PDMS 创下新的最先进记录（SOTA），超越了所有对比的端到端和VLA方法。

- 在 NAVSIM v2 上，LaST-VLA-8B (RL) 以 87.1 EPDMS 再次刷新SOTA。

- 在 SURDS 上，仅SFT的模型达到 84.29% 的平均准确率，大幅优于之前的SOTA方法和InternVL3基线。

- 在 NuDynamics 上，模型取得了 81.19% 的Motion准确率，展示了卓越的动态场景理解能力。