一眼看懂
封面预览
论文提出了 DynVLA，这是一个用于端到端自动驾驶的视觉-语言-动作（VLA）模型，引入了一种名为 Dynamics CoT 的新型思维链范…
- 论文提出了 DynVLA，这是一个用于端到端自动驾驶的视觉-语言-动作（VLA）模型，引入了一种名为 Dynamics CoT 的新型思维链范…
- 该模型旨在解决现有 Textual CoT 缺乏细粒度时空理解以及 Visual CoT 存在大量冗余和计算开销的问题。
- 通过预测紧凑的世界动态令牌来进行动作推理，从而在交互密集和规则约束的交通场景中实现更明智、更具物理依据的决策。
Card 01
研究单位
研究单位
- 论文作者包括 Shuyao Shang, Bing Zhan, Yunfei Yan, Yuqi Wang, Yingyan Li, Yasong An, Xiaoman Wang, Jierui Liu, Lu Hou, Lue Fan, Zhaoxiang Zhang, Tieniu Tan。
- 注：HTML 原文中未明确列出作者所属的具体研究机构名称。
Card 02
论文概述
论文概述
- 论文提出了 DynVLA，这是一个用于端到端自动驾驶的视觉-语言-动作（VLA）模型，引入了一种名为 Dynamics CoT 的新型思维链范式。
- 该模型旨在解决现有 Textual CoT 缺乏细粒度时空理解以及 Visual CoT 存在大量冗余和计算开销的问题。
- 通过预测紧凑的世界动态令牌来进行动作推理，从而在交互密集和规则约束的交通场景中实现更明智、更具物理依据的决策。
Card 03
核心贡献
核心贡献
- 提出了 Dynamics CoT 范式，将未来动态压缩为少量令牌，实现了高效且具备时空推理能力的自动驾驶决策。
- 设计了 Dynamics Tokenizer，将动态显式解耦为以自车为中心和以环境为中心的动态，并引入物理正则化来防止歧义。
- 提出了基于动作的正则化和跨视图一致性正则化，分别用于对齐自车运动和保证不同视角下的语义一致性。
- 结合了监督微调（SFT）和强化微调（RFT）策略，在 Dynamics CoT 上训练模型，提高了决策质量和安全性。
Card 04
方法描述
方法描述
- Dynamics Tokenizer: 使用编码器将相邻帧映射为 Patch 序列，通过两组可学习的查询提取自车和环境动态特征，并使用 VQ-VAE 风格的码本将其离散化为动态令牌。
- 动态解耦与正则化: 将动态解耦以区分自车运动和环境变化；使用 MLP 预测自车动作并进行监督，防止码本坍塌；利用同一动态令牌同时重建未来图像和 BEV 地图，增强语义一致性。
- 训练流程: 首先训练 Dynamics Tokenizer；然后构建结构化的 Dynamics CoT 序列（包含动态令牌和动作令牌）进行 SFT 训练；最后使用 GRPO 算法进行 RFT 训练，优化轨迹级奖励。
Card 05
数据集与资源
数据集与资源
- 使用的数据集包括真实世界基准 NAVSIM、闭环基准 Bench2Drive 以及包含 70 万帧的大型 内部数据集。
- 评估使用了 NVIDIA H800 GPU 进行推理延迟测试。
Card 06
评估与结果
评估与结果
- 在 NAVSIM 基准上，DynVLA 取得了 91.7 的 PDMS 分数，优于 Textual CoT 和 Visual CoT 方法。
- 在 Bench2Drive 基准上，模型在驾驶得分（DS）、成功率（SR）和平均多能力指标上均达到最优，分别为 88.34、72.73 和 72.23。
- 在内部数据集上，模型取得了最低的平均位移误差（ADE 1.215）和碰撞率（4.04），证明了大规模场景下的可靠性。
- Dynamics CoT 的推理延迟仅为 0.37s，显著低于 Textual CoT（3.04s）和 Visual CoT（2.29s），实现了效率与性能的平衡。