一眼看懂
封面预览
论文提出了 MindVLA-U1，这是首个用于自动驾驶的统一流式视觉-语言-动作（VLA）架构。
- 论文提出了 MindVLA-U1，这是首个用于自动驾驶的统一流式视觉-语言-动作（VLA）架构。
- 该架构旨在解决现有 VLA 模型在接口设计上的缺陷（如动作精度不足、时序建模短视、语言与动作缺乏桥梁），通过统一骨干网络同时实现场景理解与连续…
- 论文证明了 VLA 模型在规划质量上可以超越纯视觉-动作（VA）模型，并在保持自然语言交互能力的同时达到实时推理速度。
Card 01
研究单位
研究单位
- CUHK MMLab（香港中文大学多媒体实验室）
- Li Auto（理想汽车）
- Tsinghua University（清华大学）
Card 02
论文概述
论文概述
- 论文提出了 MindVLA-U1，这是首个用于自动驾驶的统一流式视觉-语言-动作（VLA）架构。
- 该架构旨在解决现有 VLA 模型在接口设计上的缺陷（如动作精度不足、时序建模短视、语言与动作缺乏桥梁），通过统一骨干网络同时实现场景理解与连续动作生成。
- 论文证明了 VLA 模型在规划质量上可以超越纯视觉-动作（VA）模型，并在保持自然语言交互能力的同时达到实时推理速度。
Card 03
核心贡献
核心贡献
- 提出了首个自动驾驶领域的统一共享 VLA 架构，单次前向传播中联合生成自回归语言和流匹配连续轨迹。
- 设计了全流式范式，通过 FIFO 内存通道高效传播时序上下文，支持帧级处理和长时域预测，消除了动作分块和冗余的时序建模。
- 引入了 Intent-CFG 机制，建立了从语言意图到连续动作的可控路径，并利用 Mixture-of-Transformers (MoT) 支持快/慢系统执行。
- 在 WOD-E2E 基准上首次超越经验丰富的人类驾驶员评分，实现了 SOTA 的规划精度。
Card 04
方法描述
方法描述
- 统一共享骨干网络：视觉、状态、语言、记忆和噪声动作 token 通过共享的 Transformer 层处理；语言通过 LM Head 解码，动作通过轻量级 MLP 预测流匹配速度场。
- Intent-CFG：模型预测驾驶意图 token，将其嵌入作为 Classifier-Free Guidance 条件，引导动作扩散过程，实现语言对动作的控制。
- 流式内存更新：采用 FIFO 通道存储压缩的记忆 token，帧间通过传播 Transformer 更新，读取时进行运动对齐，以低成本维持长时序一致性。
- 快慢系统与 MoT：通过注意力掩码组合支持
vqa_first或action_only等模式；MoT 结构将层分为上下文专家组和动作专家组，提升计算效率。
Card 05
数据集与资源
数据集与资源
- 主要数据集：Waymo Open Dataset End-to-End (WOD-E2E)，包含 4,021 个长尾场景片段。
- 自标注数据：构建了 MindLabel 数据集，包含约 18.8K 片段、3.8M VQA 对和 250K 梦幻轨迹。
- 模型骨干：主要基于 Qwen3-VL-2B，并扩展至 Qwen3.5-VL 进行骨干缩放实验。
- 训练资源：使用 8x H200 GPUs，在 BF16 精度下训练约 7 小时，采用 DeepSpeed ZeRO-2 优化。
- 推理设置：仅需 2 个扩散步即可生成轨迹。
Card 06
评估与结果
评估与结果
- 评估基准：WOD-E2E 验证集，涵盖长尾场景。
- 主要指标：RFS (Rater Feedback Score)、ADE (Average Displacement Error) at 3s/5s、BLEU-4 和 ROUGE-L。
- 关键结果：MindVLA-U1 取得 8.20 RFS，首次超越人类驾驶员的 8.13 GT RFS；在 3s/5s ADE 上大幅优于现有 VA/VLA 方法。
- 推理效率：达到约 16 FPS 的推理速度，与 SOTA VA 方法（如 RAP 的约 18 FPS）相当，且保留了语言交互接口。