一眼看懂
封面预览
论文提出了 SAMoE-VLA，一个用于自动驾驶的场景自适应混合专家视觉-语言-动作模型框架
- 论文提出了 SAMoE-VLA，一个用于自动驾驶的场景自适应混合专家视觉-语言-动作模型框架
- 研究旨在解决直接应用现有 token-level MoE 机制于 VLA 模型时，导致的性能不稳定与安全退化问题
- 核心思想是基于结构化场景表示（而非单个token嵌入）来驱动专家选择，实现场景依赖的专家加权和融合
Card 01
研究单位
研究单位
- 清华大学人工智能产业研究院 (AIR)
- 东南大学仪器科学与工程学院
- 清华大学致理书院
- 华中科技大学人工智能与自动化学院
- 中国科学技术大学自动化系
- 北京科技大学自动化系
Card 02
论文概述
论文概述
- 论文提出了 SAMoE-VLA，一个用于自动驾驶的场景自适应混合专家视觉-语言-动作模型框架
- 研究旨在解决直接应用现有 token-level MoE 机制于 VLA 模型时，导致的性能不稳定与安全退化问题
- 核心思想是基于结构化场景表示（而非单个token嵌入）来驱动专家选择，实现场景依赖的专家加权和融合
Card 03
核心贡献
核心贡献
- 提出了 SAMoE-VLA 框架，通过 条件跨模态因果注意力 (CMCA) 机制统一了世界、语言和规划空间
- 引入了 BEV引导的场景自适应MoE (SA-MoE)，由轻量级 变形场景编码器 (DSE) 路由，实现了可微分的场景感知专家融合
- 在 nuScenes 开环规划数据集和 LangAuto 闭环基准上进行了全面实验，以更少的参数量取得了最先进性能
Card 04
方法描述
方法描述
- 模型架构包含两个功能性专家：世界-语言专家（处理语言、BEV标记和世界提示）和 规划专家（基于 SA-MoE 层生成轨迹）
- 提出 条件跨模态因果注意力 (CMCA)，将条件上下文（BEV、世界、语言、状态）作为静态全局可见上下文，确保生成过程中的时间因果性和跨模态一致性
- SA-MoE 通过 变形场景编码器 (DSE) 从 BEV 特征中提取路由信号，对专家权重进行软加权融合，避免了 token-level 路由在自动驾驶中破坏时空因果性的问题
Card 05
数据集与资源
数据集与资源
- 使用 nuScenes 数据集（1000个场景，28万帧）进行开环规划评估
- 使用 LangAuto 闭环基准（基于CARLA模拟器，约64K多模态指令-传感器-控制片段）进行评估
- 模型基于 InternVL2-2B 初始化，总参数量为 3.6B，在 8张 NVIDIA A800 GPU 上训练
Card 06
评估与结果
评估与结果
- 在 nuScenes 开环规划上，SAMoE-VLA 取得最低平均 L2 误差 0.29 m，最佳平均碰撞率 0.26%，超越了现有 VLA 和世界模型方法
- 在 LangAuto 闭环基准上，SAMoE-VLA 在全部三项设置中均取得了最高的 驾驶分数 (DS) 和 路线完成度 (RC)，证明了其强大的闭环驾驶与指令跟随能力
- 消融实验证明，所提出的 SA-MoE 软加权融合机制显著优于 token-level 的稀疏或软路由 MoE 机制，后者会导致碰撞率大幅上升