一眼看懂
封面预览
论文深入研究了视觉-语言-动作模型（VLA）训练过程中出现的“具身税”现象，即标准微调流程会系统性侵蚀预训练视觉-语言模型（VLM）的多模态理…
- 论文深入研究了视觉-语言-动作模型（VLA）训练过程中出现的“具身税”现象，即标准微调流程会系统性侵蚀预训练视觉-语言模型（VLM）的多模态理…
- 受生物视觉双流组织结构（腹侧通路负责语义，背侧通路负责视觉运动控制）启发，论文提出通过架构分离来解决单一编码器面临的表征瓶颈问题。
- 研究目标是构建一种仅依赖动作数据进行端到端训练的模型，在不冻结参数或使用辅助数据的情况下，同时保持 VLM 的语义能力并实现高性能机器人控制。
Card 01
研究单位
研究单位
- Tsinghua University
- ByteDance Seed
Card 02
论文概述
论文概述
- 论文深入研究了视觉-语言-动作模型（VLA）训练过程中出现的“具身税”现象，即标准微调流程会系统性侵蚀预训练视觉-语言模型（VLM）的多模态理解能力。
- 受生物视觉双流组织结构（腹侧通路负责语义，背侧通路负责视觉运动控制）启发，论文提出通过架构分离来解决单一编码器面临的表征瓶颈问题。
- 研究目标是构建一种仅依赖动作数据进行端到端训练的模型，在不冻结参数或使用辅助数据的情况下，同时保持 VLM 的语义能力并实现高性能机器人控制。
Card 03
核心贡献
核心贡献
- 揭示并量化了 VLA 微调中的“具身税”现象，指出强迫单一编码器同时支持语义理解和控制相关特征是导致遗忘的结构性根源。
- 提出了 UAM (Unified Action Model) 架构，引入一个并行“背侧专家”作为第二视觉通路，通过架构分离实现了语义与控制的解耦。
- 确立了背侧专家的最佳设计范式：使用预训练生成式模型初始化并结合视觉动力学监督目标，使其成为真正承载控制任务的通路。
- 实验证明 UAM 在不冻结参数、不阻断梯度且无辅助共训练的情况下，保留了底层 VLM 超过 95% 的多模态能力，并在真实世界 OOD 任务中取得了最佳平均成功率。
Card 04
方法描述
方法描述
- 采用混合专家路由机制耦合三个组件：语义专家（继承自 VLM）、背侧专家和动作专家，在 Transformer 层并行处理信号。
- 背侧专家不直接处理语言输入，而是专注于视觉特征，通过预测视觉动力学（预测目标观测）来激活其中间推理能力。
- 这种设计使得模型自动分流视觉信号需求：语义专家专注于物体识别等语义特征，背侧专家专注于机械臂状态和场景动态，从而避免了动作损失对语义表征的覆盖。
Card 05
数据集与资源
数据集与资源
- 训练数据：使用 ALOHA 双臂机器人系统收集的 3k 条专家演示轨迹进行训练，未使用额外的视觉-语言共训练数据。
- 基础模型：VLM 专家和背侧专家均初始化自预训练的生成式统一多模态模型 Bagel。
- 评估基准：多模态理解基准（MMMU, MME, MMBench 等）、仿真基准（CALVIN, RoboTwin）以及真实世界机器人操作任务。
Card 06
评估与结果
评估与结果
- 多模态理解保留：在 MMMU、MME 等多个基准测试中，UAM 的平均性能下降幅度小于 5%，显著优于 OpenVLA（能力完全崩溃）和需要共训练的 ChatVLA 等基线方法。
- 机器人操作性能：在真实世界分布外（OOD）场景（如未见物体、新组合、指令变化）中，UAM 展现出卓越的语义泛化能力，平均成功率优于其他对比模型。
- 机制验证：注意力可视化分析表明，动作头对语义专家的关注集中在任务相关物体，而对背侧专家的关注集中在机械臂和交互区域，验证了双流功能分离的有效性。