一眼看懂
封面预览
提出了 MotuBrain，一个高级的世界动作模型，用于机器人控制，旨在统一视觉动态建模与动作预测
- 提出了 MotuBrain，一个高级的世界动作模型，用于机器人控制，旨在统一视觉动态建模与动作预测
- 解决现有 Vision-Language-Action (VLA) 模型忽视细粒度世界动态的问题，以及传统 Video Generation…
- 核心目标是在单一统一框架内同时预测未来视觉状态与动作，实现可扩展的机器人策略学习
Card 01
研究单位
研究单位
- MotuBrain Team，隶属于 Shengshu公司
Card 02
论文概述
论文概述
- 提出了 MotuBrain，一个高级的世界动作模型，用于机器人控制，旨在统一视觉动态建模与动作预测
- 解决现有 Vision-Language-Action (VLA) 模型忽视细粒度世界动态的问题，以及传统 Video Generation Model (VGM) + Inverse Dynamics Model (IDM) 两阶段框架中视频预测误差累积导致动作精度下降的问题
- 核心目标是在单一统一框架内同时预测未来视觉状态与动作，实现可扩展的机器人策略学习
Card 03
核心贡献
核心贡献
- 提出基于 UniDiffuser 框架和三流 Mixture-of-Transformers (MoT) 架构的世界动作模型，统一建模视频和动作
- 设计了支持任意相机视图的统一多视图表示，以及跨机器人形态的统一相对末端执行器动作表示
- 开发了面向长时序现实世界控制的训练与部署方案，包括自回归扩散展开和 V2A-style 不对称依赖推理
- 构建了系统级的推理优化栈，实现超过 50× 的端到端加速，使大型世界动作模型可实时部署
- 在仿真基准 RoboTwin 2.0 和真实世界实验中验证了模型的性能与实用性
Card 04
方法描述
方法描述
- 采用 UniDiffuser 框架联合建模视频和动作两个连续模态，支持五种推理模式：VLA策略建模、世界建模、视频生成、逆动力学和联合视频-动作预测
- 使用三流 Mixture-of-Transformers 架构，包含独立的文本、视频和动作流，文本流作为条件分支参与注意力计算
- 引入 H-bridge 注意力设计，仅在中间层使用全视频-动作联合注意力，提升效率同时保留模态特定表示
- 通过 3D RoPE 的视图依赖偏移支持任意数量的相机视图输入，无需修改主干架构
- 采用相对于条件帧的统一相对末端执行器坐标作为动作表示，提升跨形态兼容性
- 训练采用四层数据金字塔：互联网视频、第一人称视频、异构机器人数据、特定机器人数据，分两阶段进行预训练
Card 05
数据集与资源
数据集与资源
- 预训练数据：互联网视频（用于训练视频生成模型 Vidu）、第一人称视频、异构双臂机器人数据、特定机器人配置数据
- 评估使用 RoboTwin 2.0 数据集，包含 50 个任务（每个任务 50 条演示）的干净场景数据和 25,000 条高度随机化场景演示
- 模型基于 Vidu 视频生成模型的预训练权重初始化
- 推理优化中使用 FP8 量化，部署在支持 FP8 的 GPU 上
Card 06
评估与结果
评估与结果
- 仿真评估环境：RoboTwin 2.0 基准，包含 50 个任务，分为干净场景和随机化场景
- 主要评估指标：任务成功率
- 关键实验结果：MotuBrain 在干净场景达到 95.8% 平均成功率，在随机化场景达到 96.1%，显著优于现有 VLA 模型（如 π₀, X-VLA）和世界模型方法（如 Motus, LingBot-VA）
- 推理加速结果：通过噪声采样、编译、DiT Cache、FP8 量化、V2A-style 推理等组合优化，端到端推理频率达到 11 Hz，超越人类反应速度