一眼看懂
封面预览
论文提出了 MolmoAct2，一个面向真实世界部署的完全开源的动作推理模型，旨在解决现有 VLA 模型在封闭性、硬件成本高、推理延迟大和微调…
- 论文提出了 MolmoAct2，一个面向真实世界部署的完全开源的动作推理模型，旨在解决现有 VLA 模型在封闭性、硬件成本高、推理延迟大和微调…
- 核心目标是在保持高性能的同时，实现模型的开源和实际部署，支持低成本机器人平台并具备可解释的推理能力。
- 模型包含三个主要部分：用于空间和具身推理的 VLM 骨干网络 Molmo2-ER、结合流匹配专家的 VLA 架构，以及自适应深度推理变体 Mo…
Card 01
研究单位
研究单位
- Allen Institute for AI (Allen AI 研究所)
- University of Washington (华盛顿大学)
- National University of Singapore (新加坡国立大学)
- University of Pennsylvania (宾夕法尼亚大学)
- Johns Hopkins University (约翰霍普金斯大学)
- Amazon (亚马逊)
- Cortex AI
- University of Michigan (密歇根大学)
- University of North Carolina at Chapel Hill (北卡罗来纳大学教堂山分校)
Card 02
论文概述
论文概述
- 论文提出了 MolmoAct2，一个面向真实世界部署的完全开源的动作推理模型，旨在解决现有 VLA 模型在封闭性、硬件成本高、推理延迟大和微调成功率低等方面的缺陷。
- 核心目标是在保持高性能的同时，实现模型的开源和实际部署，支持低成本机器人平台并具备可解释的推理能力。
- 模型包含三个主要部分：用于空间和具身推理的 VLM 骨干网络 Molmo2-ER、结合流匹配专家的 VLA 架构，以及自适应深度推理变体 MolmoAct2-Think。
Card 03
核心贡献
核心贡献
- 引入了 Molmo2-ER，这是一个专门针对空间和具身推理优化的 VLM 骨干网络，使用包含 330 万样本的数据集和“先专门化后复习”的训练策略。
- 发布了三个新的高质量数据集：MolmoAct2-BimanualYAM Dataset（迄今为止最大的开源双臂数据集）、MolmoAct2-SO100/101 Dataset（质量过滤后的社区数据集）和 MolmoAct2-DROID Dataset（质量过滤后的 Franka 数据集）。
- 提供了 OpenFAST Tokenizer，这是一个开源权重和数据的动作分词器，将连续动作轨迹压缩为紧凑的离散序列。
- 设计了新的架构，通过 逐层 KV 缓存调节 将流匹配连续动作专家嫁接到离散 VLM 骨干网络上，实现离散与连续动作监督的联合训练。
- 提出了 MolmoAct2-Think，一种自适应深度推理变体，仅对场景中发生变化的区域重新预测深度令牌，显著降低了推理延迟。
Card 04
方法描述
方法描述
- Molmo2-ER 训练策略：采用两阶段训练。第一阶段进行具身专门化，专注于空间推理数据；第二阶段进行联合优化，混合具身数据与通用多模态数据以平衡能力。
- 架构设计：在预训练阶段使用 OpenFAST Tokenizer 将机器人轨迹转化为离散令牌进行自回归训练；后训练阶段附加一个 DiT 风格的动作专家，通过交叉注意力机制从 VLM 的 KV 缓存中获取上下文，使用流匹配目标生成连续动作轨迹。
- 自适应推理：MolmoAct2-Think 利用场景的时间冗余性，缓存静态区域的深度编码，仅重新生成动态变化区域的深度令牌，从而在保持几何接地能力的同时减少计算量。
Card 05
数据集与资源
数据集与资源
- MolmoAct2-BimanualYAM Dataset：包含 720 小时的遥操作轨迹，涵盖 28 种真实世界任务（如叠衣服、清理桌子），是目前最大的开源双臂数据集。
- MolmoAct2-SO100/101 Dataset：从 1222 个公共 LeRobot 数据集中过滤得到，包含 184 小时的交互数据。
- MolmoAct2-DROID Dataset：包含 74,604 个有效回合，经过质量过滤和语言重标注。
- Molmo2-ER 数据集：约 330 万样本，涵盖图像具身 QA、视频具身 QA、指点和检测等六大支柱。
- 模型规模：基于 Molmo2 (Qwen3-4B) 架构，动作专家包含 36 层 Transformer。
- 训练资源：使用 H100 GPUs 进行训练（例如预训练使用 64 张 H100，耗时约 5760 GPU 小时）。
Card 06
评估与结果
评估与结果
- 评估基准：涵盖了 7 个仿真和真实世界基准（包括 LIBERO、RoboEval 等）以及 13 个具身推理基准。
- Molmo2-ER 性能：在 13 个具身推理基准测试中，其中 9 个超越了 GPT-5 和 Gemini Robotics ER-1.5，平均分达到 63.8%，比初始模型提升了 17 个百分点。
- MolmoAct2 性能：在开箱即用部署和微调场景下均优于强基线模型 $\pi_{0.5}$。
- 真实世界部署：在双臂 YAM 设置的 8 个真实世界任务（如洗碗、倒茶等）中表现出色，证明了其在实际应用中的有效性。