一眼看懂
封面预览
提出 RoboMME，一个大规模标准化基准测试，旨在评估和推进视觉-语言-动作模型在长时程、历史依赖场景中的表现。
- 提出 RoboMME，一个大规模标准化基准测试，旨在评估和推进视觉-语言-动作模型在长时程、历史依赖场景中的表现。
- 基准包含 16 个操作任务，根据认知记忆理论分为四类：时间记忆、空间记忆、对象记忆和程序记忆。
- 论文旨在解决现有评估设置狭窄、非标准化的问题，为记忆增强机器人策略提供系统性理解和比较平台。
Card 01
研究单位
研究单位
- University of Michigan
- Stanford University
- Figure AI
Card 02
论文概述
论文概述
- 提出 RoboMME，一个大规模标准化基准测试，旨在评估和推进视觉-语言-动作模型在长时程、历史依赖场景中的表现。
- 基准包含 16 个操作任务，根据认知记忆理论分为四类：时间记忆、空间记忆、对象记忆和程序记忆。
- 论文旨在解决现有评估设置狭窄、非标准化的问题，为记忆增强机器人策略提供系统性理解和比较平台。
Card 03
核心贡献
核心贡献
- 构建了首个系统覆盖四种记忆类型的大规模机器人操作基准 RoboMME。
- 基于统一的 π₀.₅ 骨干网络，开发了包含 14 种记忆增强VLA变体的 MME-VLA 模型套件，用于系统性研究。
- 系统对比了三种记忆表示（符号、感知、循环）与三种集成机制（上下文、调制器、专家），揭示了其效果高度依赖于任务类型。
- 提供了首个理解操作任务中记忆机制的综合框架，推动可靠的长时程机器人通用策略发展。
Card 04
方法描述
方法描述
- 基准测试设计：受认知记忆理论启发，将记忆分为时间、空间、对象和程序四类，并对应设计四个任务套件，任务具有非马尔可夫性，强制模型依赖历史信息。
- 模型构建：在 π₀.₅ 骨干网络上实现三种记忆表示：符号记忆（语言子目标）、感知记忆（视觉标记序列）、循环记忆（压缩隐状态）。
- 集成机制：研究三种将记忆融入VLA模型的方式：Memory-as-Context（拼接输入）、Memory-as-Modulator（通过自适应LayerNorm调制）、Memory-as-Expert（添加独立专家模块）。
Card 05
数据集与资源
数据集与资源
- 使用的数据集为自建的 RoboMME 基准，包含 16 个任务，共 1,600 个演示轨迹，总计 770k 高质量时间步。
- 模型骨干为 π₀.₅。
- 评估时固定记忆预算为 512 个令牌。
Card 06
评估与结果
评估与结果
- 评估环境为 ManiSkill 模拟器，以 Franka Panda 机械臂为平台，使用多视角RGB观测。
- 主要评估指标为任务 成功率 和所有任务的平均成功率。
- 关键结果：没有单一记忆表示或集成策略在所有任务上表现最佳；符号记忆在计数任务上表现出色，感知记忆对时间敏感和运动核心任务至关重要；感知记忆结合 Memory-as-Modulator 集成策略在性能与计算效率间取得了最佳平衡。