一眼看懂
封面预览
提出 MOTIF，一种用于小样本跨具身智能体迁移的分层框架，其核心思想是从异构机器人数据中解耦出与具身无关的时空模式，称为动作基元。
- 提出 MOTIF，一种用于小样本跨具身智能体迁移的分层框架，其核心思想是从异构机器人数据中解耦出与具身无关的时空模式，称为动作基元。
- 旨在解决现有跨具身策略（如共享-私有架构）在有限私有参数容量和缺乏显式迁移机制方面的局限，特别是在数据稀缺的新具身体系下实现高效迁移。
- 论文解决了跨具身错位（异构运动学导致源策略在目标具身体系上不可行）和新具身体系数据稀缺两大挑战。
Card 01
研究单位
研究单位
- The University of Queensland (作者： Heng Tao Shen)
- Nanjing University (作者： Lei Zhu)
- Chinese University of Hong Kong (Shenzhen) (作者： Fengling Li, Guoli Yang)
- 从作者列表推断，可能还包括其他研究机构（未明确列出所有机构）
Card 02
论文概述
论文概述
- 提出 MOTIF，一种用于小样本跨具身智能体迁移的分层框架，其核心思想是从异构机器人数据中解耦出与具身无关的时空模式，称为动作基元。
- 旨在解决现有跨具身策略（如共享-私有架构）在有限私有参数容量和缺乏显式迁移机制方面的局限，特别是在数据稀缺的新具身体系下实现高效迁移。
- 论文解决了跨具身错位（异构运动学导致源策略在目标具身体系上不可行）和新具身体系数据稀缺两大挑战。
Card 03
核心贡献
核心贡献
- 提出 MOTIF 框架，通过将与具身无关的动作基元从机器人特定执行中解耦，实现了高效的小样本跨具身迁移。
- 引入了一种统一的基元学习机制，结合了进度感知对齐损失和具身对抗性损失，并通过流匹配策略将抽象基元转化为精确动作。
- 设计了轻量级的多模态基元预测器，能够从实时视觉和语言输入中推断动作基元，指导策略生成。
- 在仿真和真实世界环境中进行了广泛实验，表明 MOTIF 在少样本迁移场景中性能显著超越强基线（仿真中提升6.5%，真实世界中提升43.7%）。
- 提供了一种分三阶段的明确迁移机制，弥补了现有方法依赖大规模预训练进行隐式对齐的不足。
Card 04
方法描述
方法描述
- 核心是一个三阶段框架：第一阶段（动作基元学习）通过向量量化自编码器从异构机器人的短期本体感觉状态片段中学习统一的离散动作基元，并引入了进度感知对齐损失和具身对抗损失以确保时域和跨具身一致性。
- 第二阶段（多模态基元预测器）使用冻结的预训练图像和语言编码器，通过一个轻量级的Perceiver模块从当前观测和语言指令预测动作基元。
- 第三阶段（基元条件化机器人策略）利用预测的基元作为结构化先验，条件化一个基于扩散Transformer的流匹配策略，融合基元与具身特定的多模态输入，为目标具身体系生成具体动作序列。
- 关键技术包括运动轨迹规范化、局部注意力Transformer编码器、梯度反转层以及基元检索与条件化生成。
Card 05
数据集与资源
数据集与资源
- 仿真实验使用 ManiSkill 基准数据集，包含 Franka Panda、xArm6 和 WidowX AI 三个异构机器人，每个机器人执行6个不同操作任务。
- 真实世界实验涉及 ARX5 和 Piper 两种实体机器人。
- 模型规模与参数量：MOTIF 总参数量为 0.31B（31亿），比部分基线（如π0的3.3B）更紧凑。
- 训练资源：文中提到了 GPU 训练，但未明确指定具体型号和数量。
Card 06
评估与结果
评估与结果
- 评估环境：仿真（ManiSkill）和真实世界物理环境，采用交错任务分配协议来评估跨具身迁移能力。
- 主要评估指标：成功率，并区分为 Transfer成功率（仅在少样本目标对上的平均成功率）和 Global成功率（所有任务对上的平均成功率）。
- 关键实验结果：在仿真中，MOTIF 在1-shot、3-shot、5-shot、10-shot和50-shot设置下，Transfer成功率分别为36.0%、48.33%、54.33%、60.33%、75.0%，均超越所有基线（包括π0*, HPT*, GR00T N1*）。在真实世界4个任务的5-shot迁移评估中，MOTIF达到58.33%的Transfer成功率，大幅领先其他方法。消融实验证实了动作基元引导、进度感知对齐和具身对抗损失的有效性。