一眼看懂
封面预览
提出了一种名为 接触锚定策略（Contact-Anchored Policies, CAP） 的新型机器人策略学习方法，该方法使用空间中的物理接触点来替代语言进行策略调节。
- 提出了一种名为 接触锚定策略（Contact-Anchored Policies, CAP） 的新型机器人策略学习方法，该方法使用空间中的物理接触点来替代语言进行策略调节。
- 将策略构建为一组模块化的 机器人效用模型（Robot Utility Models） 库，而不是一个单一的通才策略，并引入了 EgoGym 仿真基准来支持高效的模拟-现实迭代开发。
- 旨在解决当前依赖语言调节的大型通用机器人策略的不足，如语言的空间精确性差、模型规模庞大、推理效率低等问题，以实现更精确、高效和可泛化的机器人操作。
Card 01
研究单位
研究单位
- New York University
- University of California, Berkeley
- University of California, Los Angeles
- Hello Robot Inc.
- Ai2 (Allen Institute for AI)
- University of Waterloo
Card 02
论文概述
论文概述
- 提出了一种名为 接触锚定策略（Contact-Anchored Policies, CAP） 的新型机器人策略学习方法，该方法使用空间中的物理接触点来替代语言进行策略调节。
- 将策略构建为一组模块化的 机器人效用模型（Robot Utility Models） 库，而不是一个单一的通才策略，并引入了 EgoGym 仿真基准来支持高效的模拟-现实迭代开发。
- 旨在解决当前依赖语言调节的大型通用机器人策略的不足，如语言的空间精确性差、模型规模庞大、推理效率低等问题，以实现更精确、高效和可泛化的机器人操作。
Card 03
核心贡献
核心贡献
- 提出了 接触锚定策略（CAP） 的新范式，使用物理接触点作为策略的调节信息，以实现更精确的物理理解和操作泛化。
- 构建了 EgoGym，一个轻量级、场景多样化的仿真基准，用于在现实部署前快速迭代策略、数据集并识别故障模式，实现“仿真驱动的迭代开发”。
- 展示了CAP的零样本泛化能力，仅使用 23小时 的人类演示数据，在未见过的环境和物体上，性能超越了需要数千小时数据的大型前沿模型。
- 实现了跨机器人平台（Stretch 3, Franka FR3, XArm 6, UR3e）的 零样本本体泛化，证明了基于手持夹爪数据训练的模型的有效移植性。
- 展示了CAP可以作为“工具”被更高级的视觉语言模型（VLM）控制器调用，组合完成 长时程复杂任务，验证了其模块化效用模型的组合性。
Card 04
方法描述
方法描述
- 核心技术是 VQ-BeT (Vector Quantized Behavior Transformer) 架构，用于从多模态行为数据中进行行为克隆。
- 创新点在于将物理接触点（Contact Anchor）作为策略的调节信号。在训练时，通过检测数据中的接触时刻，并使用相机里程计进行事后接触标注，生成接触点轨迹。在推理时，通过用户点击或视觉语言模型（如Gemini Robotics-ER 1.5）提供接触点。
- 模型输入是视觉（RGB）观测和3D接触点的拼接嵌入，输出是末端执行器的位姿变化和夹爪开合动作，从而将操作轨迹“锚定”在指定的接触点上。
Card 05
数据集与资源
数据集与资源
- 使用的数据集是自行收集的 手持夹爪演示数据集，包含20,365条演示轨迹（共23.1小时），涵盖Pick（拾取）、Open（开门/抽屉）和Close（关门/抽屉）三个任务，涉及424个不同环境。
- 模型规模较小，总参数量约为 5200万（52 million），视觉编码器为预训练的 ResNet-50。
- 训练资源未在提供的内容中明确指定，但提及将在真实世界进行评估，并使用iPhone进行推理和APP演示。
Card 06
评估与结果
评估与结果
- 评估环境包括五个未见过的真实场景和一个轻量级仿真环境EgoGym，进行了零样本的环境和物体泛化测试。
- 主要评估指标为任务成功率，并进行了统计误差分析。
- 关键实验结果：在Stretch 3机器人上，CAP在Pick、Open、Close任务上的单次尝试成功率分别为83%、81%、96%。结合VLM引导的自动重试机制，成功率分别提升至90%、91%、98%。
- 与基线模型比较：CAP在拾取任务上显著优于 AnyGrasp（47%）和 π-0.5-DROID（25%）；在开门任务上优于 stretch-open（58%）。在EgoGym仿真中，CAP（79.9%）也大幅领先 π-0.5-DROID（20.9%）。
- 消融实验表明，接触点锚定至关重要，移除接触点条件的RGB-only模型在Close任务上的成功率从96%骤降至58%。