一眼看懂
封面预览
提出了 RoboWits，一个新的双臂机器人基准，旨在系统地评估机器人的认知推理、创造性工具使用以及对意外挑战的鲁棒性。
- 提出了 RoboWits，一个新的双臂机器人基准，旨在系统地评估机器人的认知推理、创造性工具使用以及对意外挑战的鲁棒性。
- 论文指出现有机器人基准主要关注技能级执行，缺乏对机器人认知推理能力的系统评估，无法诊断其失败模式。
- 为了解决基准任务设计耗时且困难的问题，提出了一个自动化的、多智能体协作的任务生成管道，以规模化构建高质量、以推理为中心的任务。
Card 01
研究单位
研究单位
- University of Massachusetts Amherst
- Princeton University
- Stanford University
- Carnegie Mellon University
Card 02
论文概述
论文概述
- 提出了 RoboWits，一个新的双臂机器人基准，旨在系统地评估机器人的认知推理、创造性工具使用以及对意外挑战的鲁棒性。
- 论文指出现有机器人基准主要关注技能级执行，缺乏对机器人认知推理能力的系统评估，无法诊断其失败模式。
- 为了解决基准任务设计耗时且困难的问题，提出了一个自动化的、多智能体协作的任务生成管道，以规模化构建高质量、以推理为中心的任务。
Card 03
核心贡献
核心贡献
- 引入了 RoboWits 基准，用于评估双臂操作中的认知推理、创造性工具使用和对意外挑战的鲁棒性。
- 提出了一个自动化的多智能体任务生成管道，能够规模化地构建多样化、以推理为中心的操作任务。
- 对现有的机器人策略模型进行了基准测试，揭示了现有模型在推理、策略适应和鲁棒性方面存在的局限，量化了低级操作能力与高级认知适应之间的差距。
Card 04
方法描述
方法描述
- 提出一个多智能体协作框架用于任务生成，包含负责种子任务生成、验证、度量生成、场景生成和任务变异的多个智能体。
- 设计了三种任务变异策略：Pivot（通过修改关键对象来阻碍原方案并引入新方案）、Trap（注入看似有用但实际无效的“陷阱对象”）、Add（增加无用对象作为干扰）。
- 通过种子任务生成、验证、变异、场景生成和度量生成的流程，自动创建了包含几何推理、材料推理和组装推理等类别的多样化任务。
Card 05
数据集与资源
数据集与资源
- 基准包含 208 个任务，由 30 个种子任务及其变异扩展而成。
- 任务在 Genesis 物理模拟器中实例化，支持多样材料和机器人控制。
- 收集并发布了 30 个种子任务的人类遥操作演示数据用于训练和微调。
- 基准测试使用了多个模型，包括模仿学习基线 ACT、预训练的视觉-语言-动作模型 π₀ 和 π₀.5，以及基于视觉-语言模型的模块化规划器。
Card 06
评估与结果
评估与结果
- 评估环境为 RoboWits 基准，任务难度从1到5分，涵盖几何、材料和组装推理三类。
- 主要评估指标包括二元成功率和连续进度得分。
- 实验结果显示，预训练的 VLA 模型（如 π₀）在种子任务上经单任务微调后取得初步成功，但在变异任务上性能严重下降，表明其在需要推理、策略适应的任务上表现脆弱。
- 即使拥有对象状态的完美信息，基于 VLM 的模块化规划器在种子任务上表现合理，但难以有效推广到变异任务，闭环规划相比开环规划有显著提升。