一眼看懂
封面预览
论文提出了 TiPToP，一个模块化的开放词汇机器人操作系统，结合预训练视觉基础模型与任务运动规划（TAMP）解决多步操作任务
- 论文提出了 TiPToP，一个模块化的开放词汇机器人操作系统，结合预训练视觉基础模型与任务运动规划（TAMP）解决多步操作任务
- 系统旨在实现“开箱即用”：仅需相机标定即可在标准 DROID 平台上部署，适配新机器人本体只需极少工作量
- 核心目标是解决零机器人数据条件下的语言指令操作问题，并与需要大量示范数据的视觉-语言-动作（VLA）模型进行对比
Card 01
研究单位
研究单位
- 作者主要来自 麻省理工学院 和 宾夕法尼亚大学
Card 02
论文概述
论文概述
- 论文提出了 TiPToP，一个模块化的开放词汇机器人操作系统，结合预训练视觉基础模型与任务运动规划（TAMP）解决多步操作任务
- 系统旨在实现“开箱即用”：仅需相机标定即可在标准 DROID 平台上部署，适配新机器人本体只需极少工作量
- 核心目标是解决零机器人数据条件下的语言指令操作问题，并与需要大量示范数据的视觉-语言-动作（VLA）模型进行对比
Card 03
核心贡献
核心贡献
- 构建了一个完整的、可快速部署的机器人操作系统，无需本体特定训练数据即可运行
- 系统具有模块化架构，允许独立改进或替换各组件，便于故障诊断和模块调试
- 在28个桌面操作任务中，TiPToP 的性能匹配或优于经过350小时本体特定示范微调的VLA模型 π₀.₅-DROID
- 开源了整个系统，支持真实世界部署和 Isaac Sim 仿真环境
Card 04
方法描述
方法描述
- 感知模块：使用 FoundationStereo 进行立体深度估计，M2T2 预测6自由度抓取姿态，Gemini Robotics-ER 1.5 进行开放词汇目标检测与任务目标语言接地，SAM-2 进行分割
- 规划模块：采用 cuTAMP 进行GPU并行任务运动规划，搜索离散任务骨架并优化连续参数（抓取姿态、放置位置、无碰撞轨迹）
- 执行模块：使用关节阻抗控制器开环跟踪规划轨迹
- 创新点在于将基础模型感知、学习抓取预测与GPU加速规划器紧密集成，实现从RGB图像和语言指令到完整动作轨迹的端到端处理
Card 05
数据集与资源
数据集与资源
- 主要在 DROID 硬件平台（Franka FR3 机械臂，Zed Mini立体相机）上进行真实世界评估
- 仿真实验使用 Isaac Sim 环境进行
- 未提及使用特定数据集进行训练，系统依赖预训练模型（FoundationStereo、M2T2、Gemini VLM、SAM-2）
- 额外在 UR5e 和 Trossen WidowX AI 机械臂上验证了跨本体部署能力
Card 06
评估与结果
评估与结果
- 在仿真、自有硬件和外部独立团队评估的 DROID 平台上，共测试了 28个 桌面操作任务
- 主要评估指标：成功率 和 任务进展
- 关键结果：
- 在“干扰物”、“语义理解”和“多步”任务类别中，TiPToP 的成功率显著高于 π₀.₅-DROID
- 总体成功率：TiPToP 为 98/165 (59.4%)，π₀.₅-DROID 为 55/165 (33.3%)；总体任务进展：TiPToP 为74.6%，π₀.₅-DROID 为52.4%
- TiPToP 的任务完成时间普遍短于 π₀.₅-DROID
- 失败分析显示，主要失败模式是抓取失败（31/55），其次是场景补全误差、VLM检测误差和规划失败