一眼看懂
封面预览
论文提出了 RoboClaw，一种用于可扩展长视界机器人任务的智能体框架，旨在统一数据收集、策略学习和任务执行过程。
- 论文提出了 RoboClaw，一种用于可扩展长视界机器人任务的智能体框架，旨在统一数据收集、策略学习和任务执行过程。
- 核心目标是解决现有视觉-语言-动作（VLA）系统在长视界任务中面临的流程分离、依赖人工重置和多策略执行脆弱的问题。
- 通过引入 Entangled Action Pairs (EAP) 实现自我重置循环，显著减少人工干预并提高数据收集效率。
Card 01
研究单位
研究单位
- AgiBot, China
- National University of Singapore
- Shanghai Jiao Tong University, Shanghai 200240, China
- MoE Key Lab of Artificial Intelligence, AI Institute, SJTU
Card 02
论文概述
论文概述
- 论文提出了 RoboClaw，一种用于可扩展长视界机器人任务的智能体框架，旨在统一数据收集、策略学习和任务执行过程。
- 核心目标是解决现有视觉-语言-动作（VLA）系统在长视界任务中面临的流程分离、依赖人工重置和多策略执行脆弱的问题。
- 通过引入 Entangled Action Pairs (EAP) 实现自我重置循环，显著减少人工干预并提高数据收集效率。
Card 03
核心贡献
核心贡献
- 提出了统一数据收集、策略学习和长视界任务执行的生命周期智能体框架 RoboClaw。
- 提出了 Entangled Action Pairs (EAP) 机制，将正向操作策略与逆向恢复策略配对，实现自主数据收集和自我重置。
- 设计了基于上下文驱动的决策架构，利用 VLM 进行高层推理、技能编排和状态监控。
- 实验证明该方法在长视界任务中成功率提高了 25%，并将人工投入时间减少了 53.7%。
Card 04
方法描述
方法描述
- 系统采用 Vision-Language-Model (VLM) 作为元控制器，利用上下文学习（ICL）进行高层决策。
- 引入了分层抽象结构：策略、工具和技能，通过 Model Context Protocol (MCP) 接口连接推理与控制。
- 核心机制 EAP 包含前向执行策略 ($\pi^{\rightarrow}$) 和逆向重置策略 ($\pi^{\leftarrow}$)，形成闭环以自动恢复环境状态。
- 底层操作策略基于 $\pi_{0.5}$ VLA 模型，通过流匹配目标进行训练。
- 在部署阶段，智能体动态选择技能、监控任务进度并在检测到失败时触发恢复策略或人工干预。
Card 05
数据集与资源
数据集与资源
- 实验平台为 Agibot G01 双臂移动操作机器人。
- 基础策略模型为 $\pi_{0.5}$ Vision-Language-Action 模型。
- 训练超参数：使用 LoRA 微调（Rank=16, Alpha=16），训练步数为 10k，学习率为 $2.5 \times 10^{-5}$。
- 任务场景包括卧室梳妆台、厨房货架、书房书桌和便利店货架。
Card 06
评估与结果
评估与结果
- 评估环境为真实世界的多阶段操作任务（如身体乳放置、口红插入、纸巾擦拭等）。
- 主要评估指标包括人工时间投入、人工干预率、子任务策略成功率以及长视界任务成功率。
- 实验结果显示，与人工基线相比，RoboClaw 减少了约 2.16 倍的人工时间，人工干预减少约 8.04 倍。
- 在长视界任务中，RoboClaw 的成功率比基线方法高出 25%，子任务策略的成功率随着迭代数据的加入显著提升（例如 Body Lotion 任务从 21/50 提升至 43/50）。