RoCo Challenge at AAAI 2026: Benchmarking Robotic Collaborative Manipulation for Assembly Towards Industrial Automation

• 南洋理工大学 (Nanyang Technological University)，新加坡
• 北京邮电大学 (Beijing University of Posts and Telecommunications)，中国
• 卡内基梅隆大学 (Carnegie Mellon University)，美国匹兹堡
• **新加坡科技研究局 (A*STAR)**，新加坡

• 论文介绍了 RoCo Challenge at AAAI 2026 竞赛，旨在基准测试机器人协作装配操作向工业自动化的应用
• 竞赛聚焦于高精度的 行星齿轮箱装配任务，这是现代工业中具有代表性且高要求的操作任务
• 竞赛分为两个阶段：Simulation Track（基于 NVIDIA Isaac Sim 的模拟环境）和 Real-World Track（使用 Galaxea R1 Lite 双臂机器人的实地部署）
• 竞赛吸引了来自 10 多个国家的 60+ 团队 和 170+ 参与者，产生了突出解决方案，尤其是 ARC-VLA 和 RoboCola

• 提出了一个高保真的工业齿轮箱装配基准，桥接模拟与现实世界的评估框架
• 证明了 Specialist + Generalist 双重模型框架 对长程多任务学习非常有效
• 发现 数据工程（失败恢复课程数据）比模型规模对高精度工业任务更关键
• 验证了 VLA（Vision-Language-Action）模型在处理 Sim-to-Real 差距和语义推理方面的优越性
• 引入了 L1 损失函数 优化，解决"懒惰机器人"问题，确保亚毫米级插入精度

• ARC-VLA (IIGroup, 第1名)：基于 π0.5 骨干的 36 亿参数模型，采用"风险优先"感知策略，使用腕部相机提供近场高保真数据
• RoboCola (第2名)：采用 Specialist + Generalist 双重模型框架，融合 OpenPi（语义规划器）和 GalaxeaVLA（运动控制器），使用 Delta Action Space 和轨迹平滑
• HD-Robo (模拟赛第1)：采用模块化感知-动作范式，使用 Foundation Pose 估计和基于规则的扭转逻辑
• K-Lee-gends：使用 SAM 3 进行分割，MegaPose 进行姿态估计，螺旋搜索算法解决"孔搜索"问题

• 模拟数据集：300+ 自动生成的演示，在 Isaac Sim 环境中收集
• 真实世界数据集：300+ 高质量遥操作演示，在 Galaxea R1 Lite 平台上收集
• 数据集链接：

- 模拟数据集：HuggingFace rocochallenge2025/gearbox_assembly_demos_updated

- 真实数据集：HuggingFace rocochallenge2025/real_assembly_r1lite

• 硬件平台：Galaxea R1 Lite 双臂移动操作平台，配备头部立体相机和腕部 RGB-D 传感器

• 评估环境：NVIDIA Isaac Sim 模拟环境和 A*STAR ARTC 新加坡实地硬件
• 评估指标：归一化得分 S∈[0,1]，基于正确装配零件数量和错误恢复准确性
• 最终得分计算：S_sim = (4×S₁ + 2×S₂ + 4×S₃) / 10
• 关键结果：

- IIGroup (总排名第1)：模拟赛 0.126，现场赛 0.344，总分 0.279

- RoboCola (总排名第2)：模拟赛 0.038，现场赛 0.139，总分 0.109

- Show Me Robot (总排名第3)：模拟赛 0.037，现场赛 0.122，总分 0.097

• 关键发现：存在显著的 "Sim-to-Real Cliff"（模拟到现实悬崖），VLA 模型在现场赛中明显优于模块化管道