一眼看懂
封面预览
论文旨在解决现有全身人形机器人遥操作系统评估指标粗粒度、系统耦合度高且难以鲁棒部署的核心问题。
- 论文旨在解决现有全身人形机器人遥操作系统评估指标粗粒度、系统耦合度高且难以鲁棒部署的核心问题。
- 提出了 OmniClone 系统，一个鲁棒、全能且低成本的全身遥操作系统，可在单张消费级GPU上实现高保真、多技能控制。
- 引入了 OmniBench 诊断基准，用于系统评估不同运动类别和难度下的策略性能，暴露现有系统的不足。
Card 01
研究单位
研究单位
- 北京理工大学 计算机学院
- 北京通用人工智能研究院
- 北京大学 人工智能学院、心理与认知科学学院
- 香港大学 电气与电子工程系
- 清华大学 交叉信息研究院
- 北京大学-武汉人工智能研究院 具身智能实验室
Card 02
论文概述
论文概述
- 论文旨在解决现有全身人形机器人遥操作系统评估指标粗粒度、系统耦合度高且难以鲁棒部署的核心问题。
- 提出了 OmniClone 系统，一个鲁棒、全能且低成本的全身遥操作系统，可在单张消费级GPU上实现高保真、多技能控制。
- 引入了 OmniBench 诊断基准，用于系统评估不同运动类别和难度下的策略性能，暴露现有系统的不足。
Card 03
核心贡献
核心贡献
- 提出了 OmniBench，首个全面的人形机器人全身遥操作诊断基准，按运动类别和难度分层评估。
- 开发了 OmniClone 系统，集成了技能均衡的策略与系统级机制，实现了高保真、可复现的真实世界遥操作。
- 通过大量实验证明 OmniClone 在 OmniBench 和真实世界测试中均显著优于SOTA基线，并验证其作为数据收集引擎的效用。
Card 04
方法描述
方法描述
- 采用基于 Transformer 架构的教师-学生策略蒸馏管线，用于学习全身跟踪策略。
- 设计了一种优化的数据配方，平衡了从高敏捷运动到稳定操作等多种技能的数据分布。
- 提出了与主体无关的精细化重定向管线和健壮的数据通信机制，以缓解形态差异和网络扰动问题。
Card 05
数据集与资源
数据集与资源
- 使用 HY-Motion-1.0 数据集生成参考运动。
- 训练策略仅需 30小时 的运动数据。
- 整个系统在单张消费级 GPU 上即可运行，资源需求极低。
Card 06
评估与结果
评估与结果
- 在 OmniBench 基准上进行评估，包含 18个 分层评估类别。
- 主要评估指标为 平均每关节位置误差 和 成功率。
- 实验结果显示，OmniClone 将MPJPE降低了超过 66%，并在所有类别上达到最佳平衡。
- 真实世界测试验证了系统在不同操作者（身高1.47m至1.94m）间的泛化能力，以及作为下游VLA模型数据收集引擎的有效性（在“拾放”任务中成功率达 85.71%）。