EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data

• NVIDIA
• University of California, Berkeley
• University of Maryland

• 论文提出 EgoScale，一个利用大规模第一人称人类数据进行灵巧操作的人-机器人迁移框架。
• 核心目标是解决如何利用大规模、多样的人类数据来学习和迁移精细、高自由度的灵巧操作技能的问题。
• 探索了人类数据规模（超过20k小时）与模型性能之间的可预测的缩放规律。

• 发现了人类数据预训练的缩放规律：在超过20k小时的人类数据规模下，揭示了手部动作预测损失与数据规模之间存在明确的对数线性关系，且该损失与下游真实机器人性能强相关。
• 提出了一种高效的人-机器人迁移方法：结合了高自由度（DoF）人类手部动作监督与少量对齐的人-机器人中间训练数据，实现了在最小机器人数据下的强后训练性能。
• 实现了涌现的单样本迁移和跨具身泛化：该方法能在22-DoF灵巧手上实现仅需一个机器人演示的单样本任务适应，并且学习到的表示能有效泛化到具有更低自由度手（如三指手） 的不同机器人平台上。
• 构建并利用了超20,854小时的大规模第一人称人类动作数据集，规模超过先前工作的20倍。

• 采用两阶段训练框架：第一阶段在大规模人类数据上预训练视觉-语言-动作模型，使用相对手腕运动和重定向的22-DoF灵巧手关节动作作为监督信号。第二阶段使用少量对齐的人-机器人数据（人类和机器人在相似桌面场景中执行类似任务）进行中间训练，以将预训练的表征锚定到机器人的感知和控制空间。
• 模型基于流匹配的Vision-Language-Action架构，共享手腕级动作表示，并为不同具身使用轻量级、特定具身的适配器来处理本体感觉和手部动作。
• 创新点在于将数据规模与具身对齐解耦：大规模人类数据提供通用操作结构，少量对齐数据提供精确的机器人控制映射。

• 使用的主要数据集为超过 20，854 小时的第一人称人类操作视频，包含大量野外数据和约829小时的EgoDex数据集。
• 对齐的人-机器人中间训练数据集包含约50小时人类数据和仅4小时机器人数据，涵盖344个桌面操作任务。
• 模型基于类似GR00T N1的VLA架构，具体参数量未明确给出。
• 训练资源：第一阶段使用 256 块 GB200 GPU，全局批大小为 8192。

• 评估环境：在配备22-DoF Sharpa灵巧手的Galaxea R1Pro人形机器人以及配备7-DoF三指手的Unitree G1机器人上进行真实世界实验。
• 评估基准：设计了五个高难度灵巧操作任务：衬衫卷叠、卡片分拣、使用镊子转移水果、拧开瓶盖、注射器液体转移，以及额外的单样本适应任务（折叠衬衫、拧开水瓶）。
• 主要评估指标：任务成功率和细粒度的任务完成度得分。
• 关键实验结果：

- 人类预训练显著提升性能：相比无预训练基线，结合了人类预训练和中间训练的最终策略平均成功率提升 54%。

- 性能随预训练数据规模缩放：人类动作验证损失与数据规模呈对数线性关系（R² = 0.9983），且该损失与下游机器人任务完成度强相关。

- 中间训练实现单样本迁移：在衬衫折叠任务上，使用单次机器人演示和100次对齐人类演示，成功率可达 88%。

- 支持跨具身泛化：在Unitree G1机器人上，经人类预训练和中间训练的策略，相比无人类预训练基线，在两个评估任务上均获得超过 30% 的绝对成功率提升。