一眼看懂
封面预览
论文提出了 EggHand，一个用于自我中心手部姿态预测的多模态基础模型框架
- 论文提出了 EggHand，一个用于自我中心手部姿态预测的多模态基础模型框架
- 研究目标是解决从第一人称视频预测未来 3D 手部姿态序列的挑战性任务，该任务受复杂人类意图、高灵巧性关节运动及剧烈视角变化的影响
- 该模型旨在理解人类意图，并为 AR/VR 辅助和人类-机器人交互等具身应用提供支持
Card 01
研究单位
研究单位
- 论文作者所属的研究机构为 DGIST（大韩民国）
Card 02
论文概述
论文概述
- 论文提出了 EggHand，一个用于自我中心手部姿态预测的多模态基础模型框架
- 研究目标是解决从第一人称视频预测未来 3D 手部姿态序列的挑战性任务，该任务受复杂人类意图、高灵巧性关节运动及剧烈视角变化的影响
- 该模型旨在理解人类意图，并为 AR/VR 辅助和人类-机器人交互等具身应用提供支持
Card 03
核心贡献
核心贡献
- 提出了一个结合视觉-语言-动作（VLA）解码器与自我中心视频文本编码器的基础模型，能够联合理解高层场景语义和 3D 手部姿态的复杂动态
- 引入了几何感知的训练目标，联合优化绝对姿态精度、手腕锚定的相对稳定性和手内几何一致性，实现稳定且解剖学合理的预测
- 在真实世界自我中心数据集上实现了最先进的预测精度，并支持通过语言任务提示进行可控的手部姿态生成
Card 04
方法描述
方法描述
- 模型架构融合了两个基础模型：使用 EgoVideo 作为自我中心视频文本编码器提供视角感知的上下文，使用 GR00T 的动作解码器捕捉动作结构化的时间动态
- 通过跨模态融合层连接编码器与解码器，其中视频与文本特征通过轻量适配器投影至共享潜在空间并融合
- 提出了包含绝对坐标损失、相对坐标损失和成对距离损失的复合训练目标，分别强制执行空间对齐、手腕相对稳定性和关节间几何一致性
Card 05
数据集与资源
数据集与资源
- 使用 EgoExo4D 数据集进行实验验证，该数据集包含同步的自我中心 RGB 视频流和校准的 3D 手部姿态标注
- 基础模型为 GR00T-N1.5-3B（参数量约 3B），并使用 EgoVideo 作为视觉编码器
- 训练采用 AdamW 优化器及余弦学习率调度，权重系数为 λ_abs=0.6, λ_rel=0.2, λ_pair=0.2
Card 06
评估与结果
评估与结果
- 在 EgoExo4D 基准上与 EgoH4、CVM、USST 等基线方法进行比较
- 使用四个标准 3D 指标评估：平均位移误差（ADE）、最终位移误差（FDE）、平均关节位置误差（MPJPE）及其最终帧变体（MPJPE-F）
- 在姿态预测任务上实现了新的最先进性能：与 EgoH4 相比，MPJPE 降低 34.5%，MPJPE-F 降低 45.4%，并在高自我运动子集上表现出更强的鲁棒性