一眼看懂
封面预览
论文提出了 HumanNet，这是一个规模达 100万小时 的以人为中心的视频语料库，旨在解决具身智能领域大规模、多样化且富含标注的人类活动数…
- 论文提出了 HumanNet，这是一个规模达 100万小时 的以人为中心的视频语料库，旨在解决具身智能领域大规模、多样化且富含标注的人类活动数…
- 该数据集涵盖了第一人称和第三人称视角，包含细粒度的活动、人机交互、工具使用和长视野行为，并提供交互中心标注（如字幕、运动描述、手部和身体信号）。
- 论文的核心目标是探索利用大规模人类视频数据来扩展具身基础模型，证明以人为中心的视频数据可以作为一种可扩展且具有成本效益的替代方案，弥补机器人数…
Card 01
研究单位
研究单位
- Peking University（北京大学）
Card 02
论文概述
论文概述
- 论文提出了 HumanNet，这是一个规模达 100万小时 的以人为中心的视频语料库，旨在解决具身智能领域大规模、多样化且富含标注的人类活动数据稀缺的问题。
- 该数据集涵盖了第一人称和第三人称视角，包含细粒度的活动、人机交互、工具使用和长视野行为，并提供交互中心标注（如字幕、运动描述、手部和身体信号）。
- 论文的核心目标是探索利用大规模人类视频数据来扩展具身基础模型，证明以人为中心的视频数据可以作为一种可扩展且具有成本效益的替代方案，弥补机器人数据的不足。
Card 03
核心贡献
核心贡献
- 构建了目前最大的以人为中心的视频数据集 HumanNet，包含 100万小时 视频，覆盖第一人称和第三人称视角，并按多轴分类法（视角、任务结构、环境等）进行组织。
- 提出了一套完整的数据处理流水线，涵盖数据采集、以人为中心的过滤、视点表征、分割、去重、质量控制、隐私审查以及字幕和运动标注。
- 通过受控的视觉-语言-动作（VLA）后训练实验验证了数据集的价值，结果表明 1000小时 的自我中心视频预训练效果优于 100小时 的真实机器人数据，显著缩小了与 20000小时 机器人数据基线的差距。
Card 04
方法描述
方法描述
- 数据构建分为三个阶段：数据采集、数据处理和标注。
- 数据采集 结合了关键词发现、内容搜索和检索，从视频平台、搜索引擎、开源数据集和自采集数据中汇聚视频源。
- 数据处理 包括去重、规范化、内容过滤（保留有意义的动作）、质量过滤（剔除模糊、遮挡严重的视频）、场景分割和视频剪辑。
- 标注 阶段利用 3D 手部和身体姿态检测、单目 SLAM 和运动重定向技术生成几何信息，并利用 LLM 辅助生成字幕、运动描述和活动分类。
Card 05
数据集与资源
数据集与资源
- HumanNet 数据集包含 1,000,000小时 的视频数据。
- 视角涵盖第一人称和第三人称。
- 数据包含丰富的标注：字幕、运动描述、手部和身体姿态信号、机器人就绪子集。
- 数据覆盖多种场景（室内、室外）、活动类型（操作、工具使用、运动等）和长尾交互行为。
Card 06
评估与结果
评估与结果
- 实验基于 LingBot-VLA 架构进行视觉-语言-动作后训练验证，使用验证损失作为主要评估指标。
- 下游任务包含 100 个任务，每个任务 20 个回合，共计 34 小时的机器人交互数据。
- 对比了四种配置：基础 Qwen VLM、加入 100小时 真实机器人数据的 Qwen、加入 1000小时 HumanNet 自我中心视频的 Qwen、以及经过 20000小时 真实机器人数据训练的 LingBot。
- 结果显示，使用 1000小时 HumanNet 自我中心视频初始化的模型，其表现匹配或略优于使用 100小时 真实机器人数据初始化的模型，并大幅缩小了与 20000小时 机器人数据基线的差距。