一眼看懂
封面预览
论文旨在解决利用大规模人类视频预训练视觉-语言-动作（VLA）模型时存在的跨实体差异问题，包括视觉表示和可执行动作的差距。
- 论文旨在解决利用大规模人类视频预训练视觉-语言-动作（VLA）模型时存在的跨实体差异问题，包括视觉表示和可执行动作的差距。
- 提出了 HARP 框架，通过学习人机对齐的视觉表示和潜在动作，为 VLA 模型提供统一的视觉和动作接口，从而有效利用人类视频数据进行策略学习。
- 核心目标是缓解人类与机器人在视觉观测和动作执行上的不一致性，使模型能够从人类演示中学习可泛化的机器人操作策略。
Card 01
研究单位
研究单位
- 清华大学交叉信息科学研究院
- 上海期智研究院
Card 02
论文概述
论文概述
- 论文旨在解决利用大规模人类视频预训练视觉-语言-动作（VLA）模型时存在的跨实体差异问题，包括视觉表示和可执行动作的差距。
- 提出了 HARP 框架，通过学习人机对齐的视觉表示和潜在动作，为 VLA 模型提供统一的视觉和动作接口，从而有效利用人类视频数据进行策略学习。
- 核心目标是缓解人类与机器人在视觉观测和动作执行上的不一致性，使模型能够从人类演示中学习可泛化的机器人操作策略。
Card 03
核心贡献
核心贡献
- 提出了一个三阶段的 HARP 框架，联合学习人机对齐的视觉表示和潜在动作，以从大规模人类视频中预训练 VLA 模型。
- 设计了一种源相对对判别性对齐损失，结合操作为中心的辅助线索，将机器人表示向人类语义空间对齐，同时保持配对样本的判别性。
- 通过特征可视化、仿真基准和真实世界实验，证明了该方法在改善人机对齐和下游策略性能方面的有效性。
Card 04
方法描述
方法描述
- HARP 采用三阶段训练流程：第一阶段联合训练机器人适配的视觉编码器和潜在动作模型；第二阶段使用对齐的表示和潜在动作标签预训练 VLA 策略；第三阶段在机器人演示数据上微调策略。
- 关键技术包括实体感知视觉编码（冻结人类侧编码器，轻量模块适配机器人侧）、自预测与交叉预测（利用配对视频进行跨实体动力学预测）和辅助线索监督（引入物体轨迹和末端执行器运动以正则化潜在动作）。
- 创新点在于将视觉对齐与潜在动作学习紧密结合，并利用有限的配对数据和大量的未配对视频作为可扩展的监督来源。
Card 05
数据集与资源
数据集与资源
- 训练数据包括人类数据集 OpenEgo、机器人数据集 Bridge-V2，以及人机配对数据集 RH20T、Human2Robot 和自采集的 Robotera Xhand 配对数据。
- 论文未明确说明模型的具体参数量规模或所用的 GPU/TPU 训练资源详情。
Card 06
评估与结果
评估与结果
- 评估环境包括仿真基准 CALVIN（ABC→D 设定）和真实世界的桌面操作任务（使用 Xarm7 机械臂和 Robotera Xhand）。
- 主要评估指标为任务成功率（%）和平均任务序列长度。
- 关键实验结果：在 CALVIN 上达到 4.481 平均长度；真实世界平均成功率达到 76.3%，相比最强基线（OpenVLA-OFT）提升了 7.1%。