Joint-Aligned Latent Action: Towards Scalable VLA Pretraining in the Wild

• 北京大学 (Peking University)
• 中国人民大学 (Renmin University of China)
• BeingBeyond

• 提出了一种名为 JALA (Joint-Aligned Latent Actions) 的新型预训练框架，旨在解决从混合（标注与未标注）人类操作视频中学习的大规模 视觉-语言-动作模型 预训练的难题。
• 该方法的核心是绕过复杂的视频动态重建，转而学习一个与逆动力学和真实动作都对齐的预测性动作嵌入，从而构建一个统一的、对状态转移敏感的动作潜在空间。
• 论文解决的关键问题是：如何有效结合高精度、小规模的实验室标注数据与高多样性、大规模的野外无标注视频，以实现可扩展的VLA预训练。

• 提出了联合对齐的潜在动作新范式，通过对齐VLA产生的预测性嵌入与逆动力学模型提取的潜在动作，实现从标注和未标注人类视频的统一学习。
• 构建并发布了 UniHand-Mix，一个包含 7.5M 个样本、超过 2000小时 视频的混合人类操作数据集，统一了实验室标注数据和野外视频数据。
• 设计了一套完整的两阶段训练方法：第一阶段（预训练）使用混合损失在UniHand-Mix上进行；第二阶段（后训练）使用流匹配头将预训练的知识迁移到机器人任务中。
• 引入了联合感知器与解耦更新机制（包括Latent Action Perceiver - LAP 和 Latent State Perceiver - LSP），通过非对称EMA更新稳定训练，确保潜在动作同时具有可预测性和动作信息。
• 在多个任务（手部运动生成、模拟机器人操控、真实机器人操控）上进行了综合评估，证明了 JALA 在相同规模模型中实现了优异的性能，尤其在野外场景泛化和下游任务迁移上表现出色。

• 核心方法是在Transformer-based的VLA中，将中间层隐藏状态作为预测性嵌入，与由潜在动作感知器从视频片段边界帧推断出的潜在动作进行联合对齐（L1损失）。
• 对于有标注数据，还使用掩码分块预测 任务来学习手部运动。
• 关键技术包括：联合感知器（LAP和LSP，结构共享、权重解耦更新）、混合掩码方案、两阶段训练（预训练+基于流匹配的微调）。
• 创新点在于摒弃了传统基于重建的潜在动作提取管道（如LAPA），转而采用对齐方法，使潜在动作空间既对上下文的预测敏感，又对视觉动态进行编码，从而能高效利用混合数据。

• 主要数据集：UniHand-Mix（7.5M 样本， >2,000 小时视频），包含两个子集：实验室标注子集（5M+ 样本， 1000小时， 带精确手部追踪和动作标注）和野外子集（2.5M 样本， 约1123小时Ego4D视频， 仅部分有伪手部姿态标注）。
• 模型规模：基于 InternVL3-2B 作为视觉-语言主干模型，潜在外观器为2层结构。
• 训练资源：预训练在 8 块 NVIDIA A800 (80GB) GPU上进行，耗时约 68 小时。后训练在不同任务上使用相同配置进行 8-16 小时 的微调。

• 评估环境与基准：

- 手部运动生成：在UniHand-Mix的实验室分割和野外分割上进行评估。

- 模拟机器人操作：在 LIBERO、RoboCasa、GR1 Tabletop 等标准模拟基准上评估。

- 真实世界机器人实验：在 Franka Emika Panda 机器人上进行评估。

• 主要评估指标：

- 手部运动生成：MPJPE、PA-MPJPE、MWTE、MDE。

- 机器人任务：任务成功率。

• 关键实验结果：

- JALA 在手部运动生成任务中，在 野外分割 上显著优于 Being-H0 等基线模型，例如 JALA-dino 的 MPJPE 从基线 ~16.91 提升至 11.02，显示了强大的野外泛化能力。

- 在 LIBERO（双视图）基准上， JALA-dino 实现了 96.6% 的平均成功率，超越了相同规模或相近的模型（如GR00T-N1.5: 93.9%， UniVLA: 95.5%， π0: 94.2%）。

- 在更具挑战性的 LIBERO 单视图 设置下，JALA的优势更加明显，展示了更强的视觉抽象能力。

- 消融实验证实了联合对齐、解耦EMA更新以及使用混合数据集的必要性和有效性。