JEPA-VLA: Video Predictive Embedding is Needed for VLA Models

• 论文作者未在提供的 HTML 片段中明确列出其所属机构。

• 论文指出，当前基于预训练视觉-语言模型构建的视觉-语言-动作模型存在样本效率低和泛化能力有限的问题，根源在于其视觉表征的不足。
• 论文旨在解决VLA模型对机器人控制至关重要的两种视觉知识（环境理解和策略先验）获取不充分的问题。
• 通过系统分析，论文发现视频预测嵌入（特别是V-JEPA 2）能有效弥补现有图像预训练表征的缺陷，并据此提出了JEPA-VLA集成框架。

• 识别并形式化了VLA模型所需的两项关键视觉知识：环境理解（捕捉任务相关状态、忽略无关干扰）和策略先验（编码成功任务执行下的环境演变规律）。
• 通过实验分析证明，基于视频的预测性表征V-JEPA 2在捕捉任务相关状态和策略先验方面，显著优于基于图像的DINOv2和基于语言-图像的SigLIP等常用静态视觉表征。
• 提出了JEPA-VLA，一种简单有效的通用框架，可将视频预测嵌入自适应地集成到现有VLA中。
• 在多个基准测试（LIBERO、LIBERO-plus、RoboTwin2.0、真实机器人任务）上验证了JEPA-VLA能带来显著的性能提升，尤其在样本效率和泛化性方面。

• 核心方法是集成预训练好的V-JEPA 2视觉编码器，为现有VLA模型提供补充的预测性视觉表征。
• 提出了两种融合策略：早期融合（将V-JEPA 2表征作为额外输入token拼接）适用于从头训练的VLA；门控融合（引入门控交叉注意力层）适用于已在大规模机器人数据上预训练的VLA，以最小化对已有知识的干扰。
• 创新点在于利用V-JEPA 2的联合嵌入预测架构，该架构通过预测视频中被遮蔽的块，学习了强调可预测、任务相关因素，同时抑制不可预测干扰的表示，从而自然地编码了环境动态和时序规律。

• 使用的分析/评测数据集包括：LIBERO、LIBERO-plus、RoboTwin2.0、CortexBench（包含MetaWorld和DMControl任务）以及一个真实世界的拾取放置任务。
• 使用了预训练的V-JEPA 2模型（基于ViT架构）作为视觉编码器，其参数被冻结。
• 训练资源细节在提供的片段中未明确说明，但提到了因计算资源有限而调整了批量大小（如LIBERO上使用批量大小16，RoboTwin2.0上使用8）。

• 评估环境：在多个模拟仿真基准和真实机器人任务上进行评估。
• 主要评估指标：任务成功率、平均成功率、DMControl中的回合奖励。
• 关键实验结果：

- 在LIBERO基准上，JEPA-VLA使基础VLA平均成功率提升7.4%，使主流VLA（OpenVLA-OFT）平均成功率提升6.1%，甚至超过官方报告结果。

- 在LIBERO-plus基准（测试泛化性）上，JEPA-VLA仅用1/10的数据，其性能就超过了使用完整数据训练的WorldVLA基线模型。

- 在RoboTwin2.0基准上，在干净和域随机化设置下，平均成功率分别提升18.7%和8.4%。

- 在真实世界任务中，JEPA-VLA使用仅1/5的训练轨迹，成功率（60%）即超过使用全部数据的基线（50%）；使用全数据时达到80%成功率。

- 在更广泛的CortexBench评估中，V-JEPA 2表征在大多数任务上超越了先前表现最佳的预训练视觉表征VC-1。