VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model

• 中国科学技术大学
• 北京中关村科学院
• 上海交通大学
• 清华大学
• 宁波东方理工学院
• 中国科学院大学
• 南开大学

• 提出 VLA-JEPA 框架，旨在解决现有视觉-语言-动作模型在利用无标注视频进行潜在动作预训练时存在的缺陷。
• 核心问题是：传统的基于像素或帧差分的潜在动作学习目标容易学习到外观变化、相机运动等与动作无关的噪声，而非与可控状态转移相关的语义信息。
• 论文目标是设计一种无信息泄漏的潜在状态预测方法，学习对控制鲁棒且具有语义抽象能力的动作相关状态转移动态。

• 深入分析了现有潜在动作预训练的缺陷，包括对像素变化的偏见、对真实世界视频中冗余运动的敏感性、因未来信息泄露导致的潜在动作语义空洞以及多阶段训练流程的复杂性。
• 提出了VLA-JEPA框架：一种基于联合嵌入预测架构 的预训练方法，通过预测并对齐未来潜在状态来学习动作相关的转移语义，避免了像素重建和信息泄露，简化了训练流程。
• 实现了显著提升的泛化性、鲁棒性和更简化的流程：在多个仿真和真实世界基准测试中，VLA-JEPA取得了优于现有方法的性能，同时将复杂的多阶段流程简化为两阶段（JEPA预训练 + 动作头微调）。

• 核心架构基于Qwen3-VL大型视觉语言模型，并引入可学习的潜在动作和状态令牌。
• 关键技术是 “无泄漏状态预测”：一个冻结的V-JEPA2编码器将未来帧编码为潜在状态作为监督目标，而学生路径（VLM主干）仅观察当前时刻信息。一个世界模型根据历史状态和预测的潜在动作来预测未来潜在状态，并通过JEPA对齐损失进行训练，确保未来信息永远不会泄漏到预测器的输入中。
• 使用条件流匹配作为动作头，以学习到的潜在动作表示为条件生成连续的动作轨迹。
• 支持在无动作标注的人体视频和带动作标签的机器人数据上进行统一联合训练，损失函数结合了世界建模损失和流匹配损失。

• 预训练数据集：使用了大规模人体动作视频数据集Something-Something-v2（22万个视频）和机器人数据集Droid（7.6万条高质量演示轨迹）。
• 微调数据集：使用了LIBERO、SimplerEnv（Fractal和BridgeV2数据集）以及一个包含100条演示轨迹的自收集真实世界数据集。
• 模型规模：核心VLM主干采用Qwen3-VL（基于SigLIP-2视觉编码器和Qwen3语言模型），参数量未在提供片段中明确说明，但属于大规模VLM。
• 训练资源：所有实验在8块NVIDIA A100 GPU上进行。

• 评估基准：在LIBERO、LIBERO-Plus、SimplerEnv（Google Robot和WidowX Robot）三个仿真基准以及真实世界Franka机械臂任务上进行评估。
• 评估指标：主要使用任务成功率作为评估指标。
• 关键结果：

- 在LIBERO上，VLA-JEPA在四个任务组中的两个上达到最优，并取得最高的平均成功率（97.2%）。

- 在SimplerEnv上，VLA-JEPA在Google Robot和WidowX Robot上的多个任务中表现优异，在Google Robot上平均成功率最高（65.2%）。

- 在LIBERO-Plus（鲁棒性基准）上，VLA-JEPA在七个扰动维度中的五个上表现最佳，平均成功率（79.5%）显著领先于其他基线方法。

- 真实世界实验表明，VLA-JEPA在分布内和物体布局分布外设置下均优于基准模型，执行轨迹更稳定，并展现了从人体视频中学习到的“重复抓取”技能。

- 消融研究表明，尽管在仿真基准上移除人体视频预训练影响不大，但它对于提升在LIBERO-Plus上的鲁棒性至关重要，且随着人体视频数据比例增加，模型鲁棒性持续提升。