LAP: Language-Action Pre-Training Enables Zero-shot Cross-Embodiment Transfer

• 普林斯顿大学
• Physical Intelligence

• 提出语言-动作预训练（Language-Action Pre-training, LAP）方法，通过用自然语言描述机器人底层动作（语言-动作）来训练视觉-语言-动作模型（VLA），旨在解决VLA的零样本跨具身（Cross-Embodiment）迁移难题。
• 目标是使训练好的VLA策略能够零样本（无需微调） 部署到未见过的、物理形态（如机械臂、夹具、摄像头配置）不同的机器人上，从而降低新机器人的部署成本。

• 提出了 LAP预训练方案，将低层机器人动作表示为结构化自然语言，让视觉语言模型（VLM）在语言建模中学习动作预测，缓解了传统VLA训练中的分布不匹配问题。
• 基于LAP方案，构建并开源了 LAP-3B模型，这是首个在真实机器人上实现实质性零样本跨具身迁移的VLA，在多个未见机器人上平均成功率超过50%，相比之前最好的VLA提升约2倍。
• 展示了LAP方案能实现高效微调，在新机器人或新任务上只需更少的数据和训练步数即可达到高性能，并且支持与视觉问答（VQA）任务协同训练以获得进一步提升。
• 深入分析了LAP方案如何学习到更具迁移性的表征，并通过实验证实了其稳定的训练动态和有利的模型规模扩展性。
• 开源了代码、检查点和数据配置，为相关研究提供了重要资源。

• 核心思想：将机器人末端执行器的连续动作（平移、旋转）通过固定的坐标约定和模板，自动解析为结构化自然语言描述（例如 “move left 5 cm”），然后使用标准的条件语言建模目标训练VLM骨干网络。
• 模型架构：采用混合专家（Mixture-of-Transformers） 架构，将LAP训练的VLM骨干与一个轻量级的基于流匹配（Flow Matching）的动作专家结合，实现高效推理（25Hz）。训练时，VLM通过交叉熵损失预测语言-动作，动作专家通过流匹配损失预测连续动作块，并使用知识隔离技术阻止动作专家的梯度回传到VLM，保护其预训练知识。

• 使用的主要数据集：Open X-Embodiment (OXE) 和 MolmoAct。
• 模型规模与参数：主要模型 LAP-3B 的骨干网络为 PaliGemma-3B，总参数量约30亿。论文还探索了使用Gemma3骨干的 4B、12B、27B 版本。
• 训练资源：使用 64个TPU v6e芯片进行训练，全局批大小为 2048，训练约 15k步（约10个时钟小时）。

• 评估环境：在四个真实机器人平台（DROID（训练可见）、Custom Franka、YAM、Kinova（未见））和六个不同难度的真实世界操作任务（Pick and Place, Sort, Tissue, Put Towel, Pour）上评估零样本性能。同时在LIBERO仿真基准上进行微调效率评估。
• 主要评估指标：任务成功率（二元评估），使用具有统计意义的95%置信区间。
• 关键实验结果：

- 零样本跨具身迁移：LAP-3B在三个未见机器人上实现了 >50% 的平均成功率，显著优于所有基线模型（包括π0.5-DROID, X-VLA, OpenVLA等），后者在未见机器人上接近零成功率。

- 微调效率：在LIBERO基准上，LAP-3B仅需1个epoch就达到78%成功率，6个epoch达96.8%，收敛速度快于基线。在真实机器人上，达到相同性能所需演示数据量减少约 2.5倍。

- 表征分析：t-SNE可视化表明LAP-3B学习到的特征在训练和未见机器人具身之间重叠度高，表明学到了更通用的表征。

- 协同训练：结合“运动预测”VQA任务进行协同训练，进一步提升了跨具身性能和微调收敛速度。

- 模型缩放：随着模型规模增大（4B到27B），LAP方案的验证损失持续下降，而基线方法（π0.5-replicated）则出现饱和甚至退化，表明LAP方案具有良好的可扩展性。