Universal Pose Pretraining for Generalizable Vision-Language-Action Policies

• Tencent Robotics X
• The Hong Kong University of Science and Technology
• Fudan University

• 提出了一种名为 Pose-VLA 的解耦学习范式，用于构建可泛化的视觉-语言-动作模型。
• 旨在解决现有 VLA 模型因感知与稀疏动作监督纠缠而导致的特征崩溃和训练效率低下问题，并缓解视觉-语言模型在高层语义识别和机器人任务所需细粒度三维状态感知之间的错位。
• 核心思想是通过统一的姿态表示（姿态令牌）和两阶段训练，分离空间先验学习与具身对齐。

• 提出了一个将RGB图像、深度图和相机内参（射线图）统一整合的VLM框架，以注入内在的3D感知，促进视觉-语言知识向机器人控制的有效迁移。
• 引入了离散姿态令牌作为一种通用接口，在统一的相机中心观测空间中，用于对齐和吸收来自异构非机器人3D数据和专用机器人演示的空间先验。
• 构建了一个综合的预训练语料库，包含140万张图像和650万个3D标注用于空间感知，以及约155万条机器人轨迹用于运动对齐。
• 实验证明，Pose-VLA 在 RoboTwin 2.0 上达到79.5%的平均成功率（SOTA），在 LIBERO 上达到96.0%的竞争性性能，并在真实世界任务中仅需每个任务100个演示就能实现强大的泛化能力。

• 基于 PaliGemma 架构，采用解耦的两阶段训练策略：1）预训练阶段：在统一的相机中心空间中，利用大规模3D数据集（目标检测、6D姿态估计）和机器人轨迹数据，通过下一个令牌预测损失提取通用3D空间先验。2）后训练阶段：附加一个轻量级动作专家模块（使用流匹配目标）进行具身对齐，将预训练表示映射到机器人特定命令。
• 关键创新在于离散姿态令牌（, , , ）作为通用表示，统一了物体和末端执行器的3D状态与运动轨迹。同时整合了相机射线编码和深度先验作为附加空间信息，采用模态掩码策略确保推理时对不同传感器输入的鲁棒性。

• 空间感知预训练数据集：总计约 140万张图像，包含 650万个3D标注，来自 Omni3D、Omni6DPose 和 BOP Challenge 等多个数据集。
• 机器人轨迹预训练数据集：约 155万条轨迹，来自 AgibotWorld Beta（真实机器人，100万台）和 InternData-A1（仿真，多平台）。
• 模型规模：基于3B参数的 PaliGemma 模型。
• 训练资源：在 16 块 NVIDIA H20 GPU 上进行训练，使用 bfloat16 精度。

• 评估环境与基准：

- 3D空间感知基准：在 Omni3D 的 SUN-RGBD 和 Objectron 子集上评估。

- 仿真基准：在 RoboTwin 2.0 和 LIBERO 四个任务套件上进行评估。

- 真实世界实验：在包含刚性、关节式和可变形物体的多样化任务上评估。

• 主要评估指标：

- 3D感知：采用 mAP@0.15（AP15）。

- 机器人任务：平均成功率。

• 关键实验结果：

- 3D感知：在 Objectron 数据集上达到 87.3 AP15，显著超越 Qwen3-VL、Seed1.5-VL 等基线模型。

- RoboTwin 2.0：在 Hard 设置下平均成功率达 79.1%，超越 π₀（65.1%）和 PaliGemma_expert（33.4%）基线。

- LIBERO：平均成功率达 96.0%，与最先进的 π₀.₅（96.8%）性能相当，展现出强大的跨任务泛化能力。

- 真实世界：单一多任务模型仅需每个任务100个演示，就能在多样化物体上实现鲁棒泛化。