Scaling World Model for Hierarchical Manipulation Policies

• 西安交通大学 (Xi’an Jiao Tong University)
• 北京人工智能研究院 (Beijing Academy of Artificial Intelligence)
• 清华大学 (Tsinghua University)
• 新加坡国立大学 (National University of Singapore)
• 中国科学院自动化研究所 (Institute of Automation, Chinese Academy of Sciences)

• 提出了一种名为 VISTA 的层次化视觉-语言-动作框架，旨在解决视觉-语言-动作模型在分布外（OOD）场景下泛化能力差的问题。
• 该方法利用大规模预训练的世界模型作为高层规划器，将长时程操作任务分解为包含文本子任务和视觉目标图像的序列，并由低层执行器（目标条件化VLA）依此生成精确动作。
• 核心创新是使用视觉目标图像（而非仅文本）作为任务分解的中间表示，为低层策略提供视觉和物理层面的精确约束，从而显著提升数据效率和模型在未见过的对象与场景中的鲁棒性。

• 提出了一个可扩展的数据处理流水线，将数百万条机器人轨迹自动重新标注为文本子任务与视觉目标图像交错的格式。
• 设计了一个生成式具身世界模型，能够生成物理一致和多视图一致的视觉子目标，用于指导操作任务。
• 提出了 VISTA 框架，这是一个包含生成式世界模型和目标图像条件化策略的层次化系统，在分布外场景下显著优于现有基线方法。
• 引入了一种目标条件化的视觉-语言-动作策略，能够融合当前观察、文本子任务和视觉目标图像，生成动作序列，并提出了子任务感知动作填充和随机目标图像偏移等技术以增强鲁棒性。

• 采用两层架构：高层是一个预训练的世界模型规划器，它将全局语言指令和初始观测作为输入，自回归地生成一个交错包含文本子任务和视觉目标图像的多模态序列，作为任务的分解。
• 低层是一个目标条件化VLA执行器，它将当前观测、当前子任务的文本描述及其对应的视觉目标图像作为输入，预测动作块。
• 关键技术包括：将文本和图像统一表示为离散令牌序列的自回归训练；用于融合多视图观测和目标图像的模型架构；以及增强训练鲁棒性的子任务感知动作填充和随机目标图像偏移。
• 世界模型基于开源的 EMU3.5 进行微调，目标VLA基于 π0 架构进行流匹配训练。

• 使用大规模具身操作数据集进行训练，包括 Open-X-Embodiment、AgiBot World Beta 和自有的 Mobile Aloha 数据集。
• 通过自动化流水线处理了超过 120万条轨迹，构建了包含交错文本子任务和视觉目标图像的数据集，总计 152亿个令牌。
• 还混合使用了包括 SEED-Data-Edit、WeatherStream 等在内的 150亿令牌的 Any-to-Image 通用数据以增强世界模型的生成能力。
• 在现实世界实验中，仅收集了2小时、涉及5个物体的遥操作数据来训练低层VLA策略。
• 模型训练使用了 GPU 集群。

• 评估环境：在真实机器人（Mobile Aloha）上进行多阶段拾放任务评估，重点测试在分布外场景的泛化能力，包括未见过的干扰物、目标物体、背景和桌面布局。
• 评估指标：主要使用任务成功率，并细分为接近成功率和执行成功率。
• 关键结果：

- 在仅用2小时真实数据训练的情况下，VISTA 在处理21个未见物体的新颖场景中取得了 69% 的成功率。

- 相比之下，仅使用语言指令指导的基线 π0 模型成功率仅为 14%，而使用文本子任务指导的变体 π0-subtask 也仅达到 31%。

- 世界模型生成的视觉目标图像在多视图、物理一致性和跨本体泛化方面表现出色，显著提升了低层策略的执行精度和鲁棒性。

- 结果表明，该方法在分布外场景下性能优势明显，特别是在处理未见物体时。