World Guidance: World Modeling in Condition Space for Action Generation

• ByteDance Seed
• The University of Hong Kong

• 提出了一种名为 WoG (World Guidance) 的新框架，旨在解决现有视觉-语言-动作 (VLA) 模型在利用未来观测建模来提升动作生成能力时所面临的平衡难题。
• 核心目标是找到一个既易于预测又足够信息丰富的预测空间（即条件空间），以精确指导细粒度的动作生成，避免现有方法在预测冗余的未来表征和粗粒度的潜在动作之间的两难困境。

• 提出了 WoG 框架，通过一个两阶段训练方案，将未来观测映射为动作推断流程中的紧凑条件表示，实现在条件空间中进行世界建模。
• 证明了建模和预测这个条件空间不仅能有效促进细粒度的动作生成，还展现出优越的泛化能力。
• 设计了一种可扩展的训练策略，能够有效地从大规模人类操作视频（包括带标注和不带标注的数据）以及UMI 数据集中学习未来条件。
• 在仿真和真实世界的广泛实验中，验证了 WoG 方法在多个基准任务上显著优于现有基于未来预测的方法。
• 提供了对未来编码器架构和预训练视觉编码器组合的深入消融研究，揭示了影响条件空间效率和模型性能的关键因素。

• 核心技术方法：采用两阶段课程学习。第一阶段，使用一个可训练的 Q-Former 未来编码器从冻结的预训练视觉基础模型（如 DINOv2, Wan VAE）中查询和压缩未来观测，形成条件表示，并将其注入 DiT 动作头部来指导动作预测。第二阶段，冻结未来编码器，VLM 主干被训练同时预测这些未来的条件表示和对应的动作，将未来条件知识内化到模型中。
• 创新点：该方法的核心创新在于将未来观测直接注入动作推断流程来定义和优化条件空间，而不是预测整个未来的视觉模态或学习粗粒度的潜在动作。这使得 VLA 模型能够学习到一个非冗余的、与动作高度相关的预测空间。

• 主要使用数据集：OXE 数据集（用于预训练），以及从 SIMPLER 仿真环境 和 内部收集的真实世界专家演示 中获取的任务特定数据集。
• 模型规模与参数：VLM 主干采用 Prismatic VLM（类似 OpenVLA），动作头采用 DiT 架构。未来编码器基于 Q-Former。
• 训练资源：未在提供片段中明确说明，但根据实验规模推断，应使用了多块 GPU（例如，NVIDIA RTX 4090 用于推理和控制工作站）。

• 评估环境与基准：

- 仿真：在 SIMPLER 环境中对 Google Robot 和 WidowX 机器人进行闭环评估，涵盖多种拾放、移动和操作任务。

- 真实世界：在 UR5 机器人上评估拾放 (P&P)、关闭微波炉 和 折叠毛巾 三项任务，并设置了背景变化、光照变化、新物体等分布外 (OOD) 泛化场景。

• 主要评估指标：任务成功率 (%)。
• 关键实验结果：

- 在 SIMPLER 仿真中，WoG 在绝大多数任务上显著超越了 π0、OpenVLA、UniVLA、VITA、ViPRA、DeFI 等多种基线方法。

- 在真实世界实验中，WoG 在所有三项任务上均优于 UniVLA 和 VPP。尤其在 OOD 场景下，WoG 表现出更强的泛化能力，性能下降幅度远小于基线。

- 消融实验表明，两阶段训练方案、未来编码器的使用以及整合人类视频数据都能带来显著的性能提升。例如，使用 DINOv2 + Wan VAE 编码器组合表现最佳。