World Action Models are Zero-shot Policies

• NVIDIA

• 论文提出 DreamZero，一种基于预训练视频扩散主干构建的 世界行动模型 (World Action Model, WAM)，通过联合预测未来视频和动作来学习物理动力学。
• 核心目标是解决现有 视觉-语言-行动模型 (Vision-Language-Action Models, VLAs) 在泛化到未见过的物理运动和技能方面的不足，特别是针对新环境、新任务和新机器人的泛化能力。

• 提出 DreamZero，一个 14B 参数的 WAM，通过联合视频和动作预测，能够从多样、非重复的机器人数据中进行有效学习。
• 在真实机器人实验中，相比于最先进的 VLAs，在新任务和环境上的零样本泛化能力提升超过2倍。
• 通过模型和系统优化，实现了 38倍推理加速，使 14B 自回归视频扩散模型能够以 7Hz 的频率进行实时闭环控制。
• 展示了跨具身 (cross-embodiment) 迁移能力：仅使用来自其他机器人（20分钟）或人类（12分钟）的仅视频演示，即可在未见任务上实现超过42%的相对性能提升；并且展示了少量样本的具身适应 (few-shot embodiment adaptation)，仅用30分钟的玩耍数据就能适应新的机器人，同时保持零样本泛化能力。
• 开源了模型权重、推理代码，以及用于运行公开的真实世界（RoboArena）和模拟基准（PolaRiS 和 Genie Sim 3.0）的代码。

• 模型基于预训练的图像到视频扩散模型（Wan2.1-I2V-14B-480P）构建，添加了状态编码器、动作编码器和解码器，以联合去噪视频和动作潜在表示。
• 采用自回归、分块的流匹配 (flow matching) 训练目标，确保视频和动作模态的紧密对齐。通过 KV 缓存和异步闭环执行（用真实观测替换生成的帧）来实现高效推理，防止误差累积。
• 关键创新点包括：1) DreamZero-Flash：通过解耦视频和动作的去噪时间表，允许模型从有噪声的视觉上下文中预测干净的动作，实现极少的去噪步骤（如单步）而性能损失很小；2) 一系列系统级、实现级和模型级优化（如 CFG 并行、DiT 缓存、编译优化、量化等）以实现实时控制。

• 使用自收集的约500小时 AgiBot G1 移动双臂机器人遥操作数据，覆盖22个独特环境，强调任务的多样性和实用性而非重复。
• 使用公开的 DROID 数据集验证模型在 Franka 单臂机器人上的表现。
• 模型规模为 14B 参数（基于 Wan2.1-I2V-14B-480P 主干）。
• 训练资源使用了 GPU 进行大规模训练（具体型号和数量未在摘要中明确提及，但涉及批量大小为128的训练）。

• 评估环境与基准：在 AgiBot G1 和 Franka (DROID) 上，针对未见过的环境和物体进行评估，包括已见任务（来自训练分布）和未见任务（新动词/技能）。
• 主要评估指标：平均任务进度 (Average Task Progress)。
• 关键实验结果：

- 已见任务：DreamZero 平均任务进度达到 62.2%，显著优于预训练的 VLA 基线（27.4%）和从头训练的 VLA 基线（接近0%）。

- 未见任务：DreamZero 平均任务进度达到 39.5%（AgiBot），优于预训练的 VLA 基线（16.3%）；在 DROID 上达到 49% 的任务进度，优于其他基线。

- 后训练微调：在特定任务数据上微调后，DreamZero 保持或优于 VLA 基线。

- 跨具身视频迁移：加入少量（10-20分钟）来自其他机器人或人类的仅视频数据，使 DreamZero 在未见任务上的性能提升到 ~55%。

- 推理速度：通过优化，将每动作块的推理时间从 5.7秒降低至150毫秒，支持 7Hz 的实时控制。