World2Act: Latent Action Post-Training via Skill-Compositional World Models

• MBZUAI (Mohamed bin Zayed University of Artificial Intelligence), 阿联酋
• 作者：An Dinh Vuong, Tuan Van Vo, Abdullah Sohail, Haoran Ding, Liang Ma, Xiaodan Liang, Anqing Duan, Ivan Laptev, Ian Reid

• 提出 World2Act，一种将世界模型（World Models）的动态先验迁移到视觉语言动作（VLA）策略的后训练框架，解决现有方法依赖像素空间监督导致的策略对像素级伪影和幻觉敏感的问题
• 针对任意长度视频生成难题（机器人事执行时长差异大，而视频扩散模型通常在固定长度片段上训练），提出基于 LLM 的自动技能分解管道，将高级指令分割为低级别子目标
• 在 RoboCasa 和 LIBERO 基准测试上对 GR00T-N1.6 和 Cosmos Policy 等 VLA 进行后训练，显著提升成功率和泛化能力

• 提出 World2Act，通过对比匹配目标将 WM 视频潜在动态与 VLA 动作空间对齐，减少对像素的依赖
• 构建自动技能级分割和对齐管道，发布 RoboCasa-Skill 和 LIBERO-Skill 数据集，训练生成式 WM 时降低任务时长方差
• 引入 技能组合世界模型（Skill-Compositional WM） 框架，通过将全局多步指令分解为低级别子目标并自回归生成短片段，实现任意长度 rollout
• 在模拟和真实机器人基准测试中，World2Act 相对于 prior WM-based 策略和后训练基线取得显著改进，真实世界性能提升 6.7%

• 两阶段方法：

- 阶段1：视频动态与机器人动作对齐：训练视频适配器（CNN-based）和动作适配器（MLP-based），使用重建损失和双向 InfoNCE 对比损失，将两种模态投影到共享潜在空间

- 阶段2：潜在动作后训练：冻结基础 VLA，学习由 WM 诱导的潜在动态引导的残差策略，通过对比损失将策略的动作潜在向 WM 的视频潜在对齐

• 关键创新：使用潜在空间对齐而非像素级监督，使方法对 WM 生成的视觉缺陷具有鲁棒性

• 数据集：RoboCasa-Skill 和 LIBERO-Skill（技能分解后的原子技能数据集）
• 世界模型骨干：Cosmos-Predict2（经评估选定的视频扩散骨干）
• 基础 VLA 模型：GR00T-N1.6 和 Cosmos Policy
• 训练资源：8 AMD Instinct MI210 GPU（48GB）用于 WM 微调；后训练使用 NVIDIA RTX 4090（24GB）
• 后训练合成轨迹：每个模拟器 1000 条轨迹

• 基准测试：RoboCasa（24 个任务）和 LIBERO（空间、对象、目标、长时间跨度技能）
• 主要结果：

- RoboCasa：GR00T-N1.6-ft + World2Act 达到 72.6% 成功率（对比 DreamGen 的 70.5%）

- LIBERO：World2Act 将 GR00T-N1.6-ft 从 97.0% 提升至 98.1%，而 DreamGen 下降至 92.6%

• 缩放性：增加后训练轨迹数量时，World2Act 性能单调提升，而 DreamGen 不稳定
• 跨任务泛化：在 12 个未见任务上，GR00T-N1.6-base 提升 3.3%，Cosmos Policy 提升 1.6%
• 真实机器人实验：在 Franka Research 3 机械臂上，三个任务平均提升 6.67% 成功率