一眼看懂
封面预览
研究探讨了世界行动模型的核心问题：其性能提升主要源于训练时的视频建模，还是测试时的显式未来想象。
- 研究探讨了世界行动模型的核心问题：其性能提升主要源于训练时的视频建模，还是测试时的显式未来想象。
- 提出了 Fast-WAM 架构，在训练时保留视频协同训练，但在测试时跳过未来视频预测，直接从潜在世界表示生成动作。
- 旨在解耦训练时的视频建模目标与测试时的未来生成，以确定WAMs收益的真正来源。
Card 01
研究单位
研究单位
- IIIS, Tsinghua University
- Galaxea AI
Card 02
论文概述
论文概述
- 研究探讨了世界行动模型的核心问题：其性能提升主要源于训练时的视频建模，还是测试时的显式未来想象。
- 提出了 Fast-WAM 架构，在训练时保留视频协同训练，但在测试时跳过未来视频预测，直接从潜在世界表示生成动作。
- 旨在解耦训练时的视频建模目标与测试时的未来生成，以确定WAMs收益的真正来源。
Card 03
核心贡献
核心贡献
- 识别并研究了WAMs中的一个基本问题：其增益主要来自训练时的视频建模还是测试时的显式未来想象。
- 提出了 Fast-WAM，一种在测试时无需未来想象的WAM架构，实现了实时推理（190ms延迟）。
- 通过在共享框架下实现控制变体（如 Fast-WAM-Joint、Fast-WAM-IDM 和无视频协同训练版本），系统性解耦并对比了两个因素的影响。
- 实验证明，移除视频协同训练导致的性能下降远大于省去测试时未来想象的影响。
Card 04
方法描述
方法描述
- 基于 Wan2.2-5B 视频扩散Transformer构建世界建模骨干网络。
- 采用 Mixture-of-Transformer 架构，包含一个视频DiT和一个动作专家DiT，两者通过共享注意力连接。
- 训练时使用联合流匹配目标，同时优化动作分块生成和未来视频潜变量预测。
- 测试时仅使用第一帧的干净潜在标记，通过视频骨干网络单次前向传播获得潜在世界表示，用于动作去噪，避免了迭代式的未来视频生成。
Card 05
数据集与资源
数据集与资源
- 使用的数据集：LIBERO (模拟基准)、RoboTwin 2.0 (模拟基准)、真实世界叠毛巾任务数据集。
- 模型规模：骨干网络为5B参数的视频DiT，新增1B参数的动作专家，总参数量为 6B。
- 训练资源：使用 NVIDIA RTX 5090D V2 32GB GPU 进行训练和延迟测量。
Card 06
评估与结果
评估与结果
- 评估环境：LIBERO (4个任务套件，40个任务)、RoboTwin 2.0 (超过50个双臂操作任务)、真实世界叠毛巾任务。
- 主要评估指标：任务成功率、平均完成时间、推理延迟。
- 关键实验结果：
- 在 LIBERO 上，Fast-WAM 平均成功率达 97.6%，与预训练的WAM基线（如LingBot-VA的98.5%）有竞争力。
- 在 RoboTwin 2.0 上，Fast-WAM 平均成功率达 91.8%，超越所有无预训练基线，并与最优预训练WAM（92.2%）相当。
- 控制对比实验表明，Fast-WAM 与想象-执行变体性能接近，但移除视频协同训练会导致成功率大幅下降（例如在RoboTwin上降至83.8%）。
- 真实世界任务中，Fast-WAM 以 190ms 的延迟运行，比想象-执行变体 Fast-WAM-IDM (810ms) 快超过4倍，同时保持了有竞争力的成功率。