一眼看懂
封面预览
论文研究 Vision-Language-Action (VLA) 模型 与 世界模型 的集成，将世界模型作为生成式模拟器用于策略优化
- 论文研究 Vision-Language-Action (VLA) 模型 与 世界模型 的集成，将世界模型作为生成式模拟器用于策略优化
- 解决现有世界模型在特定环境（如 LIBERO 基准）下泛化能力差和长期误差累积的问题
- 针对初始状态扰动（如颜色、光照变化）引发级联幻觉、导致严重模糊或过度曝光的问题，提出 Sword 框架以提升可靠性
Card 01
研究单位
研究单位
- 天津大学
- 清华大学
- JDT AI Infra
- 斯威本科技大学
Card 02
论文概述
论文概述
- 论文研究 Vision-Language-Action (VLA) 模型 与 世界模型 的集成，将世界模型作为生成式模拟器用于策略优化
- 解决现有世界模型在特定环境（如 LIBERO 基准）下泛化能力差和长期误差累积的问题
- 针对初始状态扰动（如颜色、光照变化）引发级联幻觉、导致严重模糊或过度曝光的问题，提出 Sword 框架以提升可靠性
Card 03
核心贡献
核心贡献
- 提出 Structure-Guided Style Augmentation，通过分离视觉纹理与任务相关动力学，提升模型泛化能力
- 提出 Dynamic Latent Bootstrapping (DLB)，解决训练与推理的分布不匹配问题，同时保持低内存消耗
- 在 LIBERO 基准 上对 WoVR 基线进行全面评估，证明在泛化、生成质量、鲁棒性、保真度及 VLA 策略后训练成功率上的显著优势
Card 04
方法描述
方法描述
- 使用 Cosmos-Transfer 2.5 构建风格迁移管道，引入亮度、饱和度、机械臂颜色、桌面与背景外观等多样化扰动
- 结合 几何先验（深度图） 和 任务先验（语义分割） 进行结构指导，确保风格增强过程中几何结构与交互语义的保持
- 采用 动态潜在缓存 在 VAE 潜在空间存储预测，以低内存成本实现自引导训练，逐步用模型预测替代真实历史上下文
- 骨干网络采用 Wan 2.2 TI2V，通过文本编码器注入动作序列，结合 AdaLN 和 Cross-Attention 实现条件生成
Card 05
数据集与资源
数据集与资源
- 使用 LIBERO-Spatial 数据集，包含 1,600 个回放片段，每个片段 512 帧，其中 1,500 用于训练，100 用于评估
- 骨干模型基于 Wan 2.2 TI2V，采用 DiT 架构
- 训练使用 NVIDIA A100 GPU，总计算成本约 13,000 A100 GPU 小时（约 1.5 A100 GPU 年）
Card 06
评估与结果
评估与结果
- 评估基准为 LIBERO，包括原始数据集（LIBERO-Original）和混合数据集（LIBERO-Mixed，含 OOD 样本）
- 评估指标包括：LPIPS（感知相似度）、FID（图像分布距离）、FVD（视频一致性）、FloLPIPS（视频质量）、策略成功率
- 在 OOD 条件下，Sword 在所有指标上显著优于 WoVR：在混合数据集上 FVD 降低 44%（从 198.84 到 111.19），FloLPIPS 降低 35%
- 消融实验表明，去除 DLB 后性能显著下降，证明其对长期预测质量的重要性；最佳缓存设计策略为 线性衰减 + 直接替换 + 全块写回