一眼看懂
封面预览
提出 WoVR 框架，旨在解决基于世界模型（World Model）进行视觉-语言-动作（VLA）策略后训练强化学习（RL）时，闭环想象中存在…
- 提出 WoVR 框架，旨在解决基于世界模型（World Model）进行视觉-语言-动作（VLA）策略后训练强化学习（RL）时，闭环想象中存在…
- 核心目标是：不将世界模型视为完美模拟器，而是通过设计可控的模拟器、可靠的交互协议和策略-模型协同演化，在存在不完美想象动力学的情况下实现可靠的…
- 识别并形式化了基于世界模型的强化学习中，由于闭环想象交互中自回归误差累积和政策诱导分布偏移导致的 幻觉 问题。
Card 01
研究单位
研究单位
- Tsinghua University
- Institute of Automation, Chinese Academy of Sciences
- University of Chinese Academy of Sciences
- Zhongguancun Academy
- Infinigence AI
Card 02
论文概述
论文概述
- 提出 WoVR 框架，旨在解决基于世界模型（World Model）进行视觉-语言-动作（VLA）策略后训练强化学习（RL）时，闭环想象中存在的 幻觉（Hallucination） 问题。
- 核心目标是：不将世界模型视为完美模拟器，而是通过设计可控的模拟器、可靠的交互协议和策略-模型协同演化，在存在不完美想象动力学的情况下实现可靠的策略优化。
Card 03
核心贡献
核心贡献
- 识别并形式化了基于世界模型的强化学习中，由于闭环想象交互中自回归误差累积和政策诱导分布偏移导致的 幻觉 问题。
- 提出了一个系统性的幻觉感知强化学习框架 WoVR，该框架集成了稳定的动作条件化世界模型、关键帧初始化推理（KIR）和策略对齐协同演化（PACE）。
- 在 LIBERO 基准测试和真实机器人（Franka Panda）操控任务上进行了广泛实验，证明了方法的有效性，显著提升了任务成功率。
Card 04
方法描述
方法描述
- 核心方法是 WoVR 框架，从三个层面调控幻觉的可靠性：可控模拟器设计、可靠想象交互、策略-模型对齐。
- 稳定动作条件化世界模型：基于 Wan2.2-TI2V-5B 视频扩散主干，通过双通道动作注入和首帧锚定（first-frame anchoring） 实现稳定、可控的长期推演生成。
- 关键帧初始化推理（KIR）：在任务关键状态（尤其是失败状态）附近初始化推演，有效缩短预测深度，减少误差累积。
- 策略对齐协同演化（PACE）：在策略优化过程中，通过收集少量策略新数据，低频率地协同演化世界模型，以减轻策略分布偏移带来的不匹配。
Card 05
数据集与资源
数据集与资源
- 主要使用 LIBERO 基准测试环境的数据集。
- 世界模型基于 Wan2.2-TI2V-5B 视频扩散模型（约 50亿参数）进行改造和训练。
- 训练和实验使用了 8块 NVIDIA H100 GPU。
Card 06
评估与结果
评估与结果
- 世界模型质量评估：在 LIBERO 数据集上，评估了 LPIPS、FID、FVD、FloLPIPS 等指标和推理速度（FPS）。WoVR 在所有指标和不同推演长度（128/256/512）上均优于 EVAC、Cosmos-Predict2 和 OpenSora（WMPO使用） 等基线，且达到 23 FPS 的高效推演速度。
- 策略性能评估：在 LIBERO 的 Spatial、Object、Goal、Long 四个任务套件上，与基线（OpenVLA-OFT-base, GRPO(Online), WMPO）比较成功率（SR）。WoVR 将平均成功率从 39.95% 提升至 69.2%（+29.3），显著超越所有基线。
- 真实世界迁移评估：在 Franka Panda 机器人上执行“Pick Banana”和“Pick Bread”任务。WoVR 将平均成功率从 61.7% 提升至 91.7%（+30.0），验证了方法在真实世界的可靠迁移。