一眼看懂
封面预览
提出 RAW-Dream，一种在任务无关世界模型中强化视觉-语言-行动（VLA）模型的新范式
- 提出 RAW-Dream，一种在任务无关世界模型中强化视觉-语言-行动（VLA）模型的新范式
- 核心目标是解决现有方法依赖任务特定数据来训练世界模型和奖励模型的瓶颈，实现零样本任务适应
- 通过任务无关的世界模型和现成的视觉-语言模型奖励，使 VLA 能够完全在想象中进行强化学习微调
Card 01
研究单位
研究单位
- Microsoft Research Asia
- Nanjing University
- University of Illinois at Urbana-Champaign
- Wuhan University
- University of Technology Sydney
- Tsinghua University
Card 02
论文概述
论文概述
- 提出 RAW-Dream，一种在任务无关世界模型中强化视觉-语言-行动（VLA）模型的新范式
- 核心目标是解决现有方法依赖任务特定数据来训练世界模型和奖励模型的瓶颈，实现零样本任务适应
- 通过任务无关的世界模型和现成的视觉-语言模型奖励，使 VLA 能够完全在想象中进行强化学习微调
Card 03
核心贡献
核心贡献
- 提出将世界模型学习与下游任务依赖解耦的任务无关范式，世界模型在无特定任务的行为数据上预训练
- 引入 双噪声验证（DNV）机制，通过在重新采样的扩散噪声下重放轨迹并要求奖励一致，过滤世界模型的幻觉和不可靠推演
- 使用现成的视觉-语言模型（如 Qwen3-VL）提供零样本奖励信号，替代需要任务数据微调的奖励模型
- 在仿真基准和真实机器人实验中验证，表明该方法能以极少任务数据实现显著性能提升
Card 04
方法描述
方法描述
- 世界模型基于 Wan 2.1-T2V-1.3B Diffusion Transformer，通过自适应层归一化注入动作条件
- 训练使用统一流匹配目标，采用自回归长视野推演，结合首帧锚定和渐进锚定噪声缓解“首帧幽灵”问题
- 策略优化使用 GRPO（Group Relative Policy Optimization），由零样本 VLM 的二元成功奖励引导
- DNV 通过重放动作序列并检查奖励一致性，丢弃不一致的推演以抑制假阳性奖励攻击
Card 05
数据集与资源
数据集与资源
- 仿真实验使用 LIBERO benchmark 的 LIBERO-90 数据构建通用世界模型，在四个未见任务套件评估
- 真实世界实验使用 Open X-Embodiment datasets 预训练，后用约 4 小时未标注的遥操作 play 数据微调世界模型
- 世界模型基于 Wan 2.1-T2V-1.3B Diffusion Transformer，策略采用 OpenVLA-OFT
- 奖励模型使用冻结的 Qwen3-VL
Card 06
评估与结果
评估与结果
- 仿真评估在 LIBERO 的四个未见任务套件进行，使用 PSNR、SSIM、LPIPS、FVD 评估世界模型质量
- 策略评估使用每任务 50 次执行的成功率
- 在仿真中，RAW-Dream 将 1-shot SFT 基线平均成功率提升 +8.9%，并超越使用 50 倍真实数据的在线 RL
- 在真实机器人实验中，从 3-shot SFT 基线开始，RAW-Dream 实现绝对成功率提升 +21.7%（从 50.0% 到 71.7%）
- 消融实验表明零样本 VLM 奖励优于少样本微调奖励模型，DNV 显著提升长视野任务的稳定性