VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model

• The Robotics and AI Institute (根据致谢部分推断)
• 受ONR资助 (N00014-22-1-2621)

• 提出 VLAW (Vision-Language-Action-World) 框架，通过迭代的协同改进机制，提升 视觉-语言-动作 (VLA) 策略和 世界模型 (World Model) 的性能。
• 旨在解决在真实机器人上收集在线交互数据成本高昂的问题，通过基于世界模型生成大量合成轨迹数据来扩展训练样本，以进行策略优化。
• 核心思想是：利用有限的真实世界策略轨迹数据来“接地”（提升保真度）预训练的世界模型，然后用改进后的世界模型生成大规模的合成数据来迭代改进VLA策略。

• 提出了一种简单、可扩展的迭代框架（VLAW），利用世界模型生成的数据来改进最先进的VLA模型，在真实机器人上验证了其有效性。
• 证明了利用策略在线交互数据（包含成功和失败案例）微调世界模型，可以显著提升其在复杂接触式、变形物体任务上的物理仿真保真度。
• 展示了改进后的世界模型生成的大规模合成数据可以有效地用于VLA策略的后训练，在多个下游任务上实现了显著的性能提升（39.2% 绝对成功率提升）。
• 提出并验证了使用视觉-语言奖励模型（基于Qwen3-VL微调）来自动标注合成轨迹的成功/失败，从而筛选出高质量数据用于策略学习。
• 将提出的策略更新方法形式化为一种正则化强化学习框架的近似，提供了理论解释。

• 核心技术方法：一种迭代的协同优化算法。每个迭代包含四个步骤：1) 在真实世界中进行策略部署收集在线轨迹；2) 用这些真实轨迹数据（结合原始的 DROID 数据集进行正则化）微调预训练的动作条件世界模型（Ctrl-World）；3) 用更新后的世界模型进行闭环仿真，生成大量合成轨迹，并用奖励模型进行自动标注和筛选；4) 使用过滤后的成功轨迹（包含真实的和合成的）通过流匹配 (Flow-Matching) 目标对VLA策略（π0.5）进行监督微调。
• 创新点和关键技术：将世界模型的微调与VLA策略的改进迭代耦合，利用在线数据提升世界模型在策略状态-动作分布上的保真度，再利用高质量合成数据弥补真实交互数据的稀缺性。避免了复杂、不稳定的强化学习算法（如策略梯度），仅使用稳定的监督学习目标。

• 数据集：DROID 数据集（用于世界模型的预训练和正则化），以及在实验中收集的真实机器人策略轨迹数据（每个任务类别每次迭代收集50条轨迹）。
• 模型规模：

- 基础VLA策略：π0.5 (参数量不详，为基础VLA模型)

- 基础世界模型：Ctrl-World (基于视频扩散模型)

- 奖励模型：微调自 Qwen3-VL-4B-Instruct (40亿参数)

• 训练资源：文中未明确指定，但实验在真实DROID机器人平台（Franka Panda机械臂）上进行。

• 评估环境：在真实DROID机器人平台上，测试了五个具有挑战性的接触式操作任务类别（堆叠积木、打开书本、擦拭白板、用勺盛物、在白板上画圆）。
• 主要评估指标：任务成功率。
• 关键实验结果：

- 世界模型保真度：微调后的世界模型在视频质量指标（PSNR, SSIM, LPIPS, FID, FVD）和交互事件预测（降低假阳性FP）上均优于仅用专家数据微调或未经微调的基线。

- 策略性能提升：经过两轮迭代，VLAW方法相比基础策略（经过少量专家演示微调后）实现了39.2% 的绝对成功率提升。与基线（仅用真实成功轨迹的过滤行为克隆，以及DSRL方法）相比，VLAW在每个任务上都取得了更高的成功率。

- 合成数据有效性：仅使用世界模型生成的合成数据改进策略，相比只使用真实数据训练的策略带来了11.6% 的额外提升。消融实验表明，减少合成数据量或移除真实成功轨迹都会导致性能下降。