RISE: Self-Improving Robot Policy with Compositional World Model

• 清华大学
• 上海人工智能实验室
• **商汤科技**
• 上海交通大学

• 提出了 RISE 框架，通过将机器人策略的学习环境从物理世界转移到由世界模型构建的想象空间，实现可扩展的在线强化学习。
• 旨在解决在物理世界中直接进行策略强化学习（RL）时面临的成本高、环境重置困难、安全性风险以及数据收集瓶颈等问题，以提升机器人策略在接触密集和动态复杂操作任务中的鲁棒性。

• 提出了 RISE 框架，通过 “想象” 实现机器人基础模型的自主 自我改进，克服了物理世界交互的限制。
• 设计并构建了一个 组合式世界模型，该模型将动态预测（可控动力学模型）与状态价值评估（进展价值模型）解耦，为策略改进提供可靠的学习信号。
• 揭示了实现稳定学习的关键设计选择，包括用于提升动作可控性的 任务中心批处理、结合进度回归与时间差分学习训练的价值模型以及混合离线与在线数据的训练策略。
• 在多个高难度真实世界任务上进行了广泛评估，实验结果表明 RISE 的性能显著超越了现有的模仿学习（IL）和强化学习（RL）方法。

• 整体框架分为两个阶段：策略预热（在真实世界离线数据上进行优势条件训练）和 自我改进循环（在组合式世界模型中生成想象样本进行策略优化）。
• 组合式世界模型 由两个独立的模块组成：

- 可控动力学模型：基于高效的视频扩散模型 Genie Envisioner，通过大规模机器人数据集和 任务中心批处理 策略进行预训练，实现了对动作序列的快速、忠实未来状态预测。

- 进展价值模型：参数化自预训练的 VLA 策略 π₀.₅，通过结合 进度回归损失 和 时间差分学习损失 进行训练，为想象的轨迹提供密集且对失败敏感的奖励信号。

• 系统将策略提出的动作序列输入世界模型，合成未来视觉状态并计算优势值，然后通过优势条件训练（Advantage-Conditioned Training）更新策略，整个过程在想象空间中进行，无需物理交互。

• 使用的数据集包括：大规模机器人数据集 Galaxea 和 Agibot World（用于动力学模型预训练），以及为特定任务（动态积木分拣、背包打包、盒子封装）收集的离线真实世界经验数据。
• 动力学模型 基于 Genie Envisioner (GE-base) 架构；价值模型 基于 π₀.₅ VLA 模型；策略模型为基于流匹配的 VLA。
• 训练资源：动力学模型预训练使用 16 块 NVIDIA H100 GPU（约7天），任务特定微调使用 8 块 H100 GPU（约3天）；价值模型和策略训练均使用 8 块 H100 GPU。

• 评估环境与基准：在真实世界的三个挑战性任务上评估——动态积木分拣、背包打包 和 盒子封装。对比了包括 π₀.₅、DAgger、PPO、DSRL 和 RECAP 在内的多种基线方法。
• 主要评估指标：任务成功率（%） 和多阶段评分。
• 关键实验结果：RISE 在所有任务上均取得显著优势。在动态积木分拣任务上，成功率从 RECAP 的 50% 提升至 85%；在背包打包任务上，从 RECAP 的 40% 提升至 85%；在盒子封装任务上，从 RECAP 的 60% 提升至 95%。
• 消融实验：验证了各组件（如任务中心批处理、价值模型的混合损失、在线动作与状态生成）的有效性，并表明最佳离线数据混合比例约为 0.6。
• 世界模型质量：在 PSNR、LPIPS、SSIM、FVD 和端点误差（EPE）等指标上，其动力学模型均优于 Cosmos 和基础 Genie Envisioner。