RLinf-Co: Reinforcement Learning-Based Sim-Real Co-Training for VLA Models

• Tsinghua University
• Harbin Institute of Technology
• Peking University
• Carnegie Mellon University
• Shanghai AI Laboratory
• Zhongguancun Academy

• 提出了 RL-based Sim-Real Co-Training (RL-Co) 框架，用于增强视觉-语言-动作 (VLA) 模型，以克服传统监督式微调的局限性。
• 旨在解决利用模拟数据增强VLA模型，同时保持其在真实世界中能力的关键问题，以降低对昂贵真实机器人演示数据的依赖。
• 核心思想是超越静态模仿学习，利用模拟环境的交互式优势，并通过真实数据正则化防止灾难性遗忘。

• 提出了一个通用的两阶段RL-Co框架，结合了监督式微调和基于强化学习的交互式学习。
• 在第二阶段引入了真实世界正则化的RL损失，在利用模拟数据优化策略的同时，锚定其真实世界能力。
• 在四个真实世界桌面操作任务和两个代表性VLA模型 (OpenVLA 和 π0.5) 上验证了方法的有效性，显著提升了任务成功率。
• 证明了所提方法能带来更强的泛化能力和更高的数据效率。
• 开源了代码和模型，为后续研究提供了实用的基准和工具。

• 方法分为两个阶段：阶段I：SFT协同训练初始化，在混合的真实和模拟演示数据上进行监督式微调，为策略提供良好的初始化和真实世界知识。
• 阶段II：带有真实正则化的模拟-真实协同训练，在模拟环境中进行强化学习微调（使用PPO等算法），同时加入真实世界数据集的SFT损失作为正则化项，平衡探索与遗忘。
• 关键技术在于将大规模交互式模拟训练与小规模真实世界监督相结合，超越了纯监督协同训练方法仅将模拟数据视为静态数据源的局限。

• 使用的真实数据集：通过远程操作收集的四个桌面操作任务（如Pick and Place）的演示，每个任务包含20-50条轨迹。
• 使用的模拟数据集：使用MimicGen 工具在 ManiSkill 模拟器中为每个任务生成的约1000条轨迹。
• 模型规模：使用了预训练的 OpenVLA (基于Transformer) 和 π0.5 (基于流匹配) 模型，具体参数量未在摘要中明确给出。
• 训练资源：RL训练使用了 RLinf 训练框架以提高效率。具体的GPU/TPU配置未在摘要中明确给出。

• 评估环境：四个真实世界桌面操作任务 (Pick and Place, Push Cube, Open Drawer, Close Drawer) 及其对应的ManiSkill数字孪生模拟环境。
• 主要评估指标：真实世界任务成功率 (SR)。
• 关键实验结果：

- 在OpenVLA上，RL-Co相比纯真实数据微调，平均成功率提升了 +47.5%；相比SFT协同训练，提升了 +24%。

- 在 π0.5 上，RL-Co相比纯真实数据微调，平均成功率提升了 +39.5%；相比SFT协同训练，提升了 +20.3%。

- 在泛化测试中（面对未见过的物体和初始状态），RL-Co模型性能下降幅度远小于基线方法，显示出更强的鲁棒性。

- 数据效率实验表明，RL-Co仅用20条真实演示即可达到基线方法使用200条演示的性能。