Towards Long-Lived Robots: Continual Learning VLA Models via Reinforcement Fine-Tuning

• 中国科学院自动化研究所（CASIA）
• 中国科学院大学（University of Chinese Academy of Sciences）

• 提出 LifeLong-RFT，一种面向视觉语言动作模型的强化微调后训练范式，旨在实现机器人的持续学习能力。
• 解决现有监督微调方法存在的灾难性遗忘问题和对大量任务特定数据的依赖问题，目标是使机器人能在持续学习新任务的同时保留原有技能。

• 提出了 LifeLong-RFT 策略，结合分块级在线策略强化学习与多维度过程奖励机制，使得 VLA 模型能够用有限的演示数据持续掌握新任务，同时保留原有能力。
• 设计了多维度过程奖励机制，包含量化动作一致性奖励、连续轨迹对齐奖励 和 格式合规性奖励，从三个维度量化中间动作分块的贡献以促进策略优化。
• 在仿真和真实世界任务上进行了全面实验，证明了方法在多任务学习和持续学习场景下的优越性能。例如，在 LIBERO 基准测试的持续学习中，方法相较于 SFT 实现了 22% 的平均成功率提升，并仅需 20% 的训练数据即可高效适应新任务。

• 方法核心是 LifeLong-RFT，它整合了分块级在线策略强化学习与多维度过程奖励机制，实现无需环境交互的后训练。
• 技术关键点是：1) 使用 GRPO 算法进行分块级策略优化，无需显式的评论家网络；2) 创新的 MDPR 机制从动作生成准确性、连续控制精度和输出结构有效性三个维度提供细粒度奖励。

• 使用的数据集包括：SimplerEnv、LIBERO 数据集、BridgeData V2、Fractal 数据集以及自行采集的真实世界演示数据。
• 模型以 NORA-Long 为基准 VLA 模型，采用 Fast+ 动作分词器。
• 训练资源为 8 个 NVIDIA H20 GPUs。

• 评估环境包括 SimplerEnv 仿真器、LIBERO 基准套件以及部署在 Franka 机器人上的真实世界环境。
• 主要评估指标为任务平均成功率。
• 关键实验结果：

- 在 SimplerEnv 的多任务学习中，方法相比其 SFT 基线取得了全面的性能提升，在 WidowX 和 Google Robot 平台上的平均成功率分别提高了 3.5% 和 4.4%。

- 在 LIBERO 的多任务学习中，方法在 Object、Spatial、Goal、Long 四个任务套件上均达到超过 95% 的平均成功率，表现优异。

- 在 LIBERO 的持续学习实验中，方法仅使用 20% 的训练数据，相比 SFT 实现了 22% 的平均成功率提升，有效缓解了灾难性遗忘。