一眼看懂
封面预览
论文研究了大型预训练 Vision-Language-Action (VLA) 模型的 Continual Reinforcement Lea…
- 论文研究了大型预训练 Vision-Language-Action (VLA) 模型的 Continual Reinforcement Lea…
- 挑战了传统观点，发现简单的 Sequential Fine-Tuning (Seq. FT) 结合 LoRA 在持续学习场景中表现出奇地好。
- 证明了该方法在具有高可塑性的同时，几乎没有灾难性遗忘，并且保持了强大的零样本泛化能力，通常优于复杂的专业 CRL 方法。
Card 01
研究单位
研究单位
- The University of Texas at Austin（根据作者信息和代码库推断）
Card 02
论文概述
论文概述
- 论文研究了大型预训练 Vision-Language-Action (VLA) 模型的 Continual Reinforcement Learning (CRL) 问题。
- 挑战了传统观点，发现简单的 Sequential Fine-Tuning (Seq. FT) 结合 LoRA 在持续学习场景中表现出奇地好。
- 证明了该方法在具有高可塑性的同时，几乎没有灾难性遗忘，并且保持了强大的零样本泛化能力，通常优于复杂的专业 CRL 方法。
Card 03
核心贡献
核心贡献
- 对 3 种 VLA 模型和 5 个终身 RL 基准进行了系统的实证研究，评估了现有的 CRL 方法。
- 发现简单的 Sequential Fine-Tuning 配合 LoRA 能够超越许多复杂的最先进 CRL 方法。
- 揭示了大规模预训练模型、参数高效微调 (PEFT) 和 on-policy RL 之间的协同作用是缓解灾难性遗忘的关键机制。
Card 04
方法描述
方法描述
- 采用 Group Relative Policy Optimization (GRPO) 作为核心的 on-policy 强化学习算法。
- 使用 Low-Rank Adaptation (LoRA) 进行参数高效微调，保持骨干网络权重冻结。
- 提出并验证了 Sequential Fine-Tuning (Seq. FT) 作为 VLA 持续学习的一种简单而强大的基线方法，无需复杂的记忆回放或参数隔离机制。
Card 05
数据集与资源
数据集与资源
- 使用了 5 个具有挑战性的机器人操作基准：LIBERO-Spatial, LIBERO-Object, LIBERO-Long-Horizon, RoboCasa, Maniskill。
- 涉及的 VLA 模型包括 OpenVLA, Pi-0, 和 OpenVLA-OFT。
- 开源代码库：UT-Austin-RobIn/continual-vla-rl。
Card 06
评估与结果
评估与结果
- 评估指标包括平均成功率 (AVG)、负向后迁移 (NBT, 衡量遗忘)、向前迁移 (FWT) 和零样本成功率 (ZS)。
- 实验结果显示，Sequential Fine-Tuning 在训练任务上的平均成功率接近或匹配多任务 Oracle，且 NBT 指标极低（约 0% 甚至为负），表明几乎没有遗忘。
- 相比之下，传统的 CRL 方法（如 EWC, Expert Replay）往往因为限制了参数更新而损害了模型的可塑性。
- 在环境扰动（相机角度、光照、机器人位置）实验中，Seq. FT 依然表现出强鲁棒性和泛化能力。