一眼看懂
封面预览
本文研究了大规模预训练的视觉-语言-行动模型在持续学习中的表现，发现其具备惊人的抗遗忘能力。
- 本文研究了大规模预训练的视觉-语言-行动模型在持续学习中的表现，发现其具备惊人的抗遗忘能力。
- 研究旨在解决机器人策略学习中的灾难性遗忘问题，即学习新技能会导致旧技能性能大幅下降。
- 核心发现是预训练VLA模型仅需简单的经验回放，甚至在很小的回放数据量下，即可实现零遗忘或正向迁移。
Card 01
研究单位
研究单位
- 德克萨斯大学奥斯汀分校（根据作者署名及致谢部分推断）
Card 02
论文概述
论文概述
- 本文研究了大规模预训练的视觉-语言-行动模型在持续学习中的表现，发现其具备惊人的抗遗忘能力。
- 研究旨在解决机器人策略学习中的灾难性遗忘问题，即学习新技能会导致旧技能性能大幅下降。
- 核心发现是预训练VLA模型仅需简单的经验回放，甚至在很小的回放数据量下，即可实现零遗忘或正向迁移。
Card 03
核心贡献
核心贡献
- 首次系统性揭示了预训练VLA模型在持续学习中比从头训练的小型策略模型更抗遗忘。
- 证明了简单的经验回放在VLA上效果出奇地好，能在小回放缓冲区下实现零遗忘或正向后向迁移。
- 发现大规模预训练能同时缓解遗忘并保持强大的前向学习能力，避免了稳定性与可塑性之间的权衡。
- 揭示了VLA模型在性能下降时，其内部仍保留了相关任务知识，能通过少量微调快速恢复。
Card 04
方法描述
方法描述
- 在LIBERO基准套件上对预训练VLA模型（Pi0、GR00T N1.5）与非预训练基线模型（BC-Transformer等）进行持续学习对比实验。
- 采用经验回放方法，在学习新任务时混合存储少量旧任务数据进行训练。
- 创新性地设计组件交换实验与微调恢复实验，分析模型知识遗忘与保留的机制，定位遗忘主要源于视觉-语言主干网络。
Card 05
数据集与资源
数据集与资源
- 使用LIBERO机器人操作基准套件，包含四个任务子集：LIBERO-Spatial, LIBERO-Object, LIBERO-Goal, LIBERO-10。
- 对比的预训练模型包括Pi0和GR00T N1.5；非预训练基线包括BC-Transformer、BC-ViT、BC-Diffusion Policy。
- 训练使用了德克萨斯高级计算中心与德克萨斯大学奥斯汀分校生成式AI中心的计算资源。
Card 06
评估与结果
评估与结果
- 评估指标为平均任务成功率（SR）和负向后向迁移（NBT，衡量遗忘程度）。
- 主要结果显示，预训练VLA模型在LIBERO各基准上实现了接近零甚至为负的NBT，表明遗忘极低或存在正向迁移，而非预训练模型NBT显著更高。
- 在小回放缓冲区（如2%训练数据）下，预训练VLA模型的遗忘程度远低于非预训练模型。
- 微调实验表明，VLA模型能在原训练步骤10%以内恢复峰值性能，证实了知识的保留；而非预训练模型则需接近或超过原训练时间。