CLARE: Continual Learning for Vision-Language-Action Models via Autonomous Adapter Routing and Expansion

• Technical University of Munich (TUM), Germany

- TUM School of Computation, Information and Technology

- Learning Systems and Robotics Lab

- Munich Institute of Robotics and Machine Intelligence (MIRMI)

• Robotics Institute Germany

• 研究目标：解决视觉-语言-动作（VLA）模型的持续学习问题，使机器人能够持续适应新任务，同时保留之前学习的技能
• 核心问题：现有持续学习方法需要存储示例数据（exemplars）、难以处理长任务序列，或依赖任务标识符进行部署
• 解决方案：提出 CLARE（Continual Learning via Adapter Routing and Expansion），一个无需示例的通用参数高效持续学习框架
• 技术路线：通过在选定前馈网络层中注入轻量级模块化适配器，结合基于自编码器的路由机制，实现自主任务无关的推理

• 提出轻量级模块化适配器框架，使 VLA 能够在不覆盖先验表示的情况下学习新技能
• 设计自主路由机制，在推理过程中基于特征相似性激活最适配器，无需任务标签
• 提出动态扩展策略，每个任务仅增加约 2% 的参数
• 在 LIBERO 基准上进行广泛模拟实验，显著优于现有持续学习基线方法

• 基础策略：使用 Flow Matching 进行训练，将动作块从简单基础分布（如高斯）迁移到目标分布
• 模块化适配器：在前馈网络层中注入适配器作为并行侧支，采用编码器-解码器结构（ReLU激活）
• 自主路由：使用自编码器判别器计算重构误差，选择重构误差最小的判别器所链接的适配器
• 动态扩展：基于 z-score 阈值判断特征分布偏差，仅当新任务特征与所有先前任务显著不同时才扩展新适配器

• 数据集：LIBERO 基准

- 预训练：LIBERO-90（90个短时域任务）

- 持续学习评估：LIBERO-10（10个顺序到达的长时域任务）

- 每个任务包含50条人类专家演示

• 模型：Diffusion Transformer (DiT) 基础策略，约 200M 参数
• 适配器规模：

- FFN 适配器：0.26M 参数

- 投影层适配器：3.2M 参数

- 判别器：0.33M（FFN）+ 1.4M（投影）参数

• 评估指标：任务成功率、灾难性遗忘程度、参数效率
• 实验设置：使用Franka机械臂在厨房环境中执行任务
• 关键结果：

- CLARE 在新任务学习上表现优异

- 无需示例即可避免灾难性遗忘

- 显著优于基于示例的持续学习方法

- 动态扩展策略实现了知识重用和参数效率的平衡