DyGRO-VLA: Cross-Task Scaling of Vision-Language-Action Models via Dynamic Grouped Residual Optimization

• 作者名单：Sixu Lin, Yunpeng Qing, Litao Liu, Ming Zhou, Ruixing Jin, Xiaoyi Fan, Guiliang Liu
• （注：HTML原文中未显式标注具体所属大学或研究机构，论文关键词包含 ICML）

• 论文针对 Vision-Language-Action (VLA) 模型在利用强化学习（RL）进行微调时出现的跨任务性能退化问题，指出 RL 优化器倾向于扭曲预训练的共享特征表示，导致模型丧失通用性。
• 提出了 DyGRO-VLA 框架，这是一种两阶段优化方法，旨在解决机器人操作任务中控制精度与跨任务可扩展性之间的权衡问题。
• 该方法通过信息瓶颈原则学习紧凑的跨任务表征，并利用混合 RL 残差机制动态优化策略，在不破坏共享表征的前提下提升多任务性能。

• 揭示了 RL 微调导致 VLA 模型发生“灾难性遗忘”的机理：RL 优化会扭曲预训练阶段学习的跨任务共享特征空间，造成任务间的负迁移。
• 提出了基于 Variational Information Bottleneck (IB) 的离线预训练目标，有效提取动作相关的紧凑特征，去除背景噪声等无关信息。
• 设计了 Mixture of RL Residuals (MoRR) 模块，通过动态路由机制组合多个 RL 残差策略专家，实现多任务并发优化并缓解梯度冲突。
• 在 LIBERO 和 RoboTwin2 基准测试及真实世界实验中验证了方法的有效性，显著提升了多任务平均成功率。

• 架构设计：视觉编码器采用 DINOv2 和 SigLIP，语言模型骨干采用 Qwen2.5-0.5B，通过融合模块将视觉、语言和本体感知信息结合。
• 离线预训练：基于信息瓶颈原理，最大化潜在表征与动作的互信息，同时最小化表征与观测的互信息，推导出变分下界损失函数进行优化。
• 在线微调：冻结 VLA 骨干网络，引入 MoE 结构。每个专家预测动作残差以修正基座模型的输出，路由器根据任务嵌入动态选择 Top-k 专家。
• 优化策略：引入对比学习构建任务嵌入空间，使用熵正则化促进专家负载平衡，并采用难度感知采样策略提高训练效率。

• 仿真基准：LIBERO（包含 Spatial, Object, Goal, Long 四个子集，共 130 个任务）和 RoboTwin2（双臂操作基准）。
• 真实世界：在 RoboTwin2 真实环境任务中进行验证。
• 模型组件：使用 Qwen2.5-0.5B 作为 LLM 骨干，DINOv2 和 SigLIP 作为视觉编码器。
• 训练细节：监督微调阶段使用 LoRA（rank 64）进行参数高效训练。

• 评估基准：在 LIBERO 四个任务套件和 RoboTwin2 上进行多任务协同训练测试。
• 评估指标：主要指标为任务成功率。
• 关键结果：

- 在 LIBERO 多任务混合训练中，DyGRO-VLA 平均成功率达到 97.1%，比基座模型提升 4.4%。

- 在最具挑战性的 LIBERO-Long 长序列任务上，成功率达到 95.0%，相比基座提升 9.8%，优于其他 RFT 基线（如 TGRPO, VLA-RL）。

- 在 RoboTwin2 仿真环境中平均成功率为 79.2%，真实世界平均成功率为 57.5%，展现了良好的 Sim2Real 泛化能力。

- 消融实验证明增加 MoRR 专家数量能有效缓解多任务梯度冲突，提升性能。