一眼看懂
封面预览
论文针对视觉-语言-动作（VLA）模型的参数高效微调（PEFT）问题，旨在解决全量微调（FFT）导致的灾难性遗忘和现有 PEFT 方法（如 L…
- 论文针对视觉-语言-动作（VLA）模型的参数高效微调（PEFT）问题，旨在解决全量微调（FFT）导致的灾难性遗忘和现有 PEFT 方法（如 L…
- 提出了 VLA-GSE 框架，通过结合广义专家和专用专家来增强机器人控制任务的适应性，同时保留预训练视觉-语言模型的先验知识
- 核心目标是在仅更新 2.51% 参数的情况下，实现对下游控制任务的强适应性和对预训练知识的有效保留
Card 01
研究单位
研究单位
- Microsoft Research Asia
- Tsinghua University
Card 02
论文概述
论文概述
- 论文针对视觉-语言-动作（VLA）模型的参数高效微调（PEFT）问题，旨在解决全量微调（FFT）导致的灾难性遗忘和现有 PEFT 方法（如 LoRA）适应能力不足的问题
- 提出了 VLA-GSE 框架，通过结合广义专家和专用专家来增强机器人控制任务的适应性，同时保留预训练视觉-语言模型的先验知识
- 核心目标是在仅更新 2.51% 参数的情况下，实现对下游控制任务的强适应性和对预训练知识的有效保留
Card 03
核心贡献
核心贡献
- 提出了 VLA-GSE 架构，利用混合专家机制，包含一个始终激活的广义专家和多个动态路由的专用专家
- 设计了基于 SVD（奇异值分解） 的初始化策略，将主导奇异分量分配给广义专家以捕获通用知识，将残余分量分配给专用专家以适应特定控制行为
- 引入了专家级别的 梯度缩放平衡 机制（Theorem 1），通过调整缩放因子补偿奇异值差异，平衡各专家的优化速度
- 提出了 骨干权重调整 方法，通过调整冻结骨干权重来抵消初始化时的非零扰动，确保模型在期望上保持与预训练权重的一致性
Card 04
方法描述
方法描述
- 通过 SVD 分解冻结的骨干权重矩阵，提取主要奇异向量初始化广义专家，提取残余奇异向量初始化专用专家
- 广义专家始终处于激活状态，用于维持视觉-语义基础；专用专家通过 Top-k 门控机制根据输入动态选择，用于细化控制策略
- 增加了一个 负载均衡辅助损失 函数，防止路由器只选择少数专家，确保专家的均衡利用
- 理论分析了初始化时的梯度规模，并提出基于谱幅度的逆缩放规则，解决了不同谱段专家更新幅度不平衡的问题
Card 05
数据集与资源
数据集与资源
- 预训练骨干模型：Qwen3-VL-4B-Instruct
- 训练数据集：LIBERO 基准的四个套件组合数据
- 评估基准：LIBERO-Plus（仿真）、真实世界机器人操作任务
- 硬件资源：8 张 NVIDIA A100 GPUs
- 模型参数：总参数 4.55B，可训练参数仅占 2.51%（114.04M）
Card 06
评估与结果
评估与结果
- 在 LIBERO-Plus 基准上实现了 81.2% 的平均零样本成功率，超越最强 FFT 方法 6.3% 和最强 PEFT 基线 4.4%
- 在多模态理解基准测试中，VLA-GSE 对预训练知识的保留能力与 LoRA 相当，显著优于全量微调方法
- 在真实世界机器人实验中，面对四种分布偏移，VLA-GSE 达到了 82.5% 的成功率，优于 FFT 16.7%
- 消融实验验证了 SVD 初始化、广义专家、梯度缩放和辅助损失等组件对性能提升的有效性