一眼看懂
封面预览
论文针对 Vision-Language-Action (VLA) 模型在强化学习（RL）微调过程中面临的视觉鲁棒性挑战，提出了一种新的解决方…
- 论文针对 Vision-Language-Action (VLA) 模型在强化学习（RL）微调过程中面临的视觉鲁棒性挑战，提出了一种新的解决方…
- 核心问题在于标准的任务奖励无法区分任务无关的视觉变化（如背景干扰）和任务相关的视觉变化（如目标物体姿态改变），导致策略在部署时泛化能力不足。
- 论文提出了 PAIR-VLA 框架，通过在 PPO 优化过程中引入不变性和敏感性两个辅助目标，指导策略“忽略”无关变化并对相关变化做出“反应”…
Card 01
研究单位
研究单位
- 香港科技大学
- 微软亚洲研究院
- 浙江大学
Card 02
论文概述
论文概述
- 论文针对 Vision-Language-Action (VLA) 模型在强化学习（RL）微调过程中面临的视觉鲁棒性挑战，提出了一种新的解决方案。
- 核心问题在于标准的任务奖励无法区分任务无关的视觉变化（如背景干扰）和任务相关的视觉变化（如目标物体姿态改变），导致策略在部署时泛化能力不足。
- 论文提出了 PAIR-VLA 框架，通过在 PPO 优化过程中引入不变性和敏感性两个辅助目标，指导策略“忽略”无关变化并对相关变化做出“反应”，从而提升视觉鲁棒性。
Card 03
核心贡献
核心贡献
- 将 VLA RL 微调中的视觉泛化问题定义为行为层面的指导，明确了策略应对不同视觉变化的响应方式，减少了对大规模观测多样性的依赖。
- 提出了 PAIR-VLA 框架，包含不变性目标（对任务保持性变化保持动作一致）和敏感性目标（对任务改变性变化调整动作分布），且仅在训练时引入，不增加推理成本。
- 在 ManiSkill3 基准测试上验证了方法的有效性，涵盖自回归模型（OpenVLA）和流匹配模型（$\pi_{0.5}$），展示了显著的平均性能提升。
Card 04
方法描述
方法描述
- 基于 PPO 算法进行微调，增加了两个辅助目标函数来约束动作分布的 KL 散度。
- 构造了两种视觉变体视图：任务保持视图通过移除干扰物和替换背景纹理生成，用于不变性目标（最小化 KL 散度）；任务改变视图通过扰动目标物体姿态生成，用于敏感性目标（最大化 KL 散度）。
- 训练目标结合了标准 PPO 损失、不变性损失（鼓励对干扰无动于衷）和敏感性损失（鼓励对状态改变做出反应），从行为层面显式区分了应忽略和应关注的视觉因素。
Card 05
数据集与资源
数据集与资源
- 评估基准：ManiSkill3 模拟器，主要关注带有视觉干扰物的抓取放置任务。
- 使用模型：自回归架构的 OpenVLA 和流匹配架构的 $\pi_{0.5}$。
- 训练资源：OpenVLA 使用 8 张 A100 (40GB) GPU，$\pi_{0.5}$ 使用 8 张 A100 (80GB) GPU。
Card 06
评估与结果
评估与结果
- 评估场景包括多种分布外（OOD）视觉变化：未见过的桌面纹理、光照条件、目标物体姿态以及增加的干扰物杂乱程度。
- 在 OpenVLA 上，平均 OOD 成功率从 77.90% 提升至 87.00%（绝对提升 9.10%）；在 $\pi_{0.5}$ 上，从 46.25% 提升至 62.87%（绝对提升 16.62%）。
- 实验显示该方法显著提高了 RL 微调效率，达到相同性能所需的训练步数约为标准 PPO 的 1/3，且不变性指导在未见光照变化上表现出良好的泛化性。