一眼看懂
封面预览
本文聚焦于视觉-语言-动作模型在机器人控制中普遍存在的一个失效模式：反事实失败。即模型会过度依赖数据集中的视觉偏见，忽视语言指令，转而执行训练…
- 本文聚焦于视觉-语言-动作模型在机器人控制中普遍存在的一个失效模式：反事实失败。即模型会过度依赖数据集中的视觉偏见，忽视语言指令，转而执行训练…
- 研究目标是系统评估并缓解VLAs中的这种语言指令遵循失败问题。具体做法是：1）构建首个反事实评估基准；2）提出一种即插即用的推理方法。
- 提出了 LIBERO-CF，这是第一个用于评估VLA语言遵循能力的反事实基准。
Card 01
研究单位
研究单位
- University of North Carolina at Chapel Hill
Card 02
论文概述
论文概述
- 本文聚焦于视觉-语言-动作模型在机器人控制中普遍存在的一个失效模式：反事实失败。即模型会过度依赖数据集中的视觉偏见，忽视语言指令，转而执行训练数据中常见的、与场景强关联的动作。
- 研究目标是系统评估并缓解VLAs中的这种语言指令遵循失败问题。具体做法是：1）构建首个反事实评估基准；2）提出一种即插即用的推理方法。
Card 03
核心贡献
核心贡献
- 提出了 LIBERO-CF，这是第一个用于评估VLA语言遵循能力的反事实基准。
- 提出了 反事实动作引导，这是一种简单有效的双分支推理方案，可显式增强VLAs中的语言调节，而无需修改现有架构或预训练模型。
- 对VLAs中的视觉捷径和反事实失败进行了全面的分析，并通过实验证明所提方法在多种最先进的VLA模型上带来了一致性改进。
Card 04
方法描述
方法描述
- 核心方法是反事实动作引导，其灵感来源于图像生成中的无分类器引导技术。
- 通过构建一个双分支推理框架来增强语言调节：一个分支是标准的VLA策略，另一个分支是无语言条件的视觉-动作策略。
- 该方法的创新点在于：在推理时，通过混合两个分支的动作预测，显式地对比和增强语言指令的影响，从而减少对视觉捷径的依赖，提升对低观测任务的鲁棒性。
Card 05
数据集与资源
数据集与资源
- 主要使用的数据集是基于LIBERO构建的LIBERO-CF 基准，包含四个子集：CF-Spatial、CF-Object、CF-Long 和 CF-OOD。
- 评估了多个主流VLA模型，包括 OpenVLA-OFT、π0 和 π0.5，模型参数量级从3B到7B。
- 训练资源方面，论文使用了在Open-X-Embodiment 等大型机器人数据集上预训练的模型权重，并在LIBERO上进行了微调。
Card 06
评估与结果
评估与结果
- 评估环境主要在MuJoCo仿真环境中进行，并进行了真实的机器人实验。
- 主要评估指标包括语言接地率（衡量是否接触指令指定的目标物体）和任务成功率。
- 关键实验结果：在LIBERO-CF基准上，CAG方法显著提升了所有测试VLA的语言遵循能力。例如，仅使用无需训练的策略，就能将 π0.5 的语言接地率提升9.7%，任务成功率提升3.6%；若配合单独的VA模型，提升可达15.5% 和 8.5%。在真实世界实验中，CAG平均减少了9.4% 的反事实失败并提升了17.2% 的任务成功率。