一眼看懂
封面预览
揭示了视觉-语言-动作（VLA）模型中存在的“语言盲区”现象，即模型在语言指令与视觉场景矛盾时，仍倾向于执行视觉上合理的动作而忽略指令语义。
- 揭示了视觉-语言-动作（VLA）模型中存在的“语言盲区”现象，即模型在语言指令与视觉场景矛盾时，仍倾向于执行视觉上合理的动作而忽略指令语义。
- 提出了 ICBench 基准测试，基于 LIBERO 数据集构建，通过注入受控的分布外（OOD）指令矛盾来诊断语言-动作耦合能力。
- 提出了 IGAR 方法，这是一种免训练的推理时干预机制，旨在通过重新平衡注意力分布来恢复语言指令对动作生成的指导作用。
Card 01
研究单位
研究单位
- Tsinghua University
- Singapore Management University
- Fudan University
Card 02
论文概述
论文概述
- 揭示了视觉-语言-动作（VLA）模型中存在的“语言盲区”现象，即模型在语言指令与视觉场景矛盾时，仍倾向于执行视觉上合理的动作而忽略指令语义。
- 提出了 ICBench 基准测试，基于 LIBERO 数据集构建，通过注入受控的分布外（OOD）指令矛盾来诊断语言-动作耦合能力。
- 提出了 IGAR 方法，这是一种免训练的推理时干预机制，旨在通过重新平衡注意力分布来恢复语言指令对动作生成的指导作用。
Card 03
核心贡献
核心贡献
- 识别并定义了 VLA 模型中的 语言盲区 问题，指出当前模型主要依赖视觉先验而非指令语义。
- 构建了包含四类指令矛盾（操作对象属性替换、目标属性增强、双重属性扰动、空间关系替换）的诊断基准 ICBench。
- 提出了即插即用的 Instruction-Guided Attention Recalibration (IGAR) 方法，无需重新训练或修改架构即可部署。
- 在模拟环境和真实机器人（Franka 机械臂）上验证了方法的有效性，成功恢复了语言接地并保持了基准性能。
Card 04
方法描述
方法描述
- 注意力汇检测： 通过隐藏状态尖峰分析，识别出获得不成比例高注意力的视觉或文本“汇”标记。
- 接地头选择： 筛选出具有跨模态失衡特征的注意力头，这些头虽关注视觉标记但未被视觉汇完全主导。
- 注意力重分配： 在推理过程中，按比例降低汇标记的注意力权重，并将其重新分配给未被关注的指令标记，从而增强语言指令的影响力。
Card 05
数据集与资源
数据集与资源
- 数据集： LIBERO 基准数据集，包含 Spatial、Object 和 Goal 三类任务套件，共 30 个任务。
- 评估模型： $\pi_0$、$\pi_{0.5}$ 和 OpenVLA-OFT。
- 硬件平台： 真实世界实验使用了 Franka Research 3 机械臂和 Intel RealSense D435 相机。
Card 06
评估与结果
评估与结果
- 评估指标： 任务成功率（SR）和语言接地得分（LGS），其中 LGS 用于衡量模型对指令语义的依赖程度。
- 基准诊断： 实验显示现有 VLA 模型在矛盾指令下成功率仍超过 90%，表现出严重的语言盲区（低 LGS）。
- 方法效果： 应用 IGAR 后，模型在矛盾指令下的错误执行率显著降低，LGS 大幅提升（例如在 Goal 套件中提升至 59.4）。
- 性能保持： 在正常指令下，IGAR 几乎不影响模型原本的成功率（平均变化小于 1%）。
- 真实验证： 在真实机器人实验中，IGAR 成功阻止了由不一致指令触发的错误操作，将“虚假成功”转变为“应得的失败”。