LangGap: Diagnosing and Closing the Language Gap in Vision-Language-Action Models

• 论文作者未明确列出所属机构，但作者为 Yuchen Hou 和 Lin Zhao。代码和项目地址为 https://github.com/YC11Hou/langgap。

• 本文揭示并诊断了当前视觉-语言-动作模型在语言理解上的严重缺陷，这些模型虽然在标准基准测试（如LIBERO）上成功率超过95%，但在语义扰动下会严重失效。
• 论文旨在解决语言理解差距问题，提出了一个细粒度的语义扰动诊断方法和一个名为LangGap的新基准测试，以强制模型依赖语言指令。

• 提出一个四维语义扰动诊断框架：包括改变物体类别、改变目标位置、空间描述和抽屉动作，用于细粒度地评估VLA模型在哪些语义维度上失效。
• 构建了LangGap基准：包含99个任务，其设计核心是在相同的视觉场景下设计多样化的任务指令，迫使模型必须理解语言才能完成任务，这是首个专门为强制语言理解而设计的VLA评估基准。
• 通过渐进式实验验证了数据增强的有效性与局限性：证明针对性数据增强（如单任务训练）能部分弥合语言差距（从0%提升到90%），但随着任务规模和语义多样性增加，模型学习能力严重不足，揭示了VLA模型理解多样化语言的根本挑战。
• 提供了精细的诊断结果：发现了模型在不同语义维度上的失败模式存在显著差异，例如，改变目标位置的维度在所有任务中成功率均为0%，而改变物体类别维度为29.3%，这揭示了模型对指令不同组成部分的理解程度不一。

• 诊断方法：基于LIBERO场景，通过最大化语义多样性、保持视觉布局不变的原则，生成所有物理上有效的语义组合（物体、目标位置、空间关系、动作类型），形成四种正交的语义扰动维度。
• 基准构建：LangGap的设计遵循三大原则：同场景多任务、指令级数据划分、物理可行性验证，以确保语言是唯一的任务区分信号。
• 训练数据收集：采用指令级划分，从扩展任务中选取部分作为训练集，其余作为测试集。通过脚本化的示教（利用robosuite的OSC_POSE控制器）收集演示数据。

• 主要数据集/基准：基于LIBERO基准构建了新的LangGap基准。LangGap包含99个任务（40个原始LIBERO任务 + 59个语义扩展任务）。
• 模型：主要评测对象是SOTA模型 π0.5，同时对比了 π0、π0-FAST 和 SmolVLA。
• 训练资源：模型微调在单个 RTX 4090 GPU 上进行，使用 LoRA 进行参数高效微调。

• 评估环境：在 LIBERO 模拟器中进行评估。
• 主要评估指标：二进制成功，即单次尝试是否完成目标任务。
• 关键实验结果：

- π0.5 在原始LIBERO任务上成功率为93.8%，但在其59个语义扩展任务上的成功率骤降至 21.4%，显示出巨大的语言理解差距。

- 细粒度诊断显示，改变目标位置维度的成功率在所有13个任务上均为 0%，而改变物体类别维度的成功率为29.3%，空间描述维度为11.0%。

- 单任务数据增强可将成功率从3.75% 提升至 90%；在小规模多任务（6任务）训练下，可提升至28%；但当任务规模增大或加入大量官方数据后，性能会出现稀释效应，表明当前模型的泛化能力有限。