Overcoming Visual Clutter in Vision Language Action Models via Concept-Gated Visual Distillation

• University of Technology Sydney
• Western Sydney University

• 论文针对视觉-语言-动作（VLA）模型在杂乱环境中存在的“精度-推理差距”问题，提出了一种无需训练、模型无关的推理框架 Concept-Gated Visual Distillation (CGVD)。
• 核心目标是通过语言引导的分割和修复技术，在推理时选择性地移除视觉观察中的干扰物体，从而消除背景引起的特征稀释。
• 该方法旨在解决 VLA 模型在面对语义或视觉相似的干扰物时，注意力被破坏导致操作失败的问题。

• 提出了 Concept-Gated Visual Distillation (CGVD)，这是一种无需重新训练的推理框架，通过视觉蒸馏稳定 VLA 策略。
• 设计了 交互感知掩蔽逻辑，包含两层目标细化过程（交叉验证和空间消歧），用于惩罚假阳性并分离真正的操作目标。
• 在高密度语义干扰环境中实现了显著的性能提升，成功率达到 77.5%，而基线模型仅为 43.0%。

• 概念门控分解：解析语言指令，将场景划分为“安全集”（目标、锚点、机器人）和“干扰集”。
• 文本提示实例分割：利用 SAM3 模型独立分割安全集和干扰集，生成相应的掩码。
• 两层目标细化：通过计算真实性评分和空间消歧，从视觉上混淆的干扰物中隔离出真实目标，防止误识别。
• 清洁场景生成：利用 LaMa（基于傅里叶卷积的修复模型）移除干扰物并填充背景，生成保留关键空间几何信息的蒸馏观察。

• 使用 SimplerEnv 仿真基准环境进行评估。
• 干扰物体来源于 RoboCasa 和 YCB 数据集。
• 评估了 $\pi_0$ 和 GR00T 两种最先进的 VLA 模型。
• 使用 WidowX 机械臂进行桌面操作任务实验。

• 实验任务：包括“将勺子放在毛巾上”和“将胡萝卜放在盘子上”，测试了语义、随机和属性三种类型的干扰物。
• 主要指标：任务成功率。
• 关键结果：

- 在具有 18 个语义干扰物的场景中，CGVD 将成功率从基线的 43.0% 提升至 77.5%。

- 在涉及属性区分的复杂指令任务中，CGVD 表现出更强的鲁棒性，成功率达 73.0%，优于基线的 57.0%。

- 系统延迟分析显示，初始化阶段耗时约 4914ms，执行阶段仅增加约 104ms 的开销，适合实时控制。