Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies

• 南加州大学 托马斯·洛德计算机科学系
• 索尼AI
• 康奈尔大学 机械与航空航天工程学院西布利学院

• 论文旨在解决 视觉-语言-动作模型 对语言指令措辞高度敏感、容易在语义相同但表述不同的指令下失败的问题。
• 提出了 Q-DIG 框架，用于系统性地发现多样化的、会导致VLA失败的自然语言指令。
• 通过生成的对抗性指令微调VLA，从而提高其在面对多样化指令时的鲁棒性。

• 提出了 Q-DIG 框架，将质量多样性优化与视觉语言模型结合，用于生成多样化且符合任务背景的对抗性指令。
• 在 SimplerEnv 和 LIBERO 两个仿真基准上证明，Q-DIG能发现比基线方法更多样化、更具人类相似性的失败模式。
• 通过用户研究表明，Q-DIG生成的指令比基线方法生成的指令更自然、更像人类的表达。
• 证明使用Q-DIG生成的指令增强数据集对VLA进行微调，能有效提升模型对未见指令的鲁棒性。
• 在真实机器人上验证了方法的有效性，表明仿真中发现的对抗性指令能有效迁移到现实世界，且微调后的策略性能更优。

• 将对抗性指令生成问题建模为 质量多样性 优化问题：以指令导致VLA的失败率方差作为“质量”目标，以预定义的语义“攻击风格”作为“多样性”度量。
• 核心流程包括四个步骤：指令选择、指令变异（使用VLM作为变异器）、指令评估（通过VLA仿真轨迹计算失败率方差，并使用LLM判断攻击风格）、存档更新。
• 使用生成的对抗性指令与现有专家演示数据配对，构建增强数据集，对基础VLA进行监督微调，以提升其指令理解的多样性。

• 仿真评估使用的数据集：SimplerEnv（5个任务）和 LIBERO-Goal 任务套件（10个任务）。
• 真实世界评估收集了50个专家演示，任务为推可乐罐和推海绵。
• 涉及的VLA模型：OpenVLA-OFT、π₀.₅ 和 GR00T N1.6。
• 用于生成和评估指令的模型：gpt-4o-2024-08-06 作为VLM和LLM评判器，Sentence-BERT 用于计算指令嵌入相似度。

• 评估环境：SimplerEnv 和 LIBERO 仿真环境，以及真实机器人平台。
• 主要评估指标：BERT多样性、BLEU多样性、与原始指令的相异度、存档覆盖率、失败率方差、用户研究中的人类相似性排名和评分、任务成功率。
• 关键实验结果：

- Q-DIG在所有多样性指标上均优于基线方法，发现的指令覆盖了更广泛的攻击风格类别。

- 用户研究显示，Q-DIG生成的指令在人类相似性排名上显著优于基线。

- 使用Q-DIG指令微调的VLA（OpenVLA-OFT, π₀.₅, GR00T N1.6）在未见过的对抗性指令上，平均成功率提升5%至15%，且在交叉验证中表现稳定。

- 真实机器人实验表明，仿真生成的对抗性指令在现实中也能诱导类似故障模式，且经过Q-DIG指令微调的策略在未见过的真实指令上成功率显著提高（例如，从0/10提升至7/10）。