When Robots Obey the Patch: Universal Transferable Patch Attacks on Vision-Language-Action Models

• 暂无内容

南洋理工大学

本文系统研究了针对视觉-语言-动作（VLA）模型的通用可迁移对抗补丁攻击。现有方法通常针对单一模型进行白盒攻击，在未知架构、微调变体或模拟到现实的迁移场景下效果不佳。为此，论文提出了UPA-RFAS框架，旨在学习单个物理补丁，该补丁在共享特征空间中优化，并促进跨模型迁移。实验表明，该方法能在模型、任务和视角间实现有效迁移，揭示了基于补丁的实际攻击面，为未来防御提供了强基线。

• 提出了首个针对VLA机器人的通用可迁移补丁攻击框架，在共享特征空间中结合了ℓ1偏差与排斥性对比对齐。
• 设计了鲁棒性增强的通用补丁攻击，使用样本级不可见扰动作为增强器，并在大量几何随机化下训练通用补丁。
• 设计了两种VLA特定损失：Patch Attention Dominance用于劫持文本到视觉的注意力，Patch Semantic Misalignment用于在无标签情况下使指令误对齐。
• 在多个VLA模型、任务和模拟到现实设置下的广泛实验展示了强大的黑盒迁移性，揭示了基于补丁的实际威胁并为防御提供了可迁移基线。

方法核心为UPA-RFAS框架，包含以下组件：

1. 特征空间目标：结合ℓ1偏差与排斥性InfoNCE损失，通过稀疏、高显著度的特征偏移和批次一致性方向促进迁移。
2. 鲁棒性增强的双阶段优化：内循环通过PGD学习样本级不可见扰动以最小化特征目标，外循环在强化邻域上优化通用补丁。
3. Patch Attention Dominance (PAD)损失：增加补丁路由的文本到视觉注意力，通过单边边际抑制非补丁增量，实现位置无关的注意力吸引。
4. Patch Semantic Misalignment (PSM)损失：将补丁表示拉向探查短语锚点，同时推离当前指令嵌入，创建持久的图像-文本不匹配。

• 数据集：Libero、BridgeData等VLA机器人操作任务数据集。
• 训练资源：未明确提及具体硬件配置，但方法涉及对抗训练（PGD）和AdamW优化，暗示需要GPU支持。

• 评估环境：模拟环境（如Libero、BridgeData）和物理世界实验（Franka Emika机械臂）。
• 评估指标：任务成功率、动作空间偏差、特征空间ℓ1偏差、注意力增量（补丁与非补丁区域）、文本相似度攻击损失（PSM损失）。