Contrastive Conceptor Activation Steering (COAST): Unlocking Vision-Language-Action Models through Hidden States

• University of Pennsylvania

• 提出了一种名为 COAST（Contrastive Conceptor Activation Steering）的推理时干预方法，旨在解决 Vision-Language-Action (VLA) 模型在执行下游任务时频繁失败的问题。
• 核心思想是利用 “概念控制器”，一种线性算子，通过少量成功与失败的轨迹样本，识别出对任务结果至关重要的激活子空间。
• 在推理时，通过乘法门控将 VLA 模型的隐藏状态引导至这些“成功”子空间，从而在无需重新训练或微调模型权重的情况下，显著提升任务成功率。

• 首次将 概念控制器 这一源自循环神经网络和 LLM 领域的子空间门控技术，应用于 VLA 模型的动作专家，实现了一种轻量级、免训练的策略转向方法。
• 通过几何分析揭示了 VLA 动作专家激活空间的特性：与任务结果相关的计算分布于一个 低秩但非一维 的子空间中，解释了为何概念控制器方法优于单方向的激活添加方法。
• 在三种架构迥异的机器人策略模型（流匹配 VLA、自回归 VLA、Diffusion Policy）、三个模拟基准和一个真实机器人平台上进行了全面验证，证明了方法的广泛有效性与即插即用性。
• 发现不同任务间存在共享的 “失败几何”，使得从一个任务学得的概念控制器可以在无需重新拟合的情况下，直接用于提升相似失败模式的新任务性能。

• 核心原理：基于概念控制器代数，构建一个 对比概念控制器。分别从成功和失败轨迹的隐藏状态中拟合概念控制器 C_success 和 C_failure，并通过布尔运算（AND 与 NOT）组合为 C_steer = C_success AND NOT C_failure，以分离出区分成功与失败的关键子空间方向。
• 关键技术：

- 激活提取：从 VLA 动作专家的残差流中，在特定层提取隐藏状态，并跨动作 token 进行均值池化。

- 推理时门控：在推理过程中，使用门控矩阵 M = (1-β)I + βC_steer 对当前的残差激活 h 进行乘法变换，得到 h' = hM^T，再继续通过冻结的模型层。

- 三种策略：评估了全局（对所有去噪步骤使用同一控制器）、按步骤（为每个去噪步骤拟合独立控制器）和正唯（仅使用成功控制器）三种转向策略。

• 创新点：该方法为闭式解，无需梯度计算或外部模型，计算开销低；并通过几何直觉（子空间重叠度）指导高效超参数选择。

• 模拟基准：

- MetaWorld ML45：45项桌面机器人操作任务。

- LIBERO-10：10项长时序厨房场景操作任务。

- RoboCasa：7项高视觉多样性的原子任务。

• 真实世界任务：在 DROID 平台上评估三个任务：Open Drawer, Close Microwave, Put Duck in Cabinet。
• 评估模型：

- π_0.5（流匹配 VLA）

- π_0-FAST（自回归 VLA）

- GR00T N1.5（流匹配 VLA）

- Diffusion Policy

• 训练资源：原文未明确提及所使用的 GPU/TPU 等具体计算资源。

• 评估环境与基准：在三个模拟基准和一个真实机器人平台上，对比基线模型（无干预）、SFT、SAE Steering 和 CAA 等方法。
• 主要评估指标：任务成功率。
• 关键实验结果：

- 模拟基准：COAST 在所有模型架构上均显著超越基线及其他转向方法，平均绝对成功率提升超过 20%。例如，在 RoboCasa 上，π_0.5 的基线成功率为 0.40，经 COAST 全局策略提升至 0.55（+15%）；GR00T N1.5 从 0.59 提升至 0.75（+16%）；Diffusion Policy 从 0.32 提升至 0.45（+13%）。

- 真实机器人任务：COAST 带来绝对成功率提升超过 40%。

- 跨任务迁移：证明了在具有相似失败几何的任务间，概念控制器可直接迁移使用而无需重新拟合，仍能取得性能提升。

- 机制分析：实验证实了转向操作能有效将激活几何重塑至成功子空间，且子空间重叠度可预测转向效果。