Observing and Controlling Features in Vision-Language-Action Models

• 论文未明确列出作者所属的研究机构。

• 论文针对视觉-语言-动作模型 在部署中行为不可预测、难以实时修正、与用户偏好和安全要求不一致的问题，提出一种通过内部表示来观察和控制其行为的方法。
• 引入了特征可观测性 和 特征可控性 两个核心概念，形式化地定义了行为相关特征在VLA表示空间中的可提取性与可引导性。
• 目标是实现无需微调或重训练的实时在线行为引导，使VLA输出与用户约束（如安全区域、动作幅度）对齐。

• 形式化并引入了特征可观测性和特征可控性概念，为分析和影响VLA内部表示奠定了理论基础。
• 提出了一种线性观测器，能够从VLA的Transformer层表示中高效提取机器人状态、动作等行为相关特征。
• 设计了一种基于最优控制的线性控制器，通过最小化干预修改内部表示，从而将模型输出引导至期望区域，同时保持生成行为的自然性。
• 提出了将观测器与控制器集成到VLA推理过程中的在线算法，实现了无需微调的实时行为引导。
• 在两种前沿VLA架构上进行了广泛的模拟与真实世界实验验证，证明了框架的有效性。

• 线性观测器：基于线性表示假设，将第 $\ell$ 层的内部表示 $x_\ell$ 到目标特征 $\zeta$ 的映射函数 $f_\ell(\cdot)$ 参数化为线性变换 $\zeta = W_\ell x_\ell + b_\ell$。参数通过在标注数据集上优化交叉熵损失学习得到。
• 线性控制器：基于观测结果，设计加性干预 $u_\ell$ 来修改表示。$u_\ell$ 通过求解一个约束优化问题得到，目标是最小化干预的$L_2$范数，同时约束观测到的特征 $\zeta$ 落在目标集合 $\mathcal{D}$ 内。在线性观测器和一维目标集合的假设下，$u_\ell$ 存在闭式解。
• 在线集成：在VLA的前向传播过程中，在特定层应用观测器提取特征，并根据预设的约束范围计算并施加控制干预，从而在推理时实现闭环的行为引导。

• 使用 Libero 数据集和 BridgeData V2 数据集进行实验。
• 测试的VLA模型包括 $\pi_{0.5}$ 和 OpenVLA。
• 推理实验使用单张 NVIDIA 5090 GPU。

• 在 Libero 模拟器基准测试中，对空间任务套件中的10个任务进行评估，每个方法进行10次轨迹测试。
• 主要评估指标包括闭环任务成功率和约束满足率。
• 实验结果表明：

- 所提方法能将近完美地满足对末端执行器高度和夹持器状态的约束，同时保持90%以上的任务成功率。

- 对于运动速度这一衍生特征，能有效引导机器人减速，但加速引导效果受限于训练数据分布。

- 与无干预或仅通过提示词干预相比，所提出的控制器方法在约束满足率上具有显著优势，且成功率下降可控，证明了其在实现细粒度行为引导方面的有效性。