VLA Knows Its Limits

• University of Illinois Chicago
• Cisco Research

• 聚焦于基于流的Vision-Language-Action (VLA) 模型中的动作分块 (action chunking) 实践。
• 研究发现，执行视野（从每个预测动作块中执行的动作数量）的选择会显著影响模型性能，存在一个先上升后下降的峰值模式。
• 论文旨在解决如何为每个预测的动作块动态地、自适应地确定最佳执行视野的问题，以平衡策略的长时一致性和短时反应性。

• 分析与观察：通过理论（存在最优执行视野的证明）和实证分析，揭示了VLA性能随执行视野变化的规律，并通过分析注意力权重发现其内在原因（如注意力不变性和径向动作汇点）。
• 提出 AutoHorizon 方法：首次提出一种基于测试时注意力权重的动态执行视野估计策略，无需额外训练，计算开销极低。
• 广泛验证：在模拟（LIBERO, RoboTwin）和真实世界机器人操作任务中，AutoHorizon 在多种流式VLA模型（如 π0.5, GR00T N1.5）上均有效，性能优于需要大量调优的静态基线。

• 核心技术：分析基于流的VLA模型中的跨注意力和自注意力权重，将其解释为模型预测置信度的隐含指标。
• 创新点：

- 发现动作分块内的动作对视觉-语言标记的注意力保持不变，导致对环境变化的适应性有限。

- 发现预测动作序列的起始和终止动作标记作为稳定的径向动作汇点 (radial action sinks)，是中间动作组织的锚点。

- 提出 AutoHorizon 算法：利用动作自注意力权重，通过双向软指针机制识别注意力轨迹的转折点（注意力停止前进并开始平稳），以此估计模型的预测极限，动态确定每个动作块的执行视野。

• 数据集：LIBERO 基准（包含 LIB-Spatial, LIB-Goal, LIB-Object, LIB-10 子集）和 RoboTwin 基准（包含多个双手操作任务）。
• 评估模型：π0.5（预测视野 p=10 和 p=50），GR00T N1.5（预测视野 p=16）。
• 训练/测试资源：使用了预训练模型检查点。具体训练资源未在提供文本中明确说明。

• 评估环境：模拟环境（使用LIBERO和RoboTwin基准）和真实世界机器人（Franka Research 3）操作。
• 主要评估指标：任务成功率（Success Rate）。
• 关键实验结果：

- 在LIBERO基准上，AutoHorizon 在 π0.5 (p=50) 模型上超越了所有静态基线（Static Oracle, Static Oracle+）和随机基线。

- 在GR00T N1.5模型上，AutoHorizon 同样表现最佳。

- 在更具挑战性的RoboTwin基准上，AutoHorizon 在大多数任务上达到或超过最强基线性能。

- 真实世界任务（如放置黄瓜/魔方）中，AutoHorizon的动态视野调整策略有效提高了任务完成率。