ALOE: Action-Level Off-Policy Evaluation for Vision-Language-Action Model Post-Training

• AgiBot
• The Hong Kong University of Science and Technology (香港科技大学)
• Fudan University (复旦大学)
• Independent Researcher

• 论文提出一种用于 视觉-语言-动作（Vision-Language-Action, VLA） 模型后训练的离策略（Off-Policy）评估框架 ALOE，旨在通过在线强化学习改进大型基础模型在真实世界的表现。
• 核心要解决的问题是：在 真实世界、人机协作（Human-in-the-Loop） 的数据收集场景下，如何稳定且高效地进行策略评估。传统方法为避免不稳定而采用保守的 同策略（On-Policy） 估计，但这限制了从混合历史数据中学习的能力和学习效率。

• 提出一种面向真实世界 VLA 训练的 动作级别离策略评估框架，支持可靠的动作级信用分配（Credit Assignment）和策略改进。
• 为真实世界设置开发了 动作-价值函数学习的稳定机制，包括 分块时序差分（Q-chunking TD） 更新和 悲观价值集成（Pessimistic Ensemble） ，实现了对流程（Flow-based）VLA 策略的可靠长时程信用分配。
• 在三个真实世界机器人操作任务上进行了全面评估，证明了方法在 任务成功率、泛化能力、学习效率和执行错误恢复 方面优于之前的 VLA 训练方法。
• 展示了通过引入离策略强化学习，可以在不牺牲稳定性的前提下，重新引入传统的时序差分自举（Temporal-Difference Bootstrapping）方法 来评估当前策略的行为质量。

• 采用 执行器-评判器（Actor-Critic） 框架：执行器是基于 流匹配（Flow-Matching） 的 VLA 模型（π₀.₅），评判器是轻量级的集成 Q 网络。
• 离策略评判器估计：使用 分块时序差分（Q-chunking TD） 自举来评估动作序列（块），而非预测最终任务结果，这能在稀疏奖励下改善对关键动作块的信用分配，并支持稳定策略改进。
• 基于优势加权的策略改进：使用集成的悲观 Q 值估计优势函数，然后通过优势加权的最大似然目标来更新 VLA 执行器策略，实现约束策略优化。
• 关键技术点包括：使用 悲观集成 Q 函数 缓解不确定性区域的高估问题；分块（Chunking） 机制加速长时程任务的信用传播；以及 优势加权回归（Advantage-Weighted Regression） 风格的策略更新以确保稳定性。

• 数据集：主要使用在三个真实世界任务上在线收集的交互数据，包括来自历史策略和人机干预的混合轨迹片段。
• 执行器模型：基于 π₀.₅ 流匹配 VLA 模型进行端到端微调。
• 评判器模型：使用 π₀.₅ 预训练的 SigLIP 视觉编码器 提取图像特征，并融合其他模态，使用 Transformer 骨干网络。
• 训练资源：论文提及在真实机器人平台上进行实验，但未明确说明训练使用的 GPU/TPU 具体型号和数量。

• 评估环境：在三个具有挑战性的真实世界机器人操作任务上进行评估：手机包装（高精度任务）、叠衣服（长时程可变形物体任务）、产品分拣（多物体感知的双臂拾取放置任务）。
• 主要评估指标：任务成功率、执行吞吐量（单位时间完成任务数）、对未见物体的零样本泛化能力、对干扰的鲁棒性。
• 关键实验结果：

- ALOE 在三个任务上均取得最高的成功率，超越了 行为克隆（BC）、DAgger 和 优势加权回归（AWR） 等基线方法。

- ALOE 展示了更高的学习效率（在更少的环境交互下达到更高性能），以及对流程 VLA 模型持续多轮迭代改进的能力。

- 学习到的 Q 函数能对轨迹中的关键动作和失败模式进行 细粒度的、动作级别的信用分配。

- 在 手机包装 任务中，ALOE 实现了更高的任务执行吞吐量。

- 在 产品分拣 任务中，ALOE 对未见物体展现出更好的零样本泛化能力。