TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics

• 华盛顿大学
• 加州大学伯克利分校
• 多伦多大学向量研究所
• 上海人工智能实验室
• 艾伦人工智能研究所

• 提出了一种名为 TOPReward 的零样本奖励模型，其利用预训练视频-语言模型内部的token概率（而非文本输出）来估计机器人任务进度。
• 旨在解决现实世界机器人强化学习中样本效率低和稀疏奖励的问题，提供一种无需特定任务微调的、可泛化的密集奖励信号。
• 引入了名为 ManiRewardBench 的新基准，用于严格评估现实世界机器人操作任务上的奖励模型。

• 提出了TOPReward：一种新的、基于概率的时间价值函数，通过查询模型对“轨迹是否完成任务”的置信度（即“True” token的对数概率）来获得连续的奖励信号，从而绕过了语言模型在数值生成和指令遵循方面的瓶颈。
• 展示了TOPReward 在开源视觉语言模型（如 Qwen3-VL-8B 和 Molmo2-8B）上的有效性，显著优于需要数值文本输出的SOTA零样本方法 GVL。
• 引入了ManiRewardBench：一个包含130+个现实世界操作任务、跨多种机器人平台（Franka， YAM， SO-100/101）并带有精细时间标注（子任务边界）的奖励模型基准。
• 验证了TOPReward 作为多功能工具可用于下游应用，包括成功检测和用于策略改进的优势加权行为克隆（TOP-AWR），在真实机器人任务上持续超越标准行为克隆。

• 核心方法：给定任务指令和视频轨迹前缀，构建一个提示询问模型“该轨迹是否完成了任务”，然后提取模型对肯定回答token（如“True”）的对数概率作为奖励信号。
• 关键技术：该方法完全避免了自回归文本生成，直接利用模型内部的对数概率分布，从而更稳定地反映模型对任务完成的潜在“信念”。
• 流程：对轨迹的多个均匀间隔的前缀进行采样，计算每个前缀的奖励，然后通过最小-最大归一化将奖励值映射到[0,1]区间作为进度估计，并可进一步计算奖励增量用于密集奖励。

• 使用的主要数据集：ManiRewardBench（内部收集，130+任务，497+成功轨迹，156失败轨迹）和 Open X-Embodiment（OXE）数据集的一个子集（39个数据集）。
• 模型：主要基于开源视频-语言模型进行评估，包括 Qwen3-VL-8B、Molmo2-8B，并与专有模型 Gemini-2.5-Pro 进行对比。
• 训练/评估资源：论文未明确说明具体训练资源（因其为零样本方法，无需训练）。评估涉及对大量轨迹前缀进行前向传播计算。

• 评估基准：在 ManiRewardBench 和 Open X-Embodiment 数据集上，与 GVL 进行对比。
• 主要指标：价值顺序相关性，用于衡量预测进度值与时间顺序的斯皮尔曼秩相关性。
• 关键结果：

- 在 Qwen3-VL-8B 上，TOPReward 在ManiRewardBench上达到 0.947 的平均VOC，在OXE上达到 0.857，而GVL在同一模型上的表现分别接近零或不一致。

- TOPReward 在成功检测（ROC-AUC）任务上优于GVL（Qwen3-VL-8B：0.654 vs 0.519）。

- 在6个真实世界单臂SO-100操作任务中，使用TOPReward 进行优势加权行为克隆（TOP-AWR）在10次试验的总部分成功率上持续优于标准行为克隆，例如在“将娃娃放入盒子”任务中达到10/10 vs 7/10。