一眼看懂
封面预览
论文提出了一个基于活性 Bellman 操作器的离线策略评估框架，用于解决具有稀疏奖励的机器人操纵任务中的策略评估问题。
- 论文提出了一个基于活性 Bellman 操作器的离线策略评估框架，用于解决具有稀疏奖励的机器人操纵任务中的策略评估问题。
- 核心目标是准确捕捉任务进展，并减少因有限长度回放引入的截断偏差。
- 针对的问题是：奖励稀疏、任务进展非单调性（策略表现出恢复行为），以及有限回合长度导致的截断偏差。
Card 01
研究单位
研究单位
- University of Southern California
- Stanford University
Card 02
论文概述
论文概述
- 论文提出了一个基于活性 Bellman 操作器的离线策略评估框架，用于解决具有稀疏奖励的机器人操纵任务中的策略评估问题。
- 核心目标是准确捕捉任务进展，并减少因有限长度回放引入的截断偏差。
- 针对的问题是：奖励稀疏、任务进展非单调性（策略表现出恢复行为），以及有限回合长度导致的截断偏差。
Card 03
核心贡献
核心贡献
- 提出了一种基于折扣活性公式的离线策略评估框架，将策略评估重新表述为任务完成问题。
- 开发了一种两阶段、带有自举机制的评估算法，能够有效减轻有限长度离线数据中的截断偏差。
- 理论上分析了所提出操作器的性质，包括收缩映射保证，并展示了其如何编码任务进展。
- 实证证明该方法能更准确地反映任务进展，并大幅减少截断偏差，优于 TD(0) 和 蒙特卡洛 等经典基线方法。
Card 04
方法描述
方法描述
- 将策略评估问题重新表述为一个活性问题，其中状态的价值反映其与目标集（任务完成）的语义距离。
- 提出了一个折扣的 Bellman 操作器：$V_\pi(s) = (1-\gamma) + \gamma \min\{l(s), V_\pi(s')\}$，它诱导一个收缩映射，并能编码“到达任务完成的步数”这一概念。
- 引入了两阶段自举机制：第一阶段为成功回合中的状态计算可靠的价值估计；第二阶段使用这些“锚点”状态的价值，通过 $\min$ 操作器作为“校正过滤器”，将价值估计反向传播到截断回合中的前驱状态，从而修正由于超时导致的悲观假设。
Card 05
数据集与资源
数据集与资源
- 使用了三个任务的数据集：LIBERO-Spatial（仿真抓放任务）、Square（仿真方孔插接任务）和 Cloth Folding（真实硬件折叠任务）。
- 仿真任务数据集包含 200 个训练回合和 100 个测试回合（50% 成功/超时比例）。
- 真实硬件任务数据集包含 150 个训练回合和 20 个测试回合（50% 成功/超时比例）。
- 模型输入为 SigLIP2 图像嵌入和本体感知状态的拼接，价值函数由神经网络参数化，使用了优先经验回放进行训练。
Card 06
评估与结果
评估与结果
- 评估了三个指标：成功指标（在成功回合中，价值函数正确预测能在实际步数内到达目标的比例）、失败指标（在失败回合中，价值函数预测步数超过标准任务阈值的比例）和 组合指标（两者算术平均）。
- 在 LIBERO-Spatial 任务上，该方法在成功和组合指标上表现最佳，在失败指标上保持竞争力。
- 在 Square 任务上，该方法在成功指标上表现最佳，但所有方法在该任务上的成功指标得分普遍较低，因为成功与失败轨迹视觉上更难区分。
- 在 Cloth Folding 任务上，该方法在成功指标上大幅领先（超过 2 倍），在失败指标上略有落后，证明了自举机制在恢复行为频繁的场景中尤为有效。
- 消融实验表明，自举机制显著提升了成功指标准确性，同时略微降低了失败指标性能。统计检验显示改进具有显著性。