Feat2Go: Visual Feature-Grounded Value Estimation for Embodied Reinforcement Learning

• Wangxuan Institute of Computer Technology, Peking University, China

• 论文提出了 Feat2Go，一个用于具身强化学习的细粒度价值估计框架，旨在解决视觉-语言-动作（VLA）模型在强化学习中面临的稀疏监督和奖励信号设计困难的问题。
• 该框架利用预训练的视觉世界模型（V-JEPA 2）从视觉特征中提取连续的任务进度目标，无需人工设计奖励函数。
• 通过将预测的价值用于重塑终端奖励，该方法兼容现有的 PPO 和 GRPO 等强化学习流程，显著提升了策略的鲁棒性和泛化能力。

• 提出了一个细粒度价值估计框架，通过语义聚类和分层价值分配，从预训练视觉世界模型中推导出结构化的进度目标。
• 开发了一个具身价值模型（基于 Qwen3-VL-4B-Instruct），能够根据当前观测和任务指令预测任务进度，并将其集成到 PPO 和 GRPO 算法中进行奖励重塑。
• 在单臂和双臂操作任务上展示了显著的实证性能提升，证明了该方法在分布外（OOD）和域随机化设置下的有效性。

• 细粒度价值估计：首先使用 V-JEPA 2 编码器提取视频帧的 Patch 特征，计算当前帧与终止帧之间的 Patch 级相似度；随后利用趋势突变检测算法（基于滑动窗口和线性拟合）将轨迹划分为语义阶段；最后结合宏观阶段进度和微观帧间相似度进行分层价值赋值。
• 具身价值模型：基于 Qwen3-VL-4B-Instruct 架构构建，接收视觉帧、任务指令和系统提示作为输入，通过 MLP 价值头预测离散化的进度价值（将连续值空间离散化为 201 个 Bin）。
• 强化学习集成：利用训练好的价值模型预测密集的结构性奖励，替代原本的稀疏二元奖励，并通过 PPO 的 GAE 或 GRPO 的组相对优势估计将奖励信号传播至整个轨迹。

• 数据集：使用大规模 DROID 数据集预训练价值模型；在 ManiSkill3（单臂操作）和 RoboTwin 2.0（双臂操作）基准上进行评估。
• 模型规模：价值模型基础架构为 Qwen3-VL-4B-Instruct；策略模型基础为 OpenVLA-OFT；视觉编码器为 V-JEPA 2。
• 训练资源：价值模型预训练使用 4 张 NVIDIA A100 GPU；强化学习训练使用 8 张 NVIDIA A100 GPU。

• 评估环境：ManiSkill3 包含分布内（ID）和分布外（OOD）设置（视觉、语义、执行维度）；RoboTwin 2.0 包含六项具有强域随机化的双臂任务。
• 主要评估指标：任务成功率（%）。
• 关键实验结果：

- 在 ManiSkill3 上，Feat2Go 将 OpenVLA-OFT 的平均 OOD 成功率从 17.5% 提升至 82.9%，同时保持了 96.9% 的 ID 成功率。

- 在 RoboTwin 2.0 上，Feat2Go 达到了 88.8% 的平均成功率，显著优于 GRPO（84.1%）和其他基线方法。

- 消融实验表明，相比仅使用时间距离（Steps-To-Go），基于视觉特征的价值估计在执行鲁棒性上提升了 6.5%。