Scaling Verification Can Be More Effective than Scaling Policy Learning for Vision-Language-Action Alignment

• Stanford University
• NVIDIA Research

• 研究如何通过测试时缩放来缩小视觉-语言-动作模型的“意图-动作差距”。
• 提出了CoVer对比验证器，以及CoVer-VLA分层测试时验证流程，通过离线推理和在线选择来优化指令和动作的对齐。

• 表征了具身指令跟随的测试时缩放定律，发现联合缩放指令改写数量和生成动作数量比单独缩放更高效。
• 提出了CoVer——一种用于视觉-语言-动作对齐的对比验证器，其架构能优雅地随计算资源和数据扩展。
• 引入了引导时计算进行离线推理，以及一个分层测试时验证流程，将高层指令优化与低层动作块选择相结合。
• 实验证明，与扩展策略预训练相比，验证方法在多个基准测试中显著提升了性能，包括 SIMPLER（提升 22% 内分布 / 13% 外分布）、PolaRiS（任务进度提升 14%，成功率提升 9%）和真实世界实验（提升 45%）。

• 核心是分层测试时验证框架 CoVer-VLA，包含引导时指令改写与缓存和运行时批量动作验证。
• 离线训练 CoVer 验证器：采用对比学习架构，使用文本感知的视觉编码器和动作编码器，在大量离线样本上训练，评估语义对齐。
• 关键技术：利用引导时计算让 VLM 对场景进行离线结构化推理并生成多样化指令改写；运行时，VLA 为每个改写指令生成多个动作候选，CoVer 对所有指令-动作对进行评分，并选择最优的高层指令和低层动作块执行。

• 主要使用Bridge V2和Open-X Embodiment数据集进行训练和评估。
• CoVer 验证器模型规模为1B 参数。
• 使用8 块 NVIDIA H200 GPU进行训练。最终部署时使用一个由3个验证器组成的集成模型。

• 评估基准：SIMPLER（内分布与 OOD 任务）、PolaRiS 和真实世界任务（使用 WidowX 机器人）。
• 评估指标：任务成功率、任务进度百分比、动作错误率。
• 关键结果：

- 在 SIMPLER 上，CoVer-VLA 相比仅在相同数据上扩展策略预训练，实现了 22% 的内分布提升和 13% 的 OOD 提升。

- 在 PolaRiS 上，结合 π0.5 基模型，任务进度平均提升 13.9%，成功率提升 9.3%。

- 在真实世界任务中，相比基线模型，实现了45%的绝对性能提升。