一眼看懂
封面预览
论文针对预训练的视觉-语言-动作（VLA）模型在实际部署中可靠性不足的问题，提出了一种高效的强化学习微调系统。
- 论文针对预训练的视觉-语言-动作（VLA）模型在实际部署中可靠性不足的问题，提出了一种高效的强化学习微调系统。
- 旨在通过结合预训练模型的先验知识与在线强化学习，以极高的样本效率实现任务性能的可靠提升。
- 核心目标是解决现有方法无法同时利用 VLA 先验和达到实际部署所需的成功率与样本效率的难题。
Card 01
研究单位
研究单位
- Stanford University
Card 02
论文概述
论文概述
- 论文针对预训练的视觉-语言-动作（VLA）模型在实际部署中可靠性不足的问题，提出了一种高效的强化学习微调系统。
- 旨在通过结合预训练模型的先验知识与在线强化学习，以极高的样本效率实现任务性能的可靠提升。
- 核心目标是解决现有方法无法同时利用 VLA 先验和达到实际部署所需的成功率与样本效率的难题。
Card 03
核心贡献
核心贡献
- 提出了 EXPO-FT 系统，这是一个稳定且样本高效的强化学习微调框架，专为视觉-语言-动作模型设计。
- 将 EXPO 算法扩展至支持时间扩展动作，即 VLA 模型原生输出的动作块，而非单步动作。
- 引入了人在回路干预机制，允许操作员在在线训练过程中通过遥操作提供动作修正，显著提升了学习效率。
- 在一系列极具挑战性的真实世界机器人操作任务上实现了完美的任务成功率（30/30），平均仅需 19.1 分钟的在线数据。
- 发布了开源代码库，旨在推动强化学习在 VLA 模型微调领域的广泛应用。
Card 04
方法描述
方法描述
- 基于 EXPO 算法构建，维护一个基础的流匹配策略（即 VLA 模型）和一个轻量级的编辑策略，后者通过最大化 Q 函数进行训练。
- 创新性地将编辑策略和 Q 函数适配到动作块序列（$a_{t:t+C}$）上，解决了现代 VLA 模型预测多步动作带来的时间扩展性挑战。
- 采用学习者-执行者架构，将模型训练/推理与环境交互解耦，以处理大型 VLA 模型的推理延迟问题。
- 为评论家网络使用了独立的轻量级视觉骨干网络（ResNet-50），以降低计算成本并实现快速推理。
- 采用稀疏二元奖励信号和基于规则的二分类器来判断任务成功与否，简化了奖励设计。
Card 05
数据集与资源
数据集与资源
- 采用 $\pi_{0.5}$ VLA 模型作为基础预训练策略，这是一个在大规模演示数据上训练的通用策略。
- 评估任务涵盖 8 个真实世界操作任务：翻蛋、串灯路线规划（Route I/II/Insert）、糖果舀取、方块抓取、花朵插入和台球击打。
- 使用少量的人类遥操作演示数据（每个任务约 10-40 条）进行监督微调预训练或初始化回放缓冲区。
- 实验计算资源为 2 张 NVIDIA H200 GPU。
Card 06
评估与结果
评估与结果
- 评估基准包括从头训练的强化学习方法（HIL-SERL）、VLA 微调方法（DSRL, HG-DAgger）以及监督微调（SFT）。
- 主要评估指标为任务成功率（30 次试验中的成功次数）和在线交互时间。
- EXPO-FT 在所有 8 个任务上均达到了 30/30 (100%) 的成功率，显著优于所有对比基线方法。
- 系统在平均 19.1 分钟 的在线机器人数据交互内即可达到可靠的性能水平，展现了极高的样本效率。
- 实验结果表明，该方法能有效处理高精度、动态交互以及对初始状态变化鲁棒的任务。