一眼看懂
封面预览
提出一个名为 IG-RFT 的交互引导强化学习微调框架，用于提升基于流的视觉-语言-动作模型在长视野、复杂真实世界机器人操作任务中的性能。
- 提出一个名为 IG-RFT 的交互引导强化学习微调框架，用于提升基于流的视觉-语言-动作模型在长视野、复杂真实世界机器人操作任务中的性能。
- 旨在解决监督式微调在高质量演示数据稀缺和分布偏移时的局限性，以及传统强化学习在现实世界应用中的探索效率、稳定性和样本成本挑战。
- 提出交互引导优势加权回归算法，通过机器人交互状态动态调制探索强度，有效平衡探索与利用。
Card 01
研究单位
研究单位
- 浙江大学机械工程系 Grasp 实验室
- Torch Kernel Co., Ltd.
Card 02
论文概述
论文概述
- 提出一个名为 IG-RFT 的交互引导强化学习微调框架，用于提升基于流的视觉-语言-动作模型在长视野、复杂真实世界机器人操作任务中的性能。
- 旨在解决监督式微调在高质量演示数据稀缺和分布偏移时的局限性，以及传统强化学习在现实世界应用中的探索效率、稳定性和样本成本挑战。
Card 03
核心贡献
核心贡献
- 提出交互引导优势加权回归算法，通过机器人交互状态动态调制探索强度，有效平衡探索与利用。
- 设计一种混合稠密奖励函数，融合轨迹级奖励和子任务级奖励，为长视野任务提供通用的、稠密的程序性反馈。
- 构建了一个多阶段强化学习微调系统，整合监督式微调、离线强化学习和人在回路强化学习，实现稳定、高效的政策学习与迭代精炼。
- 在四个具有挑战性的真实世界长视野操作任务上进行了广泛实验，验证了系统的有效性。
Card 04
方法描述
方法描述
- 核心技术为 IG-RFT 框架，包含三个核心模块：1) IG-AWR 算法；2) 混合稠密奖励函数；3) 多阶段训练系统。
- 创新点在于利用视觉交互信号（通过机器人分割模型和光流估计自动提取）动态调节基于流模型的初始采样噪声方差：在非交互阶段鼓励探索，在精细交互阶段强调稳健性。
- 奖励函数设计具有通用性，仅依赖于轨迹长度，结合了均匀分布的轨迹级成功奖励和基于子任务进度的势能奖励。
Card 05
数据集与资源
数据集与资源
- 每个任务收集了60条专家演示数据用于初始数据集，并在人在回路阶段额外进行了40次真实世界策略部署与数据收集。
- 基础策略模型为π₀.₅，这是一个经过大规模预训练的、基于流的视觉-语言-动作模型。
- 训练资源包括配备 NVIDIA A100 GPU 的云服务器，用于策略推理和训练；本地部署使用 Intel Core i7 CPU 和 RTX 4070 GPU。
Card 06
评估与结果
评估与结果
- 评估环境：真实机器人平台（Galaxea A1双臂机器人，配备Orbbec和RealSense相机），在四个长视野复杂任务（包裹打包、水果装袋、积木堆叠、饮料上架）上进行。
- 评估指标：主要评估指标为成功率。
- 关键结果：IG-RFT 在四个任务上的平均成功率高达 85.0%，显著优于 监督式微调 的 18.8% 和标准离线强化学习基线的 ~40.0%。消融实验证实了交互引导和混合奖励各自的关键贡献。