RLinf-USER: A Unified and Extensible System for Real-World Online Policy Learning in Embodied AI

• 清华大学深圳国际研究生院
• 清华大学

• 提出了一个名为 RLinf-USER（简称 USER）的、用于具身智能体现实世界在线策略学习的统一且可扩展的系统。
• 旨在解决现实世界机器人策略学习中的核心系统级挑战，例如物理世界无法加速、机器人异构性、云边通信以及长时程数据管理等问题。
• 核心目标是提供一套系统基础设施，将机器人作为与GPU同等级的一级硬件资源进行统一抽象和管理，并设计完全异步的学习框架，以支持高效、可扩展的现实世界在线学习。

• 提出了一种统一硬件抽象层（HAL），将物理机器人与加速器（GPU/TPU）视为同等可调度的一级硬件资源，支持异构机器人的自动发现、统一管理和调度。
• 设计了一个自适应通信平面，包括基于隧道的云边网络、用于流量本地化的分布式数据通道，以及用于调控GPU开销的流式多处理器感知权重同步，以支持稳定高效的跨异构域数据交换。
• 构建了一个完全异步的学习框架，包含一个持久且缓存感知的缓冲区（Persistent-Cache-Aware Buffer），支持长时程数据流式摄入、恢复和重用，超越了传统的内存中心型管道。
• 提供了可扩展的抽象层，在统一的执行和数据管道内支持奖励、算法和策略的多样化，实现了从CNN/MLP到生成式策略和大规模视觉-语言-动作模型（VLA） 在内的在线模仿和强化学习。
• 提供了一个开源实现（代码仓库：https://github.com/RLinf/RLinf），为现实世界在线策略学习提供了一个可复用的系统基础。

• 系统架构：包括统一硬件抽象层（HAL） 和自适应通信平面。HAL通过节点、硬件单元、检查器等抽象，实现异构机器人与计算资源的统一管理和调度。通信平面通过隧道网络、分布式数据通道和SM感知同步解决云边通信问题。
• 学习框架：采用完全异步的管道设计，将数据生成、训练、数据传输和权重同步解耦，允许机器人持续执行。使用持久、缓存感知的缓冲区，将索引存储在内存中，将轨迹异步持久化到磁盘，并采用有界的内存缓存，平衡了访问效率和存储容量。
• 可扩展性：提供了统一的接口，支持多种策略类型（如CNN/MLP、基于流的生成策略、大型VLA模型如 π₀）、多种学习算法（如SAC、SAC-Flow、RLPD、HG-DAgger）和多种奖励来源（规则、人类、学习得到的奖励模型），所有这些都可以在一个统一的管道中运行。

• 实验任务/数据集：五个现实世界机器人操作任务：销钉插入、充电器插入、瓶盖拧紧、拾取放置、桌面清理。在Franka 和 ARX 两种异构机械臂上进行评估。
• 模型规模与参数量：文中使用了不同规模的模型，从小型CNN/ResNet策略到大型视觉-语言-动作模型，如 π₀ 模型。
• 训练资源：小型CNN/流策略实验使用带 RTX 4090 (24GB) GPU的工作站；大型VLA模型（如 π₀）的训练和评估使用配备4块 NVIDIA A100 (80GB) GPU的服务器。

• 评估环境与基准：在模拟和真实世界机器人平台上执行了一系列实验，以验证系统各个组件的有效性。
• 主要评估指标：任务成功率、收敛速度（挂钟时间）、通信延迟/吞吐量、缓冲区采样吞吐量、生成周期/训练周期、人类干预步数。
• 关键实验结果：

- 系统扩展性：支持多种策略、算法和奖励源，在五个真实世界任务上均实现了高性能（接近100%成功率）。

- 统一硬件抽象：成功实现了多机器人并行训练和异构机器人（Franka和ARX臂）的统一策略训练。

- 自适应通信：在跨地域（云边）部署中，启用分布式数据通道将单回合生成时间减少了约3倍。

- 持久缓存缓冲区：在高缓存比例下保持了高采样吞吐量，同时支持远超内存容量的数据存储。

- 异步管道：相比同步基线，对于π₀ 和 CNN 模型，异步设计分别将生成吞吐量提高了1.20倍和1.55倍，将训练吞吐量提高了5.70倍和4.61倍，显著加速了收敛。