一眼看懂
封面预览
论文提出 RIO，一个开源、灵活、轻量级的 Python 框架，用于跨形态机器人的实时控制、遥操作、数据采集与策略部署。
- 论文提出 RIO，一个开源、灵活、轻量级的 Python 框架，用于跨形态机器人的实时控制、遥操作、数据采集与策略部署。
- 核心目标是解决机器人基础设施碎片化问题，现有代码高度依赖特定硬件配置，导致难以复用、共享和跨平台协作。
- RIO 提供抽象化组件，允许用户自由选择和切换机器人、传感器、遥操作接口、中间件、数据格式和策略，只需极少的重新配置工作。
Card 01
研究单位
研究单位
- Carnegie Mellon University
- Bosch Center for AI
- Lavoro AI
- TU Delft（作者 Junseo Kim 的附属机构）
Card 02
论文概述
论文概述
- 论文提出 RIO，一个开源、灵活、轻量级的 Python 框架，用于跨形态机器人的实时控制、遥操作、数据采集与策略部署。
- 核心目标是解决机器人基础设施碎片化问题，现有代码高度依赖特定硬件配置，导致难以复用、共享和跨平台协作。
- RIO 提供抽象化组件，允许用户自由选择和切换机器人、传感器、遥操作接口、中间件、数据格式和策略，只需极少的重新配置工作。
Card 03
核心贡献
核心贡献
- 提出 RIO 框架，提供可复用的硬件控制与策略部署基础设施，设计理念强调灵活、可重用、可访问、高效和一致。
- 在三种形态（单臂、双臂、人形）和四种硬件平台上，验证了从数据采集到策略微调与部署的全流程。
- 使用 RIO 收集的遥操作数据，成功微调并部署了最先进的 VLA 模型（如 π0.5 和 GR00T N1.5）以及扩散策略和强化学习策略，于抓取、折叠、擦洗等任务。
Card 04
方法描述
方法描述
- 采用客户端-服务器 Nodes 抽象与可互换的 Middlewares（如共享内存、线程、Zenoh、ZeroRpc）处理实时消息传递与进程间通信。
- 通过可配置的 Robot Stations 数据类，将机器人、末端执行器、传感器的拓扑结构定义为单个配置文件，简化控制逻辑。
- 提供了异步策略推理机制，将阻塞操作（相机流、推理、控制）分散到不同节点，保持主循环无阻塞以实现精确计时和流畅轨迹。
- 采用标准化的数据格式（类似 RLDS），引入“形态学”概念以抽象描述不同机器人结构的状态键，确保跨平台数据一致性。
Card 05
数据集与资源
数据集与资源
- 使用 RoboDM 工具包管理机器人演示数据，采用灵活压缩方案，实现轻量、高效的录制与加载。
- 支持多种硬件平台：Unitree G1、Booster T1、UFactory xArm7、SO-100、Franka、UR5e 等。
- 支持多种传感器：RealSense、ZED、UVC 相机、iPhone。
- 支持多种遥操作接口：Spacemouse、Gamepad、Keyboard、VR 头显（Apple Vision Pro、Meta Quest）、Leader-Follower (GELLO)。
- 评估使用 NVIDIA RTX 4090 GPU、AMD Ryzen 7 5700X CPU、64GB RAM 的桌面环境。
Card 06
评估与结果
评估与结果
- 在三种形态上成功部署了 π0.5、GR00T N1.5、扩散策略（DP）和 RL-PPO 策略，任务成功率 ≥60%。
- 性能分析表明，RIO 的端到端观察-动作延迟为 130.3 ms，显著低于对比框架 LeRobot 的 581.2 ms。
- 中间件延迟测试中，Zenoh 和 共享内存 达到亚毫秒级（<0.6 ms），适合高频控制；线程和 ZeroRpc 约为 1 ms。
- 单臂任务（抓放、折叠）成功率超 90%，双臂任务（折叠、擦洗）成功率超 60%，人形机器人导航任务成功率 100%。
- 系统架构将阻塞操作分布到不同节点，使主循环保持非阻塞，实现了高 GPU 利用率和流畅的机器人轨迹。