一眼看懂
封面预览
论文提出了 Phone2Act，一种低成本、硬件无关的遥操作框架，旨在解决视觉-语言-动作（VLA）模型训练数据收集成本高昂且依赖特定硬件的问…
- 论文提出了 Phone2Act，一种低成本、硬件无关的遥操作框架，旨在解决视觉-语言-动作（VLA）模型训练数据收集成本高昂且依赖特定硬件的问…
- 该系统利用普通智能手机通过 Google ARCore 作为 6-DoF 机器人控制器，基于模块化 ROS 2 架构，实现了与具体机器人硬件的…
- 系统集成了 Universal Recorder，可直接导出符合 LeRobot 格式的数据集，无需后处理即可用于 VLA 模型微调。
Card 01
研究单位
研究单位
- Vivekanand Education Society’s Institute of Technology (VESIT) 自动化与机器人工程系，印度孟买
Card 02
论文概述
论文概述
- 论文提出了 Phone2Act，一种低成本、硬件无关的遥操作框架，旨在解决视觉-语言-动作（VLA）模型训练数据收集成本高昂且依赖特定硬件的问题。
- 该系统利用普通智能手机通过 Google ARCore 作为 6-DoF 机器人控制器，基于模块化 ROS 2 架构，实现了与具体机器人硬件的解耦。
- 系统集成了 Universal Recorder，可直接导出符合 LeRobot 格式的数据集，无需后处理即可用于 VLA 模型微调。
Card 03
核心贡献
核心贡献
- 设计了一个模块化、硬件无关的 ROS 2 遥操作框架，仅依靠普通智能手机即可控制，无需专用外设或针对特定平台重新开发。
- 开发了 Universal Recorder 数据采集管道，能够同步多相机 RGB 流与机器人状态，原生导出 LeRobot 数据集格式（Parquet 和 MP4），极大地降低了 VLA 训练的数据准备门槛。
- 在单臂和双臂平台上验证了系统的有效性，使用收集的 130 个样本微调 GR00T-N1.5 模型，在真实世界的多阶段抓取放置任务中达到了 90% 的成功率。
Card 04
方法描述
方法描述
- 接口层：开发定制的 Android 应用，利用 Google ARCore 提供稳定的 6-DoF 位姿估计（50Hz），通过音量键实现离合器复位和夹爪控制。
- 无关核心层：包含空间映射、浮动零点、工作空间限制和零跳跃过滤器，将手机动作转换为与机器人无关的笛卡尔指令，确保安全性和直观操作。
- 硬件桥接层：通过可互换的桥接节点连接具体机器人（如 Dobot CR5），将标准指令转换为机器人特定 API 调用。
- 数据记录：记录器在运行时同步外部摄像头与机器人状态，并应用最短路径包裹算法处理欧拉角不连续性问题。
Card 05
数据集与资源
数据集与资源
- 收集了 130 个 遥操作片段用于模型训练。
- 使用的机器人平台包括 Dobot CR5 机械臂和低成本 3D 打印的 LeRobot SO-101 双臂。
- 训练资源为单张 NVIDIA RTX A6000 GPU。
Card 06
评估与结果
评估与结果
- 系统延迟：端到端延迟平均为 395ms（范围 350-440ms），主要延迟源于机器人硬件本身的机械惯性和安全平滑处理。
- 跨硬件部署：在 LeRobot SO-101 双臂平台上实现了无需修改核心代码的双臂同步遥操作。
- VLA 策略学习：微调 NVIDIA GR00T-N1.5-3B 模型，冻结 LLM 骨干网络，仅训练视觉编码器和动作头，训练步数为 2000 步。
- 最终结果：在“抓取球并放入篮子”的真实世界任务中，经过微调的策略在连续 10 次试验中实现了 90% 的成功率。