一眼看懂
封面预览
论文提出了 MirrorLimb，一个基于 PICO XR 设备的低成本机器人远程操作系统框架，能够实时采集手部运动和姿态数据
- 论文提出了 MirrorLimb，一个基于 PICO XR 设备的低成本机器人远程操作系统框架，能够实时采集手部运动和姿态数据
- 该框架与 RealMirror 生态系统原生兼容，支持在 IsaacSim 模拟环境中进行稳定、精确的机器人轨迹录制，为 VLA（视觉-语言-…
- 系统支持多种末端执行器机器人（包括灵巧手和机械夹爪）的实时遥操作，旨在降低上位机器人操作研究的技术门槛
Card 01
研究单位
研究单位
- ZTE Terminators Group（中兴终端团队）
Card 02
论文概述
论文概述
- 论文提出了 MirrorLimb，一个基于 PICO XR 设备的低成本机器人远程操作系统框架，能够实时采集手部运动和姿态数据
- 该框架与 RealMirror 生态系统原生兼容，支持在 IsaacSim 模拟环境中进行稳定、精确的机器人轨迹录制，为 VLA（视觉-语言-动作）数据集构建提供便利
- 系统支持多种末端执行器机器人（包括灵巧手和机械夹爪）的实时遥操作，旨在降低上位机器人操作研究的技术门槛
Card 03
核心贡献
核心贡献
- 原生兼容 RealMirror 平台：结合 RealMirror 的机器人运动学/动力学优化能力，实现 IsaacSim 内的高精度稳定远程机器人遥操作
- WebXR/OpenXR 通信框架集成：提供标准化的手柄/手势原始数据映射接口，便于适配不同操作平台和各种机器人末端执行器
- 低成本硬件方案：支持 PICO 3/4 等 XR 设备，相比动作捕捉系统或 Apple Vision Pro 大幅降低成本
- 双通道数据采集：同时采集手柄命令和精细手势数据，采用 WebXR（手柄）和 OpenXR/Unity（手势）两种技术路径
Card 04
方法描述
方法描述
- 双通道采集架构：WebXR 手柄路径（浏览器运行时，72-90Hz）和 OpenXR 手势路径（Unity，60Hz，26 个手部关节）
- 数据传输：手柄数据通过 WebSocket（Socket.IO）传输，手势数据通过 UDP 二进制序列化传输以降低延迟
- 坐标系转换：WebXR 右手法系（Y-up）转换为 IsaacSim 右手法系（Z-up）；手势路径从左手法系先归一化到右手，再转换到 Z-up
- 运动学优化：设计四层滤波规则（两层抖动过滤 + 两层跳变过滤）有效抑制末端执行器的抖动和突变，提高控制稳定性
Card 05
数据集与资源
数据集与资源
- 硬件设备：PICO 3/4 XR 设备
- 手部追踪：每只手 26 个追踪关节
- 采样率：手柄路径 72-90Hz，手势路径固定 60Hz
- 模拟环境：IsaacSim / IsaacLab
- 配套平台：RealMirror VLA 研究平台
Card 06
评估与结果
评估与结果
- 适用场景对比：手柄操作适合简单重复性任务的数据采集，手势操作更适合需要持续手部姿态调整的复杂任务
- 稳定性优化：通过运动学优化有效抑制生物震颤和 IK 求解器导致的末端抖动和跳变问题
- 数据接口标准化：定义完整的手势和手柄数据结构（timestamp、data、joints/buttons、pose 等字段），便于与 RealMirror 生态系统集成