一眼看懂
封面预览
论文针对灵巧操作中 Vision-Language-Action (VLA) 模型在长序列任务中易出现累积误差的问题，提出了一种无缝的人机交互…
- 论文针对灵巧操作中 Vision-Language-Action (VLA) 模型在长序列任务中易出现累积误差的问题，提出了一种无缝的人机交互…
- 解决了在人机交互模仿学习（IIL）中，高自由度机器人手在控制权切换瞬间因人手与机器人手姿态不匹配导致的“手势跳变”和抓取失败问题。
- 旨在通过融合人类修正意图与策略执行，实现平滑的干预与数据收集，进而提升策略的鲁棒性。
Card 01
研究单位
研究单位
- 上海交通大学 机械系统与振动国家重点实验室、机械工程学院
- 上海交通大学 智能机器人上海市重点实验室、Meta机器人研究院
- ByteDance Seed
- 东京大学
Card 02
论文概述
论文概述
- 论文针对灵巧操作中 Vision-Language-Action (VLA) 模型在长序列任务中易出现累积误差的问题，提出了一种无缝的人机交互干预方法 Hand-in-the-Loop (HandITL)。
- 解决了在人机交互模仿学习（IIL）中，高自由度机器人手在控制权切换瞬间因人手与机器人手姿态不匹配导致的“手势跳变”和抓取失败问题。
- 旨在通过融合人类修正意图与策略执行，实现平滑的干预与数据收集，进而提升策略的鲁棒性。
Card 03
核心贡献
核心贡献
- 提出了针对灵巧 VLA 模型的无缝干预方法 HandITL，支持在线修正数据收集。
- 开发了基于优化的相对手部重定向算法，映射操作者的相对指尖运动而非绝对姿态，有效消除了控制权切换时的指令不连续性。
- 设计了基于速度的双臂共享控制接口，将人类修正意图作为残差螺旋注入策略指令，实现了局部修正与策略执行的融合。
- 验证了利用 HandITL 收集的策略修正数据微调策略，比标准遥操作数据更能有效提升长序列灵巧操作的性能。
Card 04
方法描述
方法描述
- 系统采用 56-DoF 双臂灵巧系统（两只 7-DoF Franka FR3 机械臂和两只 21-DoF Bytedexter V2 机器人手）。
- 使用 Meta Quest 3 控制器和 Manus Quantum Metagloves 数据手套构建人机交互接口，通过双踏板触发干预模式。
- 手部控制采用基于优化的相对重定向，锚定干预时刻的姿态，追踪指尖向量和捏持向量的相对变化，并结合形状保持、结构安全和时间平滑约束求解最优关节构型。
- 手臂控制采用基于速度的共享控制，通过指数移动平均（EMA）平滑处理人类手腕运动的残差螺旋，叠加至策略预测的目标位姿上。
- 支持两种干预模式：用于关键恢复的 Full Takeover 和用于微调修正的 Copilot Shared Control。
Card 05
数据集与资源
数据集与资源
- 使用 20小时 的真实世界遥操作数据集对预训练的 GR-Dexter 模型进行微调，生成基础策略。
- 评估任务包括：钻孔、面包夹抓取、零件拾取放置、拧螺丝组装等双臂协调、工具使用和精细操作任务。
- 真实世界部署平台包含三个外部 RGB-D 相机（俯视、仰视和第三视角）。
Card 06
评估与结果
评估与结果
- 评估指标包括接管指令不连续性（Command Discontinuity）、抓取稳定性、任务完成时间和子目标完成得分。
- 在接管指令不连续性分析中，HandITL 将指令跳变降低了 99.8%（面包夹任务），几乎消除了手势跳变导致的工具掉落。
- 在接管后操作能力评估中，相比直接遥操作切换，该方法将抓取失败率降低了 87.5%，平均完成时间减少了 19.1%。
- 在长序列策略评估中，使用 Copilot 模式收集的干预数据微调的策略，平均性能比使用遥操作数据微调的策略高出 19%，证明干预数据对解决策略诱导的分布外状态更有效。