一眼看懂
封面预览
提出 DexHiL 框架，首个将手臂-手集成到人机交互（HiL）中的灵巧操作视觉-语言-动作（VLA）模型后训练框架。
- 提出 DexHiL 框架，首个将手臂-手集成到人机交互（HiL）中的灵巧操作视觉-语言-动作（VLA）模型后训练框架。
- 旨在解决灵巧操作中高维控制、接触密集型任务以及执行分布差异大等挑战，提升VLA模型在下游任务中的可靠性和适应性。
- 通过引入实时人工干预和干预感知的数据采样策略，显著提高样本效率和策略收敛性。
Card 01
研究单位
研究单位
- CASIA (中国科学院自动化研究所)
- SJTU (上海交通大学)
- Shanghai AI Laboratory (上海人工智能实验室)
Card 02
论文概述
论文概述
- 提出 DexHiL 框架，首个将手臂-手集成到人机交互（HiL）中的灵巧操作视觉-语言-动作（VLA）模型后训练框架。
- 旨在解决灵巧操作中高维控制、接触密集型任务以及执行分布差异大等挑战，提升VLA模型在下游任务中的可靠性和适应性。
- 通过引入实时人工干预和干预感知的数据采样策略，显著提高样本效率和策略收敛性。
Card 03
核心贡献
核心贡献
- 提出了一种基于学习的人手到灵巧机器人手运动重定向方法，实现了高保真的手势映射。
- 设计了一个集成的人机交互遥操作系统，支持在执行过程中进行平滑的实时干预。
- 提出了针对灵巧VLA模型的迭代式人机交互后训练流程，引入了干预感知的数据重加权策略，优先利用纠正性数据段。
Card 04
方法描述
方法描述
- 采用 双路径映射 的轻量级遥操作接口：一条路径对齐末端执行器姿态和手臂运动，另一条路径将手指关节重定向到灵巧手。
- 提出 两阶段 手部关节重定向方案：第一阶段优化非拇指四指以获得稳定的运动流形；第二阶段冻结四指参数，仅优化拇指的残差映射。
- 设计 干预感知加权机制，根据重要性采样原则，对稀疏的人工干预轨迹样本进行重新加权，使模型优先从高价值的纠正数据中学习。
- 实现 异步多线程 控制架构，并发处理自主策略推理（20Hz）与人工引导的遥操作（手臂30Hz，手90Hz）。
Card 05
数据集与资源
数据集与资源
- 使用 60条 离线轨迹进行模型初始化，并在后续每轮训练中增加 10条 轨迹。
- 机器人平台由 Franka Research 3 机械臂和 DexHand021 灵巧手组成。
- 使用 8块 NVIDIA H100 GPU 进行 Being-H0.5 模型的初始训练，并使用单块 H100 GPU 进行人机交互数据的微调。
Card 06
评估与结果
评估与结果
- 评估环境为真实机器人，设计了两个具有挑战性的灵巧操作任务：毛绒玩具抓取 和 纸巾抽取。
- 主要评估指标为 成功率（20次独立试验）。
- 实验结果表明，DexHiL 在两项任务上相比基线方法平均提升 25% 的成功率。在纸巾抽取任务中，最终成功率可达 95%，证明了框架在接触密集型、高自由度任务中的有效性。