一眼看懂
封面预览
论文旨在解决将视觉-语言-动作 (VLA) 模型扩展到人形、双手灵巧操作 (特别是丰富的接触式手内操作) 时面临的数据获取、多技能学习和多模态…
- 论文旨在解决将视觉-语言-动作 (VLA) 模型扩展到人形、双手灵巧操作 (特别是丰富的接触式手内操作) 时面临的数据获取、多技能学习和多模态…
- 提出了一个集成框架，包含两个协同组件：IMCopilot (手内操作副驾驶) 和 MoDE-VLA (灵巧专家混合VLA)，用于实现类人的灵巧…
- 该框架在四个复杂任务上验证，相比基线模型在灵巧接触密集型任务上实现了成功率的翻倍提升。
Card 01
研究单位
研究单位
- 上海交通大学
- Sharpa
- 上海人工智能实验室
- 中关村研究院
- 新加坡国立大学
- 上海创新研究院
Card 02
论文概述
论文概述
- 论文旨在解决将视觉-语言-动作 (VLA) 模型扩展到人形、双手灵巧操作 (特别是丰富的接触式手内操作) 时面临的数据获取、多技能学习和多模态融合三大瓶颈。
- 提出了一个集成框架，包含两个协同组件：IMCopilot (手内操作副驾驶) 和 MoDE-VLA (灵巧专家混合VLA)，用于实现类人的灵巧操作。
- 该框架在四个复杂任务上验证，相比基线模型在灵巧接触密集型任务上实现了成功率的翻倍提升。
Card 03
核心贡献
核心贡献
- 提出了 IMCopilot，一套通过强化学习训练的原子手内操作技能，它在遥操作数据收集时作为共享自主助手，在自主执行时作为可调用的底层技能原语，形成了分层控制框架。
- 提出了 MoDE-VLA 架构，通过专用路径、稀疏专家路由和残差注入机制，将力和触觉模态无缝融合到预训练的VLA主干网络中，实现了接触感知的动作优化而不损害预训练知识。
- 在四个难度递增的真实世界任务上进行了广泛的实验验证，并展示了首个自主双灵巧手苹果削皮任务。
Card 04
方法描述
方法描述
- IMCopilot 使用PPO算法在IsaacLab仿真环境中训练原子技能 (如稳定抓取、手内旋转)，采用教师-学生蒸馏方法并应用域随机化以实现零样本sim-to-real迁移。
- MoDE-VLA 基于预训练的 π₀ VLA模型，其主干为 PaliGemma 视觉语言模型。它将力和触觉信号分别构造为token序列，并通过自注意力层与主干特征交互。
- 核心创新是Mixture-of-Dexterous-Experts (MoDE) 模块，该模块使用稀疏MoE路由对力和触觉token进行处理，并通过残差注入方式生成针对手臂和手部动作的修正量，确保不同模态的物理语义得到尊重。
Card 05
数据集与资源
数据集与资源
- 使用四个真实世界接触密集型任务进行评估：Gear Assembling (齿轮组装)、Charger Plugging (充电器插入)、Test Tube Rearranging (试管重排) 和 Apple Peeling (苹果削皮)。
- 机器人平台为 SharpaNorth，配备双臂 (各7自由度) 和双手 (各22自由度)，指尖集成视觉触觉传感器，系统总自由度为63。
- VLA模型基于 Gemma-3B 语言模型和 Gemma-300M 动作专家，训练步数为60,000步。
Card 06
评估与结果
评估与结果
- 评估指标为成功率 (SR) 和苹果削皮任务的剥皮完成率 (PCR)。
- IMCopilot 使手内旋转成功率从遥操作的34%大幅提升至89%，解决了数据收集瓶颈。
- MoDE-VLA 在四项任务上平均成功率达到34%，相比基线π₀模型 (15%) 提升了19个百分点，尤其在齿轮组装任务上提升显著 (60% vs 40%)。
- 消融实验证明，移除力觉、触觉或IMCopilot均会导致性能下降，验证了各组件的有效性。