一眼看懂
封面预览
提出首个开源的视觉-语言-行动（VLA）系统 Dexora，原生支持双臂、双手、高自由度（36-DoF）的机器人操控。
- 提出首个开源的视觉-语言-行动（VLA）系统 Dexora，原生支持双臂、双手、高自由度（36-DoF）的机器人操控。
- 解决现有VLA系统局限于双臂低自由度夹持器或单臂灵巧手的局限，无法同时处理需要双臂协调和高自由度手指灵巧性的任务。
- 通过混合遥操作管线收集大规模数据，并提出数据质量感知的训练策略以应对遥操作演示中的噪声和不稳定性。
Card 01
研究单位
研究单位
- 清华大学 (Tsinghua University)
- 北京人工智能研究院 (Beijing Academy of Artificial Intelligence)
- 香港大学 (The University of Hong Kong)
- 上海交通大学 (Shanghai Jiao Tong University)
- 上海科技大学 (ShanghaiTech University)
- 北京大学 (Peking University)
Card 02
论文概述
论文概述
- 提出首个开源的视觉-语言-行动（VLA）系统 Dexora，原生支持双臂、双手、高自由度（36-DoF）的机器人操控。
- 解决现有VLA系统局限于双臂低自由度夹持器或单臂灵巧手的局限，无法同时处理需要双臂协调和高自由度手指灵巧性的任务。
- 通过混合遥操作管线收集大规模数据，并提出数据质量感知的训练策略以应对遥操作演示中的噪声和不稳定性。
Card 03
核心贡献
核心贡献
- 提出首个开源的双臂双手高自由度VLA系统，填补了现有研究空白。
- 设计了混合遥操作管线，结合定制外骨骼背包（捕捉手臂运动）和Apple Vision Pro（捕捉手指运动），驱动物理平台和MuJoCo数字孪生，实现高效数据收集。
- 构建了大规模、具身匹配的数据集，包含100K模拟轨迹（6.5M帧）和10K真实世界演示（2.92M帧）。
- 提出数据质量感知的训练方案，利用离线判别器为演示数据评分，并通过加权扩散变换器损失降低低质量数据的影响。
- 展示了强大的跨具身泛化能力，训练于36-DoF系统的策略可成功迁移至单臂夹持器、双臂夹持器及单臂低自由度手等不同机器人配置。
Card 04
方法描述
方法描述
- 采用 混合遥操作管线，将手臂运动与手指运动解耦，确保了数据收集的精度与舒适性。
- 构建 扩散变换器（Diffusion Transformer） 作为策略模型，输入多视角观测、语言指令和关节状态，输出动作序列。
- 提出 数据质量判别器，通过运动平滑度（加速度、加加速度）预筛选和重放成功验证后筛选，对高质量演示子集进行训练。
- 采用 三阶段训练流程：模拟数据预训练基础能力；训练判别器评分；基于判别器权重在真实数据上后训练，升级为灵巧技能。
Card 05
数据集与资源
数据集与资源
- 数据集：100K模拟轨迹（361小时，6.5M帧），10K真实世界演示（177.5小时，2.92M帧），覆盖200个任务。
- 模型规模：策略模型为28层Transformer，隐藏层1024，16个注意力头；判别器为12层Transformer，隐藏层512，8个注意力头（30M参数）。
- 训练资源：使用8个 NVIDIA A100 GPU 进行分布式数据并行训练，总批次大小为64。
Card 06
评估与结果
评估与结果
- 评估基准：在基本操控任务（拾放、组装/拆卸、关节物体）和灵巧操作任务（使用笔、取书、切菜、放置盘子、揉面团、拧瓶盖）上进行真实世界评估。
- 主要指标：任务成功率（Success Rate）。
- 关键结果：在基本任务上平均成功率达89.6%，其中7/12任务超过90%；在灵巧任务上平均成功率 66.7%，优于最强基线 GR00T N1 的51.7%。
- 泛化能力：在六种分布外（OOD）干扰下保持高成功率，并成功将策略迁移至单臂夹持器、双臂夹持器和单臂灵巧手等不同具身平台。
- 消融实验：证明真实数据对灵巧任务至关重要，判别器能显著提升成功率并降低动作轨迹的加速度与加加速度，使运动更平滑。