一眼看懂
封面预览
提出 X-DiffVLA，一个基于扩散模型的视觉-语言-动作（VLA）框架，旨在实现跨具身的策略学习与微调。
- 提出 X-DiffVLA，一个基于扩散模型的视觉-语言-动作（VLA）框架，旨在实现跨具身的策略学习与微调。
- 聚焦于共享机器人基座配备异构末端执行器的场景，解决从多样化机器人数据中学习通用策略的根本性挑战。
- 通过统一的扩散动作头，模型能够有效捕捉跨具身数据中的分布多样性与潜在行为关联，实现知识迁移。
Card 01
研究单位
研究单位
- SKL-MAIS, Institute of Automation, Chinese Academy of Sciences
- School of Artificial Intelligence, University of Chinese Academy of Sciences
- Beijing Academy of Artificial Intelligence
- BeingBeyond
- School of Computer Science, Peking University
Card 02
论文概述
论文概述
- 提出 X-DiffVLA，一个基于扩散模型的视觉-语言-动作（VLA）框架，旨在实现跨具身的策略学习与微调。
- 聚焦于共享机器人基座配备异构末端执行器的场景，解决从多样化机器人数据中学习通用策略的根本性挑战。
- 通过统一的扩散动作头，模型能够有效捕捉跨具身数据中的分布多样性与潜在行为关联，实现知识迁移。
Card 03
核心贡献
核心贡献
- 提出 X-DiffVLA 框架，为异构机器人具身设计了一个统一的、基于扩散模型的动作头，支持跨具身微调。
- 引入 Embodied Forcing (EBF) 与 Morphological Tree Diffusion (MPTD) 两项关键技术，在动作生成过程中增强对不同具身的区分能力与行为关联性。
- 在 RoboCasa 和 Isaac Gym 仿真环境中进行了全面评估，相比现有最优VLA基线，性能分别提升了 15.3% 和 12.5%。
- 在真实机器人上部署验证了框架的鲁棒性与从仿真到物理硬件迁移的有效性。
Card 04
方法描述
方法描述
- 核心架构利用扩散模型拟合多峰值动作分布的能力，构建统一的动作空间以接纳异构具身数据。
- Embodied Forcing (EBF) 是一种无分类器引导技术，通过 全局结构感知 和 局部功能感知 的噪声初始化，将形态信息融入去噪过程，引导动作生成。
- Morphological Tree Diffusion (MPTD) 方法借鉴蒙特卡洛树扩散的思想，通过构建形态树并在去噪过程中利用异构具身的“元动作”节点进行价值评估，强化不同末端执行器间的行为相关性挖掘。
- 使用 Soft Prompts 机制，为每个具身引入可学习的软提示参数，增强模型对异构机器人的判别能力。
Card 05
数据集与资源
数据集与资源
- 主要评估在 RoboCasa 和 Isaac Gym 仿真环境中进行，涵盖从夹爪到灵巧手的多种具身。
- 使用 Being-H0 2B 作为骨干视觉-语言模型进行验证。
- 仿真数据源于 GR00T 数据集 和 DexGraspNet 基准设置。
- 真实世界实验在 Franka Research 3 (FR3) 机械臂上部署，使用 Panda 夹爪和 Inspire 灵巧手。
Card 06
评估与结果
评估与结果
- 评估基准：在 RoboCasa（30类任务）和 Isaac Gym（10种物体抓取）中与多个先进VLA模型对比。
- 主要评估指标：任务 成功率。
- 关键实验结果：在 RoboCasa 中平均成功率达 64.5%，相比最优基线提升 15.3%；在 Isaac Gym 中平均成功率达 71.0%，相比最优基线提升 12.5%。
- 真实世界实验结果显示，模型成功实现了从平行夹爪数据到灵巧手的策略迁移，平均成功率 63.5%，验证了跨具身知识迁移的有效性。