一眼看懂
封面预览
论文提出了 XL-VLA，一个用于灵巧操作跨具身学习的 视觉-语言-动作 框架。
- 论文提出了 XL-VLA，一个用于灵巧操作跨具身学习的 视觉-语言-动作 框架。
- 核心目标是为不同形态的灵巧手学习一个 共享的潜在动作空间，实现统一的策略训练与跨具身泛化。
- 解决了现有VLA模型在处理差异巨大的灵巧手动作空间时难以进行规模化训练和有效迁移的问题。
Card 01
研究单位
研究单位
- UC San Diego
- Amazon FAR
- UC Berkeley
Card 02
论文概述
论文概述
- 论文提出了 XL-VLA，一个用于灵巧操作跨具身学习的 视觉-语言-动作 框架。
- 核心目标是为不同形态的灵巧手学习一个 共享的潜在动作空间，实现统一的策略训练与跨具身泛化。
- 解决了现有VLA模型在处理差异巨大的灵巧手动作空间时难以进行规模化训练和有效迁移的问题。
Card 03
核心贡献
核心贡献
- 构建了一个大规模遥操作数据集，涵盖 10项任务 与 4种灵巧手（Ability, Paxini DexH13, X-Hand1, Inspire），包含 200万 状态-动作对。
- 提出一个无监督潜在自编码器框架，学习一个适用于多种灵巧手的 统一潜在动作空间，实现动作表征的具身无关性。
- 开发了完整的 XL-VLA 管道，该模型在跨具身设置下显著优于基线模型，并展现出对未见具身配置的 零样本泛化 能力。
Card 04
方法描述
方法描述
- 采用 多头部VAE风格自编码器，为每种灵巧手配备特定的编码器和解码器，将动作映射至共享的潜在空间。
- 通过三项约束训练潜在空间：重建损失 保留手部运动学，重定向损失 对齐不同手型的指尖几何，潜在损失 对潜在分布进行正则化。
- VLA模型基于 π₀ 架构，将原有的状态token替换为潜在动作token，在冻结编码器/解码器的情况下，仅微调动作专家模块。
Card 05
数据集与资源
数据集与资源
- 使用 自采集的大规模遥操作数据集，包含四种灵巧手和十项操作任务。
- 数据规模为 200万个状态-动作对。
- 论文提供的HTML片段中未明确说明训练所用的GPU/TPU等具体计算资源。
Card 06
评估与结果
评估与结果
- 在真实灵巧手上进行评估，与基线模型 π₀ 进行跨具身训练对比。
- 主要评估指标为各任务在每种灵巧手上的 成功率，每个任务执行10次。
- 关键结果显示，XL-VLA 在所有四种灵巧手和十项任务上均表现更优，平均成功率从基线的 32% 提升至 72%（+40%），验证了其跨具身学习与零样本泛化的有效性。