一眼看懂
封面预览
论文提出 ΔVLA，一种先验引导的视觉-语言-动作框架，通过建模相对于显式当前世界知识先验的世界知识变化来生成动作，而非回归绝对的未来世界状态。
- 论文提出 ΔVLA，一种先验引导的视觉-语言-动作框架，通过建模相对于显式当前世界知识先验的世界知识变化来生成动作，而非回归绝对的未来世界状态。
- 旨在解决现有预测式VLA模型关注预测结果而非推理变化过程的问题，该过程对于确定如何行动至关重要。
- 核心思想是构建一个当前世界知识先验作为因果锚点，并对其变化进行离散化建模，为动作生成提供稳定、一致的调节接口。
Card 01
研究单位
研究单位
- 哈尔滨工业大学（深圳）（Harbin Institute of Technology, Shenzhen）
- 大湾区大学（Great Bay University）
- 香港科技大学（广州）（The Hong Kong University of Science and Technology (Guangzhou)）
- 澳门理工大学（Macao Polytechnic University）
Card 02
论文概述
论文概述
- 论文提出 ΔVLA，一种先验引导的视觉-语言-动作框架，通过建模相对于显式当前世界知识先验的世界知识变化来生成动作，而非回归绝对的未来世界状态。
- 旨在解决现有预测式VLA模型关注预测结果而非推理变化过程的问题，该过程对于确定如何行动至关重要。
- 核心思想是构建一个当前世界知识先验作为因果锚点，并对其变化进行离散化建模，为动作生成提供稳定、一致的调节接口。
Card 03
核心贡献
核心贡献
- 提出了 ΔVLA 框架，这是首个将离散世界知识变化建模以显式当前世界知识先验为条件的VLA框架。
- 引入了 PWKE（Prior-Guided World Knowledge Extractor）模块，用于构建显式的当前世界知识先验作为因果锚点。
- 提出了 LWVQ（Latent World Variation Quantization）模块，通过VQ-VAE目标学习离散潜空间来编码世界知识变化。
- 设计了 CV-Atten（Conditional Variation Attention）机制，通过结构化注意力掩码减少跨模态干扰，促进解耦的变化学习。
- 在模拟基准和真实世界机器人任务上进行了广泛实验，证明了模型的优越性能和效率。
Card 04
方法描述
方法描述
- PWKE模块：利用 SigLIP 和 DINOv2 双编码器的互补优势，通过引入区域标记和世界标记，并使用辅助头和伪标签（如运动掩码、深度和语义）进行显式监督，提取语义、深度和可操作区域等当前世界知识。
- LWVQ模块：采用编码器-解码器架构，通过VQ-VAE目标以无监督方式学习世界知识变化的离散潜表示，将预测从全模态转移到紧凑的潜推理。
- CV-Atten机制：在LLM推理过程中，采用结构化注意力掩码策略，确保每个变化标记仅关注其对应的世界知识先验（如语义对语义、深度对深度），从而实现独立的变化推理。
Card 05
数据集与资源
数据集与资源
- 使用 LIBERO 模拟基准和 RoboTwin 2.0 模拟基准进行评估。
- 在真实世界机器人上进行了操作任务实验。
- 模型基于预训练的视觉-语言模型构建，具体参数量未在提供的片段中明确提及。
- 训练过程分为三个阶段，涉及PWKE、LWVQ和整体ΔVLA的训练，训练资源未在提供的片段中详细说明。
Card 06
评估与结果
评估与结果
- 评估环境包括 LIBERO 和 RoboTwin 2.0 模拟器以及真实机器人平台。
- 主要评估指标是任务成功率。
- 在 LIBERO 基准上，ΔVLA的平均成功率达到 97.9%，在所有比较方法中排名第一，在目标、长期和平均指标上均取得最佳或次佳成绩。
- 在性能和效率的权衡方面，ΔVLA显著优于现有的预测式VLA方法（如CoT-VLA、DreamVLA）和通用VLA方法（如OpenVLA）。