一眼看懂
封面预览
提出了 BlockVLA 框架，通过 Block Diffusion 微调方法将预训练的自回归（AR）视觉-语言-动作（VLA）模型转换为高效…
- 提出了 BlockVLA 框架，通过 Block Diffusion 微调方法将预训练的自回归（AR）视觉-语言-动作（VLA）模型转换为高效…
- 解决了自回归模型推理延迟高、误差累积严重，以及标准离散扩散模型缺乏 KV 缓存机制导致推理效率受限的问题。
- 在保持全局因果依赖的同时实现块内并行去噪，结合了 AR 模型的推理稳定性与扩散模型的生成效率。
Card 01
研究单位
研究单位
- Xi'an Jiaotong University (西安交通大学)
Card 02
论文概述
论文概述
- 提出了 BlockVLA 框架，通过 Block Diffusion 微调方法将预训练的自回归（AR）视觉-语言-动作（VLA）模型转换为高效的离散扩散策略。
- 解决了自回归模型推理延迟高、误差累积严重，以及标准离散扩散模型缺乏 KV 缓存机制导致推理效率受限的问题。
- 在保持全局因果依赖的同时实现块内并行去噪，结合了 AR 模型的推理稳定性与扩散模型的生成效率。
Card 03
核心贡献
核心贡献
- 提出了 BlockVLA 框架，首创将预训练的自回归 VLA 模型通过 Block Diffusion 调整为离散扩散范式，成功保留了 KV 缓存机制并实现了高通量动作生成。
- 设计了针对 VLA 多模态不对称性的专用掩码策略，区分视觉语言上下文（持久条件）与动作生成目标，确保了训练与推理的一致性。
- 在 LIBERO 和 SimplerEnv 基准测试中实现了 3.3倍 的推理加速，并展示了显著优于基线的训练效率和收敛速度。
Card 04
方法描述
方法描述
- 采用 Block Diffusion 范式，将动作序列划分为多个块，在块级别维持自回归依赖，而在每个块内部进行并行扩散去噪。
- 基于 OpenVLA 的 Prismatic-7B 骨干网络（集成 SigLIP 和 DINOv2 视觉编码器），设计了块级因果注意力掩码以支持 KV 缓存复用。
- 移除了传统的 Token Shift 操作，通过实验证明此举能更好地对齐扩散训练与预训练 AR 模型的表征，提升模型性能。
Card 05
数据集与资源
数据集与资源
- 评估基准：LIBERO 基准（包含 Spatial, Object, Goal, Long 四个任务套件）和 SimplerEnv 基准（WidowX 平台抓取任务）。
- 模型骨干：基于 Prismatic-7B 架构（参数量约 7B），视觉编码器为 SigLIP 和 DINOv2，语言模型基于 Llama。
- 硬件资源：训练阶段使用 2 张 GPU，推理性能测试在单张 NVIDIA RTX 4090 GPU 上进行。
Card 06
评估与结果
评估与结果
- 评估指标：任务成功率、抓取计数和成功计数。
- 在 LIBERO 基准上，BlockVLA 在 50k 训练步内平均成功率达到 91.7%，显著优于 DDVLA 基线的 83.2%。
- 在 SimplerEnv 真实到仿真评估中，BlockVLA 在多样化抓取任务中保持了具有竞争力的性能表现。
- 实现了相较于标准离散扩散基线 3.3倍 的推理吞吐量加速，特别是在复杂长视野任务中展现了卓越的早期训练性能。