一眼看懂
封面预览
提出 KERV 框架，一个用于体现代理 视觉-语言-动作模型 的 运动学矫正推测解码 框架，旨在加速推理。
- 提出 KERV 框架，一个用于体现代理 视觉-语言-动作模型 的 运动学矫正推测解码 框架，旨在加速推理。
- 解决两个关键问题：1) 推测解码 在面对令牌错误时依赖于计算代价高昂的重新推理；2) 难以确定推测解码中的令牌接受阈值。
- 揭示了 令牌域 的VLA模型与运动学域的传统控制方法之间的差异，论证了二者结合的可行性与优势。
Card 01
研究单位
研究单位
- 北京大学（多位作者所属机构）
- 中国地质大学（武汉）
Card 02
论文概述
论文概述
- 提出 KERV 框架，一个用于体现代理 视觉-语言-动作模型 的 运动学矫正推测解码 框架，旨在加速推理。
- 解决两个关键问题：1) 推测解码 在面对令牌错误时依赖于计算代价高昂的重新推理；2) 难以确定推测解码中的令牌接受阈值。
Card 03
核心贡献
核心贡献
- 揭示了 令牌域 的VLA模型与运动学域的传统控制方法之间的差异，论证了二者结合的可行性与优势。
- 提出了名为 KERV 的运动学矫正推测解码框架，它使用基于运动学的卡尔曼滤波器预测动作来补偿推测解码错误，避免重新推理。
- 设计了一种基于运动学的自适应阈值调整策略，动态地矫正接受阈值，以保持高任务成功率。
- 根据计算特性设计了CPU-GPU异构硬件映射方案并实现了 KERV 系统。
- 通过广泛实验验证了框架的有效性，在多种任务和环境中实现了显著的加速，同时保持高成功率。
Card 04
方法描述
方法描述
- 核心是结合令牌域的 VLA模型 与运动学域的 卡尔曼滤波器 预测。
- KF-Based 补偿机制：当推测解码出现令牌错误时，使用KF预测剩余动作切片的动作，替代昂贵的重新推理。
- 运动学调整策略：利用 运动学变异性 作为度量，设计算法在推理过程中动态调整接受阈值，决定哪些错误令牌可以被接受。
Card 05
数据集与资源
数据集与资源
- 使用 LIBERO 基准进行评估，包含四个任务套件：LIBERO-Goal, LIBERO-Object, LIBERO-Spatial, LIBERO-Long。
- 主干验证模型为微调后的 OpenVLA，草稿模型为单个 LLaMA block。
- 训练使用 DeepSpeed 框架，在 2块 NVIDIA A800 (40G) GPU 上完成，耗时约12小时。
Card 06
评估与结果
评估与结果
- 评估环境：LIBERO 基准的不同任务套件。硬件平台为 Nvidia A800 GPU 和 Intel Xeon Platinum 8378A CPU。
- 主要指标：成功率、加速比、平均首次错误位置、平均推理步数。
- 关键结果：与基线（Naive VLA+SD）相比，KERV 实现了 1.48× ∼ 1.57× 的加速。与SOTA方法 SpecVLA 相比，KERV 实现了 27% ∼ 37% 的速度提升，同时几乎无成功率损失。在所有环境中，KERV 的平均推理步数最少。