一眼看懂
封面预览
论文提出了 DepthCache，一个无需训练的视觉令牌压缩框架，旨在加速 视觉-语言-动作 (VLA) 模型的推理。
- 论文提出了 DepthCache，一个无需训练的视觉令牌压缩框架，旨在加速 视觉-语言-动作 (VLA) 模型的推理。
- 该框架利用深度图作为结构先验，对视觉令牌进行空间差异化合并，以保留近场工作空间的细节，同时压缩远距离背景。
- 论文旨在解决现有VLA模型因处理大量视觉令牌而导致的推理延迟高的问题，并克服现有剪枝或合并方法破坏空间推理能力的缺陷。
Card 01
研究单位
研究单位
- 华中科技大学 人工智能与自动化学院
- 华中科技大学 机械科学与工程学院
Card 02
论文概述
论文概述
- 论文提出了 DepthCache，一个无需训练的视觉令牌压缩框架，旨在加速 视觉-语言-动作 (VLA) 模型的推理。
- 该框架利用深度图作为结构先验，对视觉令牌进行空间差异化合并，以保留近场工作空间的细节，同时压缩远距离背景。
- 论文旨在解决现有VLA模型因处理大量视觉令牌而导致的推理延迟高的问题，并克服现有剪枝或合并方法破坏空间推理能力的缺陷。
Card 03
核心贡献
核心贡献
- 首次将深度信息用作外部结构先验，引导VLA模型推理时的空间差异化视觉令牌压缩。
- 提出了时间上连贯的压缩流水线，将令牌合并分布在连续帧中，并耦合深度比例分区与双重语义-几何保护机制。
- 在三个架构迥异的VLA模型 (π₀.₅, OpenVLA, GR00T) 上验证了方法的有效性，在 LIBERO 基准上实现高达 1.28× 的推理加速，且平均成功率下降小于 1%。
Card 04
方法描述
方法描述
- 技术方法分为主视图流水线和辅助视图流水线。主视图处理外部相机，通过深度引导进行渐进令牌合并；辅助视图处理腕部相机，根据末端执行器运动动态调整压缩。
- 主视图流水线包括：1) 场景初始化：基于LLM交叉注意力和深度梯度确定需保护的令牌集合；2) 基于深度的区域划分：使用K-Means对非保护令牌进行聚类，并按深度比例分配合并比率；3) 渐进令牌合并：在时间窗口内逐步执行合并，并监测深度变化以动态恢复区域分辨率；4) 重新初始化：在场景显著变化时重置流程。
- 辅助视图流水线使用一个轻量级状态机，根据夹爪开合状态和末端运动幅度，在“合并”与“全视图”状态间切换。
Card 05
数据集与资源
数据集与资源
- LIBERO 仿真基准，包含四个任务套件共40个任务。
- PIPER 6自由度机械臂和 Intel RealSense D435 RGB-D相机，用于真实世界实验。
- 评估了三个VLA模型：π₀.₅ (3.3B), OpenVLA (7B), GR00T (2.2B)。
- 实验在单块 NVIDIA RTX 4090 GPU (24 GB) 上进行。
Card 06
评估与结果
评估与结果
- 评估在仿真环境 LIBERO 和真实机器人平台 (PIPER机械臂) 上进行，以任务成功率 (SR) 和推理加速比为核心指标。
- 在LIBERO基准上，DepthCache为三个VLA模型带来 1.07× 至 1.28× 的加速，同时平均SR损失均小于 1%，显著优于现有的 FastV (剪枝) 和 ToSA (合并) 基线。
- 在真实世界的核心任务中，DepthCache维持了与基线相当的成功率 (总成功率 55/60 vs 52/60)，并实现了 1.33× 的平均推理加速。
- 在扩展场景中，DepthCache将多物体排序任务完成时间缩短了 22.7%，并将干扰恢复时间减少了 21.3%。