一眼看懂
封面预览
提出一种名为SAFE-Pruner的即插即用、训练无关的视觉token剪枝框架，用于加速Vision-Language-Action (VLA) 模型的推理，解决现有剪枝方法因依赖浅层线索而可能导致过早丢弃深层推理所需关键token的“短视”问题。
- 提出一种名为SAFE-Pruner的即插即用、训练无关的视觉token剪枝框架，用于加速Vision-Language-Action (VLA) 模型的推理，解决现有剪枝方法因依赖浅层线索而可能导致过早丢弃深层推理所需关键token的“短视”问题。
- 核心思想是利用VLA模型在连续操控任务中表现出的语义注意力一致性现象（即模型在不同控制步骤中持续关注相同语义实体的倾向），通过历史帧信息预测当前帧深层token的显著性。
- 引入自适应子任务划分策略，通过检测注意力突变来识别子任务边界，确保用于预测的历史帧与当前帧处于同一子任务内，提高预测准确性与剪枝可靠性。
Card 01
研究单位
研究单位
- 清华大学深圳国际研究生院（Tsinghua Shenzhen International Graduate School, Tsinghua University）
- GigaAI
Card 02
论文概述
论文概述
- 提出一种名为SAFE-Pruner的即插即用、训练无关的视觉token剪枝框架，用于加速Vision-Language-Action (VLA) 模型的推理，解决现有剪枝方法因依赖浅层线索而可能导致过早丢弃深层推理所需关键token的“短视”问题。
- 核心思想是利用VLA模型在连续操控任务中表现出的语义注意力一致性现象（即模型在不同控制步骤中持续关注相同语义实体的倾向），通过历史帧信息预测当前帧深层token的显著性。
- 引入自适应子任务划分策略，通过检测注意力突变来识别子任务边界，确保用于预测的历史帧与当前帧处于同一子任务内，提高预测准确性与剪枝可靠性。
Card 03
核心贡献
核心贡献
- 首次识别并验证了VLA模型在连续操控中的语义注意力一致性现象，揭示了剪枝决策的关键注意力规律。
- 提出了一个未来感知token剪枝框架，结合语义一致的注意力预测机制与自适应子任务划分，根本性地解决了现有方法的短视剪枝问题。
- 在仿真与现实世界环境中进行了全面评估，证明了方法能实现最高达1.89倍的加速，同时成功率下降不足1.7%，并优于现有最先进方法最高1.9%。
Card 04
方法描述
方法描述
- 基于Transformer模型中交叉注意力权重计算每个视觉token的显著性分数，传统方法仅在浅层剪枝。
- 创新点在于利用语义注意力一致性，从历史“关键时间步”（不剪枝并缓存全token显著性）预测当前帧深层token的显著性。
- 将预测的深层显著性分数与当前浅层显著性分数融合（加权求和），生成综合token重要性评分，用于指导剪枝。
- 通过计算浅层实际与预测显著性分数的余弦相似度来检测子任务边界，当相似度低于阈值时自动将当前步标记为关键时间步并刷新缓存。
Card 05
数据集与资源
数据集与资源
- 仿真基准：LIBERO（涵盖空间推理、对象交互、目标执行、长期规划四个任务套件）、SIMPLER（包含视觉匹配与变体聚合两种设置）。
- 真实机器人平台：Astribot S1双臂机器人，进行抓取放置、投篮、打包玩偶等任务。
- 模型架构：测试了四种主流VLA架构，包括OpenVLA、OpenVLA-OFT、CogAct与π0.5。
- 硬件资源：仿真实验使用NVIDIA RTX 4090 GPU，真实机器人实验使用NVIDIA RTX 3090 GPU。
Card 06
评估与结果
评估与结果
- 评估指标：任务成功率（衡量性能）、FLOPs（衡量计算量）、推理延迟（衡量实际速度）。
- LIBERO基准：方法在不同架构模型上均实现了效率与性能的最佳平衡。例如，在OpenVLA-OFT上，平均成功率仅从97.0%降至96.4%，而FLOPs减少至1.722 T，延迟降至37.22 ms，成功率比现有最佳方法高出1.9%。
- SIMPLER基准：在视觉匹配与变体聚合设置下，分别实现1.73倍和1.67倍加速，FLOPs保留率仅37.4%与36.2%，成功率与基线持平。
- 真实机器人实验：在三个真实任务上，与FastV相比，本方法在实现更低计算量（1.543 T vs. 1.857 T）与延迟（43.72 ms vs. 57.26 ms）的同时，保持了更高的平均成功率（78.3% vs. 71.7%）。
- 消融实验验证了未来预测模块与自适应子任务划分各自的有效性，两者结合效果最佳。