BFA++: Hierarchical Best-Feature-Aware Token Prune for Multi-View Vision Language Action Model

• 中国科学院软件研究所
• 中国科学院大学
• LimX Dynamic (深圳)
• 南京大学
• 南洋理工大学
• 浙江大学

• 提出 BFA++，一种专门为多视角视觉-语言-动作模型设计的动态令牌剪枝框架，旨在解决冗余视觉令牌带来的实时性挑战。
• 核心目标是：提升推理速度 并 提高机器人操作成功率，通过感知任务的关键信息，剔除多视角输入中的冗余和干扰信息。
• 要解决的问题：现有面向大视觉语言模型的令牌剪枝技术直接应用于VLA模型时，由于忽略了视图间动态关系和任务特定特性，导致性能下降。

• 提出一种分层（局部分层和全局分层）令牌剪枝方法，通过视图间重要性预测器 和 视图内重要性预测器 这两种指导信号，在保留任务关键信息的同时鲁棒地消除冗余令牌。
• 设计了一个全面的离线两级重要性标注系统，用于生成监督数据，支持两个重要性预测器的训练。
• 实验表明，该即插即用框架可有效应用于 π0 和 RDT 两种主流的VLA模型，实现了 1.5-1.8倍 的推理加速，同时将操作成功率提升了约 10%。
• 分析表明，BFA++ 能有效分离不同视图的令牌分布，使视觉编码器的注意力更集中于任务关键区域（如机械夹爪、目标物体）。

• 提出 BFA++，一个用于VLA模型的分层令牌剪枝框架。
• 关键技术/创新点：

- 两级重要性预测器：视图间重要性预测器 动态评估不同相机视图在整个操作阶段的重要性；视图内重要性预测器 识别每个视图内任务相关区域（如夹爪、目标物体）的令牌重要性。

- 分层剪枝策略：首先基于视图内重要性分数进行局部剪枝，剔除每个视图内不重要的令牌；然后融合视图间和视图内重要性分数进行全局排名，跨所有视图统一剔除最不重要的令牌。

- 监督训练：两个重要性预测器在VLA后训练阶段，与主模型联合优化，使用包含动作预测损失和两个重要性预测辅助损失的总损失函数。

• 使用数据集：RoboTwin 基准数据集、RoboTwin2 的域外任务、5个真实世界机器人任务。
• 模型规模：基于两个主流VLA模型：π0 和 RDT-1B。
• 训练资源：使用 8块 NVIDIA A100 GPU 进行训练。推理在 单块 NVIDIA RTX 3090 GPU 上测试。

• 评估环境与基准：在 RoboTwin 仿真基准（8个任务）、RoboTwin2 的域外任务（4个任务）以及 5个真实世界机器人任务 上进行评估。
• 主要评估指标：任务成功率 和 推理控制频率。
• 关键实验结果：

- 在 π0 模型上，BFA++ 实现了 1.8倍 加速（从6.5 Hz提升至10.3 Hz），平均成功率提升约 10%。

- 在 RDT 模型上，实现了 1.5倍 加速（从1.0 Hz提升至1.5 Hz），平均成功率同样提升约 10%。

- 在真实世界任务和域外任务上，BFA++ 的表现也显著优于基线方法（π0, RDT）和其他剪枝方法（BFA, DART）。