一眼看懂
封面预览
论文提出 Block-wise Adaptive Caching (BAC)，一种无需训练的加速方法，旨在降低基于Transformer的 D…
- 论文提出 Block-wise Adaptive Caching (BAC)，一种无需训练的加速方法，旨在降低基于Transformer的 D…
- 核心思路是通过缓存并复用中间动作特征来跳过冗余计算。方法包含两个关键组件：Adaptive Caching Scheduler 用于确定最优缓…
- 解决了现有扩散模型加速技术无法直接应用于Diffusion Policy的问题，主要归因于模型架构和数据特性的根本差异。
Card 01
研究单位
研究单位
- 清华大学
Card 02
论文概述
论文概述
- 论文提出 Block-wise Adaptive Caching (BAC)，一种无需训练的加速方法，旨在降低基于Transformer的 Diffusion Policy 的推理延迟，使其满足实时机器人控制的需求。
- 核心思路是通过缓存并复用中间动作特征来跳过冗余计算。方法包含两个关键组件：Adaptive Caching Scheduler 用于确定最优缓存更新时间点，Bubbling Union Algorithm 用于截断块间缓存误差传播。
- 解决了现有扩散模型加速技术无法直接应用于Diffusion Policy的问题，主要归因于模型架构和数据特性的根本差异。
Card 03
核心贡献
核心贡献
- 提出了 Block-wise Adaptive Caching (BAC) 框架，首个针对基于Transformer的Diffusion Policy设计的、无需训练的特征缓存加速方法。
- 设计了 Adaptive Caching Scheduler (ACS)，通过最大化全局特征相似度来优化缓存更新时间步选择，并采用动态规划算法高效求解。
- 提出了 Bubbling Union Algorithm (BUA)，基于对Diffusion Policy中“错误激增”现象的理论与实验分析，有效截断了跨块的缓存误差传播。
- 在多个机器人基准测试中进行了广泛实验，证明该方法能在保持动作生成质量无损的情况下实现高达 3倍 的推理加速。
Card 04
方法描述
方法描述
- 方法基于一个关键观察：特征相似度在不同时间步和不同网络块间呈现非均匀变化。
- Adaptive Caching Scheduler (ACS) 将寻找最优缓存更新时间步序列问题建模为最大化全局区间相似度的优化问题，并通过动态规划求解器高效计算出每个块的最优更新时间表。
- 针对将调度器扩展到块级别时出现的性能崩溃问题，论文揭示了由FFN块引入的“错误激增”现象，并归因于块间缓存误差传播。
- Bubbling Union Algorithm (BUA) 通过强制更新那些缓存误差较大的上游块，来截断流向下游FFN块的误差传播，从而保证了块级调度的有效性。
Card 05
数据集与资源
数据集与资源
- 实验在多个机器人控制基准上进行，包括 6-DoF机械臂 的抓放任务等。
- 使用的模型是基于 Diffusion Transformer (DiT) 骨干网络的扩散策略模型。
- 原文未明确提及模型的具体参数量以及所使用的GPU/TPU训练资源详情。
Card 06
评估与结果
评估与结果
- 评估环境为多个机器人仿真与真实世界任务基准。
- 主要评估指标包括推理速度（加速比）和动作生成任务的性能（如成功率）。
- 关键实验结果表明，BAC作为即插即用的模块，能够实现最高 3倍 的推理加速，同时保持与未加速模型相当的策略性能，实现了“免费”加速。