DyQ-VLA: Temporal-Dynamic-Aware Quantization for Embodied Vision-Language-Action Models

• 北京大学（计算机学院、电子与计算机科学学院）
• 华南理工大学（软件学院）
• 北京师范大学（人工智能学院）

• 论文针对具身智能中 Vision-Language-Action (VLA) 模型推理开销大、难以在边缘设备部署的问题，提出了一种动态量化框架 DyQ-VLA。
• 解决了静态量化方法无法适应 VLA 模型 时间动态敏感性（即不同执行阶段对量化误差容忍度不同）以及难以实时识别敏感性进行位宽分配的挑战。
• 通过利用运动学指标作为实时敏感性的代理，实现了精度与效率的平衡。

• 揭示了 VLA 模型量化的时间动态特性，并实证确立了运动学指标（Motion Fineness 和 Angular Jerk）作为敏感性识别可靠代理的有效性。
• 提出了 DyQ-VLA 动态量化框架，包含敏感性感知的精度切换策略和运动学引导的位宽分配模块。
• 在仿真和真实世界实验中验证了框架的高效性，仅需原模型 30.9% 的内存占用即可保持 99.5% 的性能，实现了新的实时边缘部署范式。

• 采用 静态权重量化（W4）与动态激活量化（AX） 的混合范式，权重视冻结为 INT4，激活位宽根据敏感性动态调整。
• 设计了 敏感性感知精度切换策略，融合 运动精细度 和 角加加速度 两个互补的运动学指标来估算实时敏感性，并利用滞后机制防止精度状态剧烈抖动。
• 提出了 运动学引导的位宽分配模块，通过离线校准确定阈值，将实时敏感性映射到最优硬件精度（如 INT2, INT4, INT8 或 BF16），并实现了异步 CPU-GPU 流水线以隐藏调度开销。

• 使用的数据集/基准：LIBERO 仿真基准（包含 Goal, Object, Spatial, Long 四个任务套件）以及真实世界机器人操作任务。
• 基础模型：OpenVLA（一种开源的 7B 参数量级 VLA 模型）。
• 硬件资源：NVIDIA A100 GPU 与 Intel Xeon Silver 4410T CPU。

• 评估环境：LIBERO 仿真环境及真实机器人硬件平台。
• 主要评估指标：成功率、峰值内存占用、端到端延迟及加速比。
• 关键实验结果：

- DyQ-VLA 在 LIBERO 基准上实现了 1.47倍 至 1.51倍 的推理加速，内存占用降至 4.7GB（原模型 15.2GB）。

- 相比 QVLA 等静态量化基线，该方法在保持甚至略微提升任务成功率的同时实现了显著的内存缩减（仅需原内存的 30.9%）。

- 真实世界实验中实现了最高 1.43倍 的加速，证明了其实际部署的有效性。