QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models

• 暂无内容

俄亥俄州立大学 (The Ohio State University)，印第安纳大学 (Indiana University)，密歇根大学 (University of Michigan)，香港城市大学 (City University of Hong Kong)

本文介绍了QuantVLA，一个专门为视觉-语言-动作模型设计的、免训练的后训练量化框架。该框架旨在解决VLA模型（尤其是基于扩散变换器的动作头）在部署时面临的计算和内存瓶颈。QuantVLA采用了一种尺度校准的PTQ方法，可以在保持架构不变、无需重新训练的情况下，对语言主干和DiT动作头进行有效的低比特量化，从而显著降低内存占用，同时维持甚至超越全精度基线的任务成功率。

1. 首次系统分析了基于DiT的VLA模型的量化敏感性，揭示了导致PTQ失效的关键原因。
2. 提出了QuantVLA，这是第一个用于VLA模型的免训练PTQ框架，能够在低精度推理下实现最先进的性能，并在部署时实现显著的内存节省。

QuantVLA框架包含三个尺度校准组件：

1. 选择性量化布局：对语言主干中的所有线性层和DiT中的所有MLP层进行整数量化，同时保持注意力投影（Q, K, V, O）为浮点数，以保留原始操作调度并避免放大分析中识别的两种误差漂移（注意力温度漂移和残差流能量漂移）。
2. 注意力温度匹配：一种轻量级的每头缩放机制，用于稳定注意力logits。它通过校准估算一个每头标量α，用于在推理时调整logits的温度，并折叠到去量化尺度中。
3. 输出头平衡：一种每层残差接口校准，用于缓解投影后的能量漂移。它通过校准估算一个每层标量β，用于匹配残差接口处的投影后能量，并折叠到去量化尺度中。

该框架基于DuQuant（一种结合通道平滑、块正交旋转和zigzag通道置换的鲁棒重参数化方法）进行构建，并针对VLA模型中语言与动作模块的紧密耦合引入了上述校准机制。

• 评估数据集：主要在LIBERO模拟器上进行评估。LIBERO包含四个任务套件：Spatial（空间关系推理）、Object（物体操作）、Goal（指令-目标对齐）和Long（长时程任务）。
• 扩展评估：还在Simpler操作基准上进行了跨任务鲁棒性评估（详见附录）。
• 训练资源：实验在NVIDIA A100 GPU上进行。QuantVLA本身是免训练的后训练量化方法，仅需少量未标记的校准缓冲区用于估计ATM和OHB的标量参数。

• 评估环境：LIBERO模拟器。
• 评估指标：标准LIBERO协议下的任务成功率。具体报告了Spatial、Object、Goal、Long四个子任务套件的成功率及其平均值。同时，还报告了量化模块（LLM+DiT）的内存占用（GB）以及相对于基线的相对内存节省百分比。
• 对比方法：将QuantVLA与全精度基线（FP16）以及基线PTQ方法DuQuant进行了比较。实验结果表明，QuantVLA在W4A8量化下，对于OpenPI π0.5和GR00T N1.5模型，不仅能将平均成功率保持在接近或超过基线水平（π0.5: 97.6% vs 97.1%；GR00T N1.5: 88.0% vs 86.5%），还能实现显著的内存节省（π0.5: 1.28GB vs 4.27GB，节省70.0%；GR00T N1.5: 0.91GB vs 2.02GB，节省55.0%），而直接应用DuQuant会导致性能大幅下降。