HBVLA: Pushing 1-Bit Post-Training Quantization for Vision-Language-Action Models

• Xin Yan (作者1的机构未明确显示，推测为相关研究机构)
• Zhenglin Wan, Yang You (作者2和5的机构未明确显示，推测为新加坡国立大学或类似机构)
• Xingrui Yu, Ivor Tsang (作者3和6的机构未明确显示，推测为澳大利亚悉尼科技大学或类似机构)
• Hangyu Du (作者4的机构未明确显示)

• 提出 HBVLA，一种专为视觉-语言-动作模型设计的1比特训练后量化框架，旨在在保持策略性能的同时实现极致的模型压缩。
• 解决VLA模型在资源受限的机器人平台部署时，现有1比特量化方法因权重分布差距和动作生成敏感导致的性能严重下降问题。
• 核心目标是最大限度地减少量化误差，确保量化后的模型在闭环、长程执行中的动作精度和策略鲁棒性。

• 提出了策略感知的权重划分方法，通过校正的Hessian矩阵（融合了基于梯度的token重要性权重）来精准识别对动作生成至关重要的权重。
• 提出了基于稀疏正交变换的混合二值化方法，针对非关键权重，先进行重排序以降低Haar变换中的高频能量，再在频域进行组感知的1比特量化。
• 设计了一种残差感知的精细化量化流程，对关键权重在残差空间进行Haar变换和量化，以补偿非关键权重的近似误差。
• 在三个基准（LIBERO、SIMPLER、真实世界机器人）和三个VLA模型（OpenVLA、OpenVLA-OFT、CogACT）上进行了广泛评估，证明了方法显著优于现有最先进的二值化PTQ方法。

• 方法分为两步：1）策略感知权重划分：通过块级梯度回传计算token重要性，构建校正的Hessian来划分关键与非关键权重列。2）显著性感知的混合二值化：对非关键权重应用稀疏正交变换和Haar小波变换后进行分组1比特量化；对关键权重在残差上应用列向Haar变换后进行高保真量化。
• 关键技术包括：梯度引导的token重要性重加权Hessian、用于最小化高频能量的贪婪配对-链接重排序算法、以及在Haar域进行的组感知共享均值二值化。

• 使用的评估数据集/基准：LIBERO、SIMPLER、自建的真实世界机器人评估套件（包括拾放、序列指令、折叠任务）。
• 量化的基础模型包括：OpenVLA、OpenVLA-OFT、CogACT。模型参数量级通常为十亿级别（具体规模论文未明确列出）。
• 训练/实验资源：实验在NVIDIA A800 GPUs上进行。

• 评估环境：模拟环境（LIBERO, SIMPLER）和真实世界Mobile ALOHA双臂机器人。
• 主要评估指标：任务成功率，以及与全精度模型的性能差距（Δ）。
• 关键实验结果：

- 在LIBERO上，量化后的OpenVLA-OFT平均成功率达90.3%，保留了全精度模型92.2% 的性能，显著优于基线方法。

- 在SIMPLER上，量化后的CogACT在视觉匹配设定下平均成功率达70.0%，保留了全精度模型93.6% 的性能。

- 在真实世界任务中，HBVLA相比全精度模型仅有微小性能下降，大幅优于BiLLM、HBLLM等基线。

- 消融实验验证了策略感知Hessian和列L2范数重排序的有效性。