一眼看懂
封面预览
提出 Ω-QVLA，首个针对视觉-语言-动作模型的训练-free后训练量化框架，实现全栈均匀W4A4量化
- 提出 Ω-QVLA，首个针对视觉-语言-动作模型的训练-free后训练量化框架，实现全栈均匀W4A4量化
- 解决以往量化方法只能处理LLM骨干而无法有效压缩DiT动作头、或依赖混合精度分配的问题
- 通过复合旋转与每步缩放技术，成功压缩模型至低比特精度同时保持任务性能
Card 01
研究单位
研究单位
- McGill University
- Université de Montréal
- Beijing University of Posts and Telecommunications
- Shanghai Jiao Tong University
- Mila – Quebec AI Institute
- SimpleWay.ai
Card 02
论文概述
论文概述
- 提出 Ω-QVLA，首个针对视觉-语言-动作模型的训练-free后训练量化框架，实现全栈均匀W4A4量化
- 解决以往量化方法只能处理LLM骨干而无法有效压缩DiT动作头、或依赖混合精度分配的问题
- 通过复合旋转与每步缩放技术，成功压缩模型至低比特精度同时保持任务性能
Card 03
核心贡献
核心贡献
- 提出首个实现VLA模型语言骨干与完整扩散动作头均匀W4A4量化的框架，无需混合精度分配
- 设计复合 SVD⋅Hadamard 旋转技术平衡权重通道能量并分散激活异常值
- 引入 每步DiT激活缩放量化 处理去噪过程中的动态范围漂移
- 在 LIBERO 基准上压缩模型至W4A4精度，任务成功率匹配或超越FP16基线（Pi 0.5：98.0% vs 97.1%；GR00T N1.5：87.8% vs 87.0%）
- 真实世界双臂操控实验验证量化模型可实现平滑准确控制
Card 04
方法描述
方法描述
- 采用 复合SVD⋅Hadamard旋转：SVD旋转平衡权重行能量分布，Hadamard旋转分散激活异常值
- 使用 块级实现（块大小64）降低计算开销，配合zigzag权重范数通道排列平衡块间能量
- DiT动作头采用 每步激活校准：预先计算每层每步每通道的缩放因子表，处理多步去噪中的动态激活变化
- LLM骨干使用GPTQ量化，DiT使用RTN量化配合每步激活缩放
Card 05
数据集与资源
数据集与资源
- 评估基准：LIBERO 机器人操控模拟基准（包含Spatial、Object、Goal、Long四个任务套件）
- 评估模型：Pi 0.5 和 GR00T N1.5 VLA模型
- 真实世界实验：双臂ARX R5平台上的5项操控任务（拾杯、放块、放水果、插花、折毛巾）
- 实验硬件：NVIDIA A100 GPU
- 校准数据：使用n=10条轨迹样本进行量化校准
Card 06
评估与结果
评估与结果
- 在LIBERO基准上实现 W4A4 全栈量化，静态内存占用减少 71.3%
- Pi 0.5 平均成功率达 98.0%（FP16基准：97.1%），GR00T N1.5达 87.8%（FP16基准：87.0%）
- 真实世界操控实验平均进度得分 51.0（FP16基准：49.6），显著优于QuantVLA基线（25.0）
- 量化后动作轨迹更平滑，避免基线方法出现的动作抖动和任务失败
- 消融实验证明复合旋转贡献8.5%性能提升，每步缩放对长序列任务至关重要