一眼看懂
封面预览
论文提出了 QuoVLA，一个基于商空间的视觉-语言-动作模型框架，旨在通过压缩预训练VLM表示来提升机器人控制的泛化能力
- 论文提出了 QuoVLA，一个基于商空间的视觉-语言-动作模型框架，旨在通过压缩预训练VLM表示来提升机器人控制的泛化能力
- 核心观点挑战了现有VLA方法假设的“动作不充足”诊断，提出预训练VLM表示实际上是“动作充足”的，但包含了动作无关的冗余信息
- 研究目标是通过商空间理论，将预训练VLM表示压缩为仅包含动作必要信息的最小充分表示，以提升在分布偏移下的泛化性能
Card 01
研究单位
研究单位
- 论文作者 Xuan Wang、Yinan Wu、Haoran Duan、Jungong Han 均来自 清华大学自动化系
- 通讯作者为 Jungong Han
Card 02
论文概述
论文概述
- 论文提出了 QuoVLA，一个基于商空间的视觉-语言-动作模型框架，旨在通过压缩预训练VLM表示来提升机器人控制的泛化能力
- 核心观点挑战了现有VLA方法假设的“动作不充足”诊断，提出预训练VLM表示实际上是“动作充足”的，但包含了动作无关的冗余信息
- 研究目标是通过商空间理论，将预训练VLM表示压缩为仅包含动作必要信息的最小充分表示，以提升在分布偏移下的泛化性能
Card 03
核心贡献
核心贡献
- 提出了首个 Quotient Theory for VLA，建立动作最小化作为VLA适配的表示原则
- 设计了 主动量化机制，显式去除VLM表示中的冗余信息，并通过门控直通估计器控制梯度传播，减轻动作监督对预训练知识的干扰
- 引入了 双分支动作生成设计，利用停止梯度的未量化分支作为参考，引导量化分支保留动作相关信息同时消除冗余
Card 04
方法描述
方法描述
- 使用 Transformer-based Prefix Quantization 将连续VLM表示映射到离散码，构建商空间表示
- 创新点包括 门控直通估计器 用于调节反向传播梯度，以及 相对时间复杂度约束 确保量化分支复杂度不超过参考分支
- 双分支设计包含停止梯度的未量化参考分支和量化分支，共同优化以保留动作充分性并去除冗余
Card 05
数据集与资源
数据集与资源
- 使用了多个仿真基准：LIBERO、LIBERO-PRO、LIBERO-Plus 和 RoboTwin 2.0
- 包含真实机器人实验设置
- 具体模型参数量和训练资源（GPU/TPU）未在提供片段中明确说明
Card 06
评估与结果
评估与结果
- 评估环境涵盖仿真基准和真实机器人系统
- 主要评估指标为任务成功率
- 实验结果显示 QuoVLA 在多个基准上取得强劲性能，特别是在视觉、语言和环境分布偏移下的泛化能力有显著提升