一眼看懂
封面预览
提出了 VLA-AD 框架，利用视觉语言模型（VLM）作为离线语义监督器，将大型视觉-语言-动作（VLA）教师模型蒸馏为轻量级学生策略。
- 提出了 VLA-AD 框架，利用视觉语言模型（VLM）作为离线语义监督器，将大型视觉-语言-动作（VLA）教师模型蒸馏为轻量级学生策略。
- 解决了大型 VLA 模型（如 OpenVLA-7B）推理延迟高难以实时部署，以及标准行为克隆学生策略易受教师噪声干扰和误差累积的问题。
- 方法仅在训练阶段使用 VLM 提供语义指导（阶段锚点和操作方向），部署时无需 VLM，实现零额外推理开销。
Card 01
研究单位
研究单位
- University College London
- University of Oxford
Card 02
论文概述
论文概述
- 提出了 VLA-AD 框架，利用视觉语言模型（VLM）作为离线语义监督器，将大型视觉-语言-动作（VLA）教师模型蒸馏为轻量级学生策略。
- 解决了大型 VLA 模型（如 OpenVLA-7B）推理延迟高难以实时部署，以及标准行为克隆学生策略易受教师噪声干扰和误差累积的问题。
- 方法仅在训练阶段使用 VLM 提供语义指导（阶段锚点和操作方向），部署时无需 VLM，实现零额外推理开销。
Card 03
核心贡献
核心贡献
- 零开销的 VLM 辅助蒸馏框架：提出了并行监督蒸馏方案，将 7B 参数的教师模型压缩为 158M 参数的学生模型，实现了 44 倍参数压缩和 3.28 倍推理加速，且性能与教师模型持平。
- 教师无关的语义监督机制：证明了该语义监督流程可跨架构通用（适用于 OpenVLA-7B 和 $\pi_{0.5}$-4B），学生模型甚至在部分任务集上超越了教师模型性能。
- 鲁棒的语义锚定设计：引入 9 类阶段锚点和多帧操作方向描述，帮助学生模型理解任务进程并过滤教师的高频噪声信号（如夹爪抖动）。
Card 04
方法描述
方法描述
- 采用 双路径监督 训练：一条路径结合 VLM 生成的语义描述进行监督，另一条纯图像路径防止模型过度依赖文本捷径。
- 设计了 阶段锚定视觉描述：利用启发式分类器为帧分配阶段标签（如抓取、运输），并注入 Qwen2.5-VL 的提示词中，强制生成一致的语义描述。
- 引入 多帧操作方向信号：针对单帧难以判断方向的“操作”阶段（如开抽屉），输入 5 帧序列让 VLM 提取（元素，方向）元组，解决方向歧义。
- 学生模型架构基于 Long-CLIP 编码器、LoRA 适配器和三流 MLP 头，通过 AdamW 优化器进行端到端训练。
Card 05
数据集与资源
数据集与资源
- 评估基准：LIBERO 套件（包含
libero_object、libero_spatial和libero_goal）。 - 教师模型：OpenVLA-7B 和 $\pi_{0.5}$-4B。
- 学生模型：统一的 158M 参数策略（含 Long-CLIP 和 LoRA）。
- 训练资源：每个学生模型约需 22 GPU 小时；使用 Qwen2.5-VL API 进行离线标注成本极低（约 7 美元/81,000 帧）。
Card 06
评估与结果
评估与结果
- 评估环境：在 NVIDIA RTX 4090 上进行闭环控制实验，每任务 20 轮，共 600 次试验。
- 性能表现：以 OpenVLA-7B 为教师时，158M 学生模型平均相对差距仅 0.27%；以 $\pi_{0.5}$-4B 为教师时，学生在 object 和 spatial 套件上超越了教师。
- 推理效率：学生模型在 RTX 4090 上达到 12.5 Hz，相比 OpenVLA-7B（3.8 Hz）提速 3.28 倍。
- 抗噪性分析：学生模型能过滤教师模型中约 3% 的虚假夹爪翻转信号，将震荡次数从 27 次降至 1 次。
- 阶段粒度选择：通过变异系数（CV）分析，确定 9 类阶段 分类法在平衡操作阶段表示方面最优。