一眼看懂
封面预览
研究目标：解决 Vision-Language-Action (VLA) 模型高计算成本问题，提出可微分的网格采样剪枝方法
- 研究目标：解决 Vision-Language-Action (VLA) 模型高计算成本问题，提出可微分的网格采样剪枝方法
- 核心问题：现有 token 剪枝方法在效率和性能之间存在权衡，激进的压缩会丢失关键的几何细节（如接触点），导致性能严重下降
- 解决方案：提出 Differentiable Grid Sampler (GridS)，将 token 压缩重新定义为任务感知的连续重采样过程…
Card 01
研究单位
研究单位
- Yixu Feng, Zinan Zhao, Yanxiang Ma, Chenghao Xia, Chengbin Du, Yunke Wang, Chang Xu
- 研究机构信息需查看完整论文，从作者名单推断可能为中国或澳大利亚研究机构
Card 02
论文概述
论文概述
- 研究目标：解决 Vision-Language-Action (VLA) 模型高计算成本问题，提出可微分的网格采样剪枝方法
- 核心问题：现有 token 剪枝方法在效率和性能之间存在权衡，激进的压缩会丢失关键的几何细节（如接触点），导致性能严重下降
- 解决方案：提出 Differentiable Grid Sampler (GridS)，将 token 压缩重新定义为任务感知的连续重采样过程，而非被动离散 patch 丢弃
- 关键成果：实现 76% FLOPs 减少，同时成功率不降反升，在 OOD 场景中成功率提升 +28.6%
Card 03
核心贡献
核心贡献
- 可微分网格采样器 (GridS)：一种即插即用的模块，执行任务感知、连续的视觉 token 重采样
- 几何感知采样：通过预测连续坐标并使用可微分双线性插值提取特征，保留亚 patch 精度
- 极低 token 数量：在仅有 4-16 个视觉 token（原为 256 个）的情况下保持高性能
- 显著效率提升：推理速度提升 1.23×，训练速度提升 3.4×
- 卓越的泛化能力：在分布外 (OOD) 场景中表现显著优于基线
Card 04
方法描述
方法描述
- 全局坐标预测：使用全局平均池化聚合特征图获得上下文向量，通过 MLP 预测 K 个连续归一化坐标
- 几何注入的网格采样：使用可微分双线性采样从预测坐标处提取特征，添加坐标编码器生成位置嵌入
- 可微性与梯度流：双线性插值完全可微，梯度可从任务损失反向传播到坐标预测器，实现端到端联合优化
- 与 VLA 联合训练：与 π0、π0.5、SmolVLA 等多种 VLA 架构兼容
Card 05
数据集与资源
数据集与资源
- 数据集：LIBERO（4 个子集：Spatial、Object、Goal、Long）、ALOHA、Real-world (SO100 机器人)
- 模型架构：π0、π0.5（flow-matching）、SmolVLA（自回归）
- 视觉 token 数量：从 256 减少至 4-16 个（< 10%）
- 评估环境：RTX Pro6000 GPU、RTX 3090 (24GB)
Card 06
评估与结果
评估与结果
- LIBERO 基准：GridS16 达到 96.0% 成功率（基线 94.4%），FLOPs 减少 76%，执行时间减少 2.1s
- ALOHA 基准：16 个 token 达到 87.0% 成功率，推理延迟减少约 10%
- 真实机器人实验：Stack Cubes 任务中 +52.4% 提升，OOD 场景中基线完全失败时仍保持 38.1% 成功率
- 训练效率：批大小 128 时训练速度提升 3.4×
- 消融实验：K=16 为最佳权衡点，极端稀疏 (K=4) 导致完全失败，过多 token (K=32) 引入背景噪声导致性能下降