一眼看懂
封面预览
论文提出 Premover，一种轻量级模块，旨在将用户输入指令的空闲窗口转化为有用的预计算，以减少Vision-Language-Action…
- 论文提出 Premover，一种轻量级模块，旨在将用户输入指令的空闲窗口转化为有用的预计算，以减少Vision-Language-Action…
- 解决的核心问题：在真实部署中，用户输入指令需要数秒时间，而传统VLA模型在此期间处于空闲状态，该空闲时间占总交互时间的39%（平均）
- Premover通过在用户输入过程中进行预计算（计算focus map和判断readiness），使机器人能在指令完全输入前就开始行动，同时保…
Card 01
研究单位
研究单位
- 主要作者来自 UNIST（蔚山国立科学技术院），位于韩国蔚山
- 合作者来自 The Catholic University of Korea（韩国天主教大学），位于韩国富川
Card 02
论文概述
论文概述
- 论文提出 Premover，一种轻量级模块，旨在将用户输入指令的空闲窗口转化为有用的预计算，以减少Vision-Language-Action（VLA）模型的延迟
- 解决的核心问题：在真实部署中，用户输入指令需要数秒时间，而传统VLA模型在此期间处于空闲状态，该空闲时间占总交互时间的39%（平均）
- Premover通过在用户输入过程中进行预计算（计算focus map和判断readiness），使机器人能在指令完全输入前就开始行动，同时保持与完整指令基线相当的成功率
Card 03
核心贡献
核心贡献
- 提出 Premover 框架，包含两个轻量级投影头和一个可学习的阈值，附加在冻结的VLA主干上，参数量仅为主干的不到1%
- 设计 Vision-Language Focus Map，通过将图像块和语言token映射到共享空间，计算每个图像块与流式前缀的相关性分布，显式指导视觉注意力
- 引入 Action Readiness Gate，通过计算focus map的集中度并与可学习阈值比较，自动决定何时开始行动，避免过早行动导致的失败
- 在 LIBERO 和 VLA-arena 基准上进行全面实验，验证了Premover在减少墙钟时间的同时保持成功率的有效性
Card 04
方法描述
方法描述
- Premover基于冻结的 π_0.5 VLA主干，附加两个小投影头（用于图像和语言的2层MLP），将其中间层输出映射到共享潜在空间
- Focus Map计算：对每个图像块计算与所有流式前缀token的余弦相似度，取最大值并通过sigmoid得到相关性概率分布
- Focus Map注入：将上一步计算的focus map作为权重，乘性调整下一步的图像token嵌入，使用地板参数α=0.2来平衡集中注意力与保留场景上下文
- Readiness Gate：计算readiness score r_t（top-K平均与全局平均的差值），并与可学习阈值τ比较，r_t ≥ τ时开始执行行动
- 训练目标：联合优化focus map监督（使用模拟器分割掩码的类别平衡BCE损失）和readiness监督（使用二进制标签的BCE损失），仅训练投影头和阈值
Card 05
数据集与资源
数据集与资源
- 使用 LIBERO 基准套件（包含Spatial、Object、Goal和LIBERO-10四个子集）和 VLA-arena Level-1套件（包含Extrapolation、Distractor、Safe和Long-horizon）
- VLA主干模型为 π_0.5，Premover附加的投影头参数量少于主干的 1%
- 训练数据使用每个基准的训练集分割，分割掩码由模拟器渲染提供
- 论文未明确说明GPU/TPU等具体训练资源，但指出训练成本低，因为主干冻结
Card 06
评估与结果
评估与结果
- 评估环境：在LIBERO和VLA-arena基准上，使用流式协议，指令token以52.24 WPM的参考打字速度逐步揭示
- 主要评估指标：成功率（Success Rate）、墙钟时间（所有）（Wall-Clock Time (All)）、墙钟时间（成功）（Wall-Clock Time (Succ.)）
- 在LIBERO上：Premover将平均墙钟时间从 34.0秒 减少到 29.4秒（减少 13.6%），成功率保持 95.1%（与完整提示基线的95.0%几乎持平）
- 在VLA-arena上：Premover将平均墙钟时间减少到基线的 89.7%，成功率保持 30.9%（基线为33.0%，朴素预移动降至27.0%）
- 对比实验：朴素预移动成功率大幅下降（LIBERO上降至66.4%），Premover有效避免了这一失败，验证了focus map和readiness gate的关键作用