一眼看懂
封面预览
论文提出了 TempoFit，一种无需训练、即插即用的时间记忆模块，旨在提升预训练视觉-语言-动作模型在长视野机器人操纵任务中的表现。
- 论文提出了 TempoFit，一种无需训练、即插即用的时间记忆模块，旨在提升预训练视觉-语言-动作模型在长视野机器人操纵任务中的表现。
- 核心目标是解决现有主流VLA模型推理过程“无记忆”的问题，该问题导致其在存在遮挡、状态别名和细微变化的长时序、非马尔可夫环境中容易失败。
- TempoFit通过复用模型内部的 前缀注意力键/值 作为状态级记忆，在不扩展输入上下文、不引入可训练模块的前提下，为冻结的模型注入历史信息。
Card 01
研究单位
研究单位
- Xi’an Jiaotong-Liverpool University（西交利物浦大学）
Card 02
论文概述
论文概述
- 论文提出了 TempoFit，一种无需训练、即插即用的时间记忆模块，旨在提升预训练视觉-语言-动作模型在长视野机器人操纵任务中的表现。
- 核心目标是解决现有主流VLA模型推理过程“无记忆”的问题，该问题导致其在存在遮挡、状态别名和细微变化的长时序、非马尔可夫环境中容易失败。
- TempoFit通过复用模型内部的 前缀注意力键/值 作为状态级记忆，在不扩展输入上下文、不引入可训练模块的前提下，为冻结的模型注入历史信息。
Card 03
核心贡献
核心贡献
- 提出了 TempoFit，一种无需训练的推理时时间改装方案，可在不改变模型参数、训练目标或输入上下文长度的情况下，提升预训练VLA策略的时间一致性。
- 引入了 层级KV原生检索与注入算子，并结合 FGTB（帧间隙时间偏置），一种固定的即时性偏置，在冻结权重下抑制陈旧历史，减少历史与当前信息间的干扰。
- 在广泛使用的基准测试上进行了大量实验，证明了该方法在保持高推理效率和实时约束的同时，能提升长视野任务的成功率。
Card 04
方法描述
方法描述
- 整体流程：在选定的中间层缓存前缀 K/V 构成层级FIFO记忆，每步通过K-to-K检索匹配相关历史，再经由残差加载注入当前状态。
- 关键创新：提出 K-to-K检索，在预训练骨干网络的同一键空间（投影空间）内进行地址匹配，无需学习新的查询投影，保证与冻结骨干网络的兼容性。
- 时间偏置（FGTB）：受NLP位置偏置启发，在检索logits上增加一个与帧间隙成线性关系的负偏置，确保决策以当前信息为主导，且可解释、可调节。
- 范数保持残差注入：通过残差更新将检索到的历史上下文注入当前K/V表，并进行范数重缩放以维持数值稳定性，避免在冻结权重下发生分布偏移。
Card 05
数据集与资源
数据集与资源
- 主要评估基准：LIBERO-Long 和 CALVIN。
- 使用的基础模型：π0.5、QwenGR00T（来自StarVLA）。
- 推理资源：实验报告提及使用 NVIDIA RTX5090 GPU 进行效率测试。
Card 06
评估与结果
评估与结果
- 评估环境：LIBERO-Long（10个多子目标任务）和 CALVIN（D-D 和 ABC-D 设置）。
- 主要指标：任务平均成功率（LIBERO-Long）和连续成功任务的平均长度（CALVIN）。
- 关键结果：在 LIBERO-Long 上，TempoFit将 π0.5 基线成功率从92.6%提升至 96.6%（+4.0%），将 QwenGR00t 从90.8%提升至 94.4%（+3.6%），性能可比甚至优于需要训练的时序方法。在 CALVIN 上，D-D和ABC-D设置下的平均任务长度均有所提升。
- 效率结果：方法引入的推理开销极小，在历史容量为8帧时，延迟仅从71.2ms增加至74.4ms，显著优于帧堆叠方法。