一眼看懂
封面预览
论文提出 Latent Bridge，一种轻量级模型，用于预测视觉语言模型（VLM）在时间步之间的输出增量
- 论文提出 Latent Bridge，一种轻量级模型，用于预测视觉语言模型（VLM）在时间步之间的输出增量
- 该方法使动作头能够在预测的特征上运行，而昂贵的 VLM 主干仅周期性调用，从而解决双系统 VLA 模型的推理延迟瓶颈问题
- 核心目标是减少 VLM 调用次数（50–75%）同时保持 95–100% 的任务性能
Card 01
研究单位
研究单位
- Duke University
- Qualcomm AI Research
- University of Florida
Card 02
论文概述
论文概述
- 论文提出 Latent Bridge，一种轻量级模型，用于预测视觉语言模型（VLM）在时间步之间的输出增量
- 该方法使动作头能够在预测的特征上运行，而昂贵的 VLM 主干仅周期性调用，从而解决双系统 VLA 模型的推理延迟瓶颈问题
- 核心目标是减少 VLM 调用次数（50–75%）同时保持 95–100% 的任务性能
Card 03
核心贡献
核心贡献
- 提出 Latent Bridge：一种轻量级增量预测器，可在中间步骤跳过超过 50% 的 VLM 主干调用
- 在两种架构不同的 VLA 上实现该方法：GR00T-N1.6（特征空间桥接）和 π_0.5（KV 缓存桥接）
- 设计完整的任务无关三阶段训练流水线：同步数据收集、R0 桥接训练、DAgger 细化（R1）
- 在四个 LIBERO 基准测试套件、24 个 RoboCasa 厨房任务和 ALOHA sim 任务上实现 95–100% 性能保持率和 1.65–1.73× 实际加速
Card 04
方法描述
方法描述
- 桥接模型采用 DiT（Diffusion Transformer）架构，包含自注意力、交叉注意力（用于稳定上下文）和 AdaLN 条件化机制
- 核心创新：仅处理图像 token，跳过文本 token；使用零初始化输出投影确保模型从特征缓存基线开始
- 特征空间桥接预测单步特征增量；KV 缓存桥接预测所有层的 Key-Value 增量
- 训练损失采用 MSE 和余弦损失的加权组合，仅作用于图像 token
Card 05
数据集与资源
数据集与资源
- 评估基准：LIBERO（Spatial、Object、Goal、Long 四个套件）、RoboCasa（24 个厨房任务）、ALOHA sim（双臂搬运立方体任务）
- 基座模型：GR00T-N1.6-3B（Eagle 主干 + DiT 动作头）和 π_0.5（PaliGemma 主干 + Gemma-300M 动作专家）
- 桥接模型参数量：19M 至 148M（19M 模型已达到与 148M 相同的成功率）
- 训练资源：单块 GPU，每个套件训练数小时；推理硬件为 NVIDIA A100 80GB（bfloat16 + torch.compile）
Card 06
评估与结果
评估与结果
- 评估环境：四个 LIBERO 套件、RoboCasa 和 ALOHA sim
- 主要指标：成功率（SR）保持率、平均延迟、实际加速倍数
- 关键结果：在 LIBERO 上平均保持率达 94.54%（GR00T）和 96.92%（π_0.5），延迟降低 39–45%，实现 1.65–1.73× 实际加速
- 特征缓存基线成功率暴跌至 3–56%，而 Latent Bridge 保持高性能；token 剪枝方法（FastV、VLA-Cache）实际加速仅为 0.95–1.08×