一眼看懂
封面预览
论文提出了 Realtime-VLA FLASH 推测推理框架，旨在解决基于扩散的视觉语言动作模型在实时部署中因全推理高延迟而受限的问题。
- 论文提出了 Realtime-VLA FLASH 推测推理框架，旨在解决基于扩散的视觉语言动作模型在实时部署中因全推理高延迟而受限的问题。
- 该框架通过引入轻量级草稿模型，利用主模型的 Action Expert 进行并行验证，并结合阶段感知回退机制，大幅减少昂贵全推理调用的次数。
- 核心目标是实现低延迟、高频重规划，同时不牺牲任务可靠性，使 dVLAs 能应用于延迟敏感的具身智能任务。
Card 01
研究单位
研究单位
- 中国科学院计算技术研究所处理器重点实验室
- 中国科学院大学
- 南京大学
- Dexmal
Card 02
论文概述
论文概述
- 论文提出了 Realtime-VLA FLASH 推测推理框架，旨在解决基于扩散的视觉语言动作模型在实时部署中因全推理高延迟而受限的问题。
- 该框架通过引入轻量级草稿模型，利用主模型的 Action Expert 进行并行验证，并结合阶段感知回退机制，大幅减少昂贵全推理调用的次数。
- 核心目标是实现低延迟、高频重规划，同时不牺牲任务可靠性，使 dVLAs 能应用于延迟敏感的具身智能任务。
Card 03
核心贡献
核心贡献
- 为基于流匹配的 dVLAs 构建了推测推理框架，并利用流匹配插值路径解决了连续动作验证的关键挑战。
- 引入了双路径推理运行时 Realtime-VLA FLASH，集成了轻量级草稿模型、基于流一致性的并行验证和阶段感知回退机制，以减少重规划中的全路径推理。
- 在 LIBERO 基准和真实世界任务中验证了框架有效性，证明了用低成本的推测轮次替代大量昂贵全推理轮次可大幅降低延迟，且基本保持任务成功率。
Card 04
方法描述
方法描述
- FLASH 采用双路径架构：原全路径和轻量级推测路径。推测路径仍编码当前图像，但跳过 VLM Prefill 阶段，由草稿模型生成候选动作块。
- 草稿模型 约110M参数，使用单个 Gemma 块结构，通过添加学习型动作查询并行预测完整动作块。
- 并行验证 利用流匹配结构：将草稿动作块与高斯噪声插值，在选定时间步并行使用主模型的 Action Expert 重构动作端点，并检查与草稿的一致性。
- 阶段感知回退 机制：检测夹持器开关事件作为进入精细调整阶段的信号，此时主动回退至全路径以防止误差累积导致任务失败。
Card 05
数据集与资源
数据集与资源
- 评估数据集：LIBERO 基准（包含 Spatial、Object、Goal、10 四个套件，每套件10任务），真实世界传送带分拣任务。
- 模型规模：草稿模型约 110M 参数，主模型 VLM 约 2.7B 参数。
- 训练与推理资源：所有在线推理实验在单块 NVIDIA RTX 4090D GPU 上运行。
Card 06
评估与结果
评估与结果
- 评估环境：模拟评估在 LIBERO 上进行，真实世界评估使用单臂 UR5 平台及传送带分拣任务。
- 主要指标：任务成功率、平均任务级推理延迟、每动作延迟。
- 关键结果：在 LIBERO 上，FLASH+Triton-π0 将推测轮次加速至 7.8ms（全推理58.0ms），平均任务延迟降至 19.1ms（实现 3.04× 加速），成功率仅下降0.3个百分点。在真实世界分拣中，FLASH+Triton-π0 在传送带速度高达 15 m/min 时仍能成功抓取，而其他方法失败。