一眼看懂
封面预览
论文针对具身智能代理在执行多任务并行（如机械操作、对话交互、记忆构建）时，现有推理系统存在的计算冗余和资源竞争问题。
- 论文针对具身智能代理在执行多任务并行（如机械操作、对话交互、记忆构建）时，现有推理系统存在的计算冗余和资源竞争问题。
- 提出了 OxyGen 系统，这是一种针对 视觉-语言-动作（VLA）模型 的高效推理系统，引入了 统一 KV Cache 管理 范式。
- 该范式将 KV Cache 视为跨任务和跨时间的共享资源，通过消除冗余计算和协调调度，解决了多任务并行中的效率瓶颈。
Card 01
研究单位
研究单位
- 清华大学智能产业研究院（AIR）
- 清华大学电子工程系
- 中国科学技术大学
Card 02
论文概述
论文概述
- 论文针对具身智能代理在执行多任务并行（如机械操作、对话交互、记忆构建）时，现有推理系统存在的计算冗余和资源竞争问题。
- 提出了 OxyGen 系统，这是一种针对 视觉-语言-动作（VLA）模型 的高效推理系统，引入了 统一 KV Cache 管理 范式。
- 该范式将 KV Cache 视为跨任务和跨时间的共享资源，通过消除冗余计算和协调调度，解决了多任务并行中的效率瓶颈。
Card 03
核心贡献
核心贡献
- 识别了现有 MoT VLA 推理系统在多任务并行场景下效率低下的根本原因：KV Cache 的孤立管理。
- 提出了 统一 KV Cache 管理 推理范式，支持 跨任务 KV 共享 和 跨帧连续批处理 两大核心优化。
- 在主流模型 $\pi_{0.5}$ 上实现了该系统，在代表性机器人配置下实现了最高 3.7 倍 的加速，且未降低动作生成质量。
Card 04
方法描述
方法描述
- 设计了统一 KV Cache 管理器，维护可恢复的生成状态，包含 KV Cache、Token 缓冲区和终止标志，支持任务中断与恢复。
- 实现 跨任务 KV 共享，对共享观测仅执行一次预填充，供动作专家和语言专家复用，消除冗余编码。
- 提出 跨帧连续批处理，将跨多个帧的活跃语言请求打包进行并行解码，解耦了动作生成的硬实时约束与语言生成的软实时约束。
Card 05
数据集与资源
数据集与资源
- 评估数据集：LIBERO、DROID、ALOHA。
- 目标模型：基于 openpi 框架实现的 $\pi_{0.5}$（Mixture-of-Transformers VLA）。
- 硬件环境：单张 NVIDIA RTX 4090 GPU。
Card 06
评估与结果
评估与结果
- 评估指标包括动作频率、语言吞吐量、内存占用及能耗效率。
- 与孤立执行基线相比，OxyGen 实现了 1.2 倍至 3.7 倍 的加速，同时达到超过 200 tokens/s 的语言吞吐量和 70 Hz 的动作频率。
- 在 LIBERO 上的任务成功率测试表明，该方法在加速推理的同时保持了与原模型一致的动作质量。
- 能效评估显示，该方法将单个请求的能耗降低了高达 78%，仅增加了少量内存开销（约 15%）。