How Fast Can I Run My VLA? Demystifying VLA Inference Performance with VLA-Perf

• NVIDIA Research

• 论文针对视觉-语言-动作 (VLA) 模型在真实机器人部署中面临的实时推理性能挑战，提出了一个核心研究问题：未来应如何设计 VLA 模型和系统以支持实时推理？
• 为了解决 VLA 模型架构与推理系统组合空间庞大的问题，论文引入了 VLA-Perf 这一基于屋顶线模型的分析性能模型，用于预测任意模型-系统组合的推理延迟和吞吐量。
• 通过 VLA-Perf，论文对 VLA 推理性能进行了首次系统性分析，从模型设计（如模型缩放、架构选择、长上下文输入）和部署系统（如设备上/服务器端推理、硬件/网络性能）两个角度出发，提炼了 15 项关键性能启示，为未来 VLA 设计与部署提供实践指导。

• 提出了 VLA-Perf，一个可分析任意 VLA 模型与推理系统组合性能的、基于屋顶线模型的分析性能模型。
• 利用 VLA-Perf 进行了首次对 VLA 推理性能景观的系统性研究，涵盖了模型设计、部署配置和网络环境等多个维度。
• 通过全面的评估，从结果中提炼出 15 项关键的性能启示，为未来 VLA 模型和推理系统的设计提供了实用的指导原则。
• 将 VLA-Perf 模型开源，以支持更广泛的性能分析。

• 论文核心方法是开发了 VLA-Perf，这是一个基于屋顶线的分析性能模型。
• 创新点在于将复杂的 VLA 推理工作流抽象为一系列模型组件与数据移动阶段，并对每个模型组件的算子执行延迟使用屋顶线模型（计算与访存延迟取最大值）进行建模。
• 关键技术包括：对 VLA 推理过程进行建模与参数化；支持不同模型架构、长上下文、异步推理、双系统管道；支持不同部署位置（设备、服务器、混合）和网络配置的延迟计算。

• 论文未使用特定数据集，其研究重点是性能分析与建模。
• 评估基于一系列模型变体，这些变体源自 π0 架构（总参数量 2.7B），包含 SigLIP 视觉编码器（0.4B）、Gemma VLM（2B）和扩散动作专家（0.3B）。并研究了扩展到 9.1B、16.7B、81.3B 的更大模型。
• 评估涵盖了多种推理硬件，包括边缘 GPU (Jetson Thor)、消费级 GPU (RTX 4090)、数据中心 GPU (A100, H100, B100)。

• 评估环境：使用 VLA-Perf 对广泛的模型变体和推理系统配置进行性能预测分析。
• 主要评估指标：端到端推理延迟 和推理频率（Hz）。
• 关键实验结果：

- 基线分析：B100 等数据中心 GPU 可为小型 VLA 模型（如 π0）提供远超相机帧率的推理频率（最高 314 Hz），而边缘 GPU（Jetson Thor，19 Hz）性能受限。

- 组件瓶颈：动作预测在所有硬件上都是内存瓶颈，而视觉和 VLM 推理在除 Jetson Thor 外的大多数 GPU 上是计算瓶颈。

- 模型缩放：延迟随模型规模近似线性增长。数据中心 GPU（如 B100）可为大一个数量级（81B）的 VLA 模型保持实时推理（9.6 Hz），而边缘/消费级 GPU 则面临困难。

- 长上下文推理：数据中心 GPU 可支持长达 1K 个历史时间步的实时长上下文推理（11.7 Hz），而边缘/消费级 GPU 仅能支持约 100 步。

- 模型验证：在一个优化后的 π0 Triton 实现上进行验证，其实测性能达到了 VLA-Perf 预测屋顶线性能的 73-83%，证明了模型的有效性。