一眼看懂
封面预览
论文旨在解决大型 Vision-Language-Action (VLA) 模型在显存受限的消费级 GPU 上运行时出现的内存溢出（OOM）问…
- 论文旨在解决大型 Vision-Language-Action (VLA) 模型在显存受限的消费级 GPU 上运行时出现的内存溢出（OOM）问…
- 针对 NVIDIA 的 Alpamayo-R1-10B 模型（需要 21.52 GB 显存），提出一种纯系统级优化框架，在不修改模型（保持 B…
- 该框架通过 CPU-GPU 内存交换 技术，使显存需求从模型级降至层级，并通过流水线技术与常驻层策略最小化推理延迟。
Card 01
研究单位
研究单位
- 论文作者为 Seungwoo Roh, Huiyeong Kim, and Jong-Chan Kim，文中未明确列出所属机构名称。
Card 02
论文概述
论文概述
- 论文旨在解决大型 Vision-Language-Action (VLA) 模型在显存受限的消费级 GPU 上运行时出现的内存溢出（OOM）问题。
- 针对 NVIDIA 的 Alpamayo-R1-10B 模型（需要 21.52 GB 显存），提出一种纯系统级优化框架，在不修改模型（保持 BF16 精度）的情况下实现高效推理。
- 该框架通过 CPU-GPU 内存交换 技术，使显存需求从模型级降至层级，并通过流水线技术与常驻层策略最小化推理延迟。
Card 03
核心贡献
核心贡献
- 提出了 常驻收益分析模型，推导出封闭形式的收益表达式，并据此提出了能最小化推理时间的 交错常驻层放置策略。
- 开发了 性能预测模型，仅需一次性能剖析即可在所有配置下实现低于 1.3% 的推理时间预测误差。
- 在 RTX 5070 Ti (16 GB) 上将推理延迟从 14.52 秒降至 4.09 秒，实现了相比 Hugging Face Accelerate 卸载方法 3.55倍 的加速。
- 跨平台（RTX 5070 Ti、RTX 3080 Ti）和跨模型验证了所提分析框架和优化策略的有效性。
Card 04
方法描述
方法描述
- 采用 顺序需求层化 技术，在推理前即时加载参数，将显存使用从模型级降至层级级粒度，实现 72% 的显存节省。
- 引入 流水线需求层化 与 双平缓冲区 机制，利用 GPU 的 Copy Engine 与 Execution Engine 并行性，隐藏 PCIe 数据传输时间。
- 提出 GPU-常驻层决策策略，通过计算各模块的常驻收益，优先将收益高的 VLM 层保持在 GPU 上，以消除无法被流水线隐藏的传输开销。
Card 05
数据集与资源
数据集与资源
- 主要测试模型为 NVIDIA 发布的 Alpamayo-R1-10B，参数量约 11.08B，BF16 精度下显存需求约 21.52 GB。
- 评估硬件平台包括 RTX 5070 Ti (16 GB VRAM) 和 RTX 3080 Ti (12 GB VRAM)。
- 使用的基准对比方法为 Hugging Face Accelerate 库的
device_map="auto"卸载模式。
Card 06
评估与结果
评估与结果
- 评估在 RTX 5070 Ti 和 RTX 3080 Ti 上进行，以推理延迟和显存占用为主要指标。
- 相比基准方法，所提框架在各个显存预算下均实现 3.5-3.6倍 的延迟降低。在 RTX 5070 Ti 上，最佳配置（28 常驻层）下推理时间从基准的 14.52 秒降至 4.09 秒。
- 性能预测模型与实测结果对比显示，所有配置下的预测误差均控制在 1.3% 以内。
- 数值正确性验证表明，优化后模型的输出轨迹与完全在 GPU 上运行时的结果完全位精确，误差为零。