EdgeFM: Efficient Edge Inference for Vision-Language Models

• Go Further. AI
• School of Data Science, Fudan University (复旦大学数据科学学院)
• RUYi Dynamics Co., Ltd (如意动力有限公司)
• Independent Researcher (独立研究者)

• 论文提出了 EdgeFM，一个专为工业边缘部署设计的轻量级、跨平台视觉-语言模型（VLM）推理框架。
• 该框架旨在解决现有边缘推理方案中存在的硬件生态锁定问题以及通用框架在资源受限环境下难以满足确定性低延迟需求的问题。
• 通过引入 Agent-driven skills 和高度优化的内核库，EdgeFM 提供了一个开源、生产级的解决方案，打破了对闭源专有工具链的依赖。

• 边缘原生设计：针对单请求边缘负载优化，采用轻量级运行时和精简代码库，专注于最小化端到端推理延迟。
• 模块化分层架构：实现了模型、硬件和阶段感知的算子实现表，支持运行时动态调度最优内核，降低复杂度并支持组件独立演进。
• 跨平台硬件扩展性：原生支持 x86、NVIDIA Orin 以及国产 Horizon Journey 6 平台，并首次在 Horizon BPU 上实现了端到端 VLA（视觉-语言-动作）模型部署。
• 开源技能库：将 Agent 调优的高性能算子内核封装为可复用的技能模块，填补了与专有工具链的性能差距。
• 集成加速技术：集成了 CUDA Graph、推测解码和 KV Cache 优化等主流低延迟加速技术。

• 采用“Thin runtime, heavy kernels”（轻运行时，重内核）的设计原则，将核心计算卸载到高度优化的算子后端。
• 使用 算子实现表 根据硬件特征、执行阶段和输入形状动态调度特定的内核实现。
• 实现了 两阶段执行（Prefill 和 Decode），允许为不同阶段配置独立的部署工件以最大化性能。
• 引入了 固定前缀 KV Cache 复用 和 KV Cache 压缩技术，优化内存占用和计算效率。
• 利用 CUDA Graph 减少内核启动开销，并集成 EAGLE3-style 推测解码以加速生成阶段。

• 评估模型：Qwen2.5 系列模型（包括 VLM-0.5B/3B/7B 和 LLM-0.5B/1.5B/3B）以及 SmolVLA-base VLA 模型。
• 边缘硬件平台：

- x86 服务器配备 NVIDIA A800 GPU (80GB 显存)。

- NVIDIA Jetson Orin NX (8GB 内存)。

- Horizon Journey 6M (5GB BPU 内存)。

• 对比基线：TensorRT-Edge-LLM (NVIDIA 官方高性能推理框架)。

• 在 x86 平台 上，EdgeFM 在大多数配置下延迟优于 TensorRT-Edge-LLM，例如在 Qwen2.5-VL-0.5B 上 Prefill 阶段延迟降低了 36.16%。
• 在 NVIDIA Orin 平台 上，EdgeFM 相比 TensorRT-Edge-LLM 实现了高达 1.49倍 的加速，Decode 阶段延迟最高降低了 34.35%。
• 在 Horizon Journey 6M 平台 上，成功部署了 SmolVLA-base 模型，实现了确定性的低延迟推理，验证了框架对国产边缘芯片的适配能力和在具身智能场景下的实用性。