一眼看懂
封面预览
论文提出了 LiteVLA-Edge，这是一个面向嵌入式机器人的部署导向型视觉-语言-动作（VLA）流水线。
- 论文提出了 LiteVLA-Edge，这是一个面向嵌入式机器人的部署导向型视觉-语言-动作（VLA）流水线。
- 旨在解决现有 VLA 模型计算需求大、推理延迟高，难以在功耗受限的边缘设备上部署的问题。
- 实现了完全离线的设备端推理，使机器人能够进行实时的闭环视觉运动控制。
Card 01
研究单位
研究单位
- Clark Atlanta University
- Siemens Corporation
Card 02
论文概述
论文概述
- 论文提出了 LiteVLA-Edge，这是一个面向嵌入式机器人的部署导向型视觉-语言-动作（VLA）流水线。
- 旨在解决现有 VLA 模型计算需求大、推理延迟高，难以在功耗受限的边缘设备上部署的问题。
- 实现了完全离线的设备端推理，使机器人能够进行实时的闭环视觉运动控制。
Card 03
核心贡献
核心贡献
- 在 NVIDIA Jetson AGX Orin 上实现了 150.5 ms 的端到端 VLA 推理延迟（约 6.6 Hz），相比之前的基线提升了约 220%。
- 提供了与 OpenVLA、EdgeVLA 和 Efficient VLA 的对比分析，展示了在低功耗硬件上优越的“推理-频率”平衡。
- 描述了一个使用 GGUF 量化 的部署就绪流水线，使消费级边缘芯片能够用于高频机器人控制。
- 验证了系统在连续 ROS 2 操作中保持确定性动作生成和低抖动（$\sigma < 0.2$ ms）的能力。
- 证明了该系统能够实现 闭环反馈，允许机器人在单一人类注意力窗口内对动态环境变化做出反应。
Card 04
方法描述
方法描述
- 采用 SmolVLM-256M 作为多模态骨干网络，并使用监督学习的图像到动作进行微调。
- 微调阶段使用 FP32 精度和 LoRA（Rank 8, Alpha 8）技术，以保证电机命令的高保真映射。
- 训练后使用 4-bit GGUF 量化 (Q4_K_M) 进行模型压缩，显著减小模型尺寸以适应边缘设备内存。
- 利用 llama.cpp 运行时和 CUDA 后端，将所有 42 层 Transformer 层卸载到 GPU，并截断上下文窗口至 512 以优化延迟。
Card 05
数据集与资源
数据集与资源
- 使用的数据集：精选的机器人演示数据集。
- 模型规模：基于 SmolVLM-256M（256M 参数）。
- 硬件资源：NVIDIA Jetson AGX Orin (64GB) 和 Jetson Orin NX。
Card 06
评估与结果
评估与结果
- 评估环境：完全在设备端进行，集成了 ROS 2 感知-推理-动作流水线。
- 主要指标：端到端推理延迟、推理频率和抖动（标准差）。
- 关键结果：平均推理延迟为 150.5 ms（约 6.6 Hz），标准差极低（0.13 ms）。
- 性能对比：相比 OpenVLA（需要桌面级 GPU）和早期 LiteVLA（多秒级延迟），实现了质的飞跃，达到了反应式控制所需的 6-10 Hz 阈值。