DySL-VLA: Efficient Vision-Language-Action Model Inference via Dynamic-Static Layer-Skipping for Robot Manipulation

• 北京大学人工智能学院
• 北京大学集成电路学院
• 深圳人工智能与机器人社会研究院
• 北京大学电子工程与计算机科学学院
• 北京集成电路高精尖创新中心

• 针对视觉-语言-动作模型在机器人操作任务中推理计算成本高、延迟大的问题，提出了一种新颖的加速框架 DySL-VLA。
• 核心思路是利用机器人任务中不同动作的重要性差异，通过动态-静态层级跳跃的方法，在保证关键动作精度的同时，跳过非关键动作对应的不必要计算层。
• 旨在解决 VLA 模型在资源有限的机器人平台上实时部署的挑战。

• 提出了 DySL-VLA 框架，通过动态-静态层级跳跃 显著加速 VLA 模型推理。
• 提出了先验-后验跳跃引导机制，利用动作轨迹的连续性来近似动作重要性，智能地决定何时可以跳过层级，从而保证关键动作的准确性。
• 提出了一种跳跃感知的两阶段知识蒸馏算法，用于高效地将标准 VLA 模型训练成 DySL-VLA，大幅降低了训练参数量和步骤。
• 通过全面的实验验证了方法的有效性，在保持甚至提升模型性能的同时，实现了显著的推理加速和训练成本降低。

• 核心技术是动态-静态层级跳跃：首先通过观察确定 VLA 模型中信息量大的静态层（始终执行），以及对模型性能影响较小的动态层（可选择性跳过）。在推理时，跳过控制器根据先验-后验引导机制，动态决定是否跳过一连串动态层，并使用轻量级适配器来拟合被跳过层的信息。
• 创新点包括：1) 先验-后验跳跃引导：结合动作轨迹的连续性变化，通过“跳过允许点”的移动和重预测验证，确保重要动作不被跳过。2) 跳跃感知的两阶段知识蒸馏：第一阶段仅训练适配器，第二阶段再共同训练适配器和跳过控制器，解决了收敛问题，并大幅减少了需要训练的参数。

• 使用的数据集：CALVIN 和 LIBERO 机器人操作基准数据集。
• 模型规模与参数量：实验基于 RoboFlamingo-3B/9B 和 OpenVLA-OFT-7B 模型。DySL-VLA 仅需训练少量参数（例如在 RoboFlamingo-3B 上为 14M 参数），远少于基线方法。
• 训练与评估资源：在 RTX 4090 和 A6000 GPU 上进行训练和部分推理评估，并在 NVIDIA Jetson Orin 机器人计算平台上进行部署测试。

• 评估环境：在 CALVIN 和 LIBERO 数据集上的仿真环境及 Jetson Orin 硬件平台。
• 主要评估指标：任务完成度（CALVIN 为平均成功长度，LIBERO 为成功率 SR）和模型推理延迟。
• 关键实验结果：

- 准确性：在 CALVIN D->D 数据集上，相比 DeeR-VLA，DySL-VLA 实现了 2.1% 的平均成功长度提升。在 LIBERO 数据集上，平均成功率也优于基线方法。

- 效率：相比完整的 RoboFlamingo 基线，DySL-VLA 在 iso-accuracy 下实现了 3.75倍 的延迟降低（从 51.0ms 降至 13.6ms）。

- 训练成本：相比 DeeR-VLA，DySL-VLA 减少了 85.7倍 的可训练参数和 13.7倍 的训练步骤。