ElegantVLA: Learning When to Think for Efficient Vision-Language-Action Models

• 清华大学
• 伊利诺伊大学香槟分校

• 论文提出 ElegantVLA，一个相位自适应的推理加速框架，旨在提升 Vision-Language-Action (VLA) 模型的实时推理效率。
• 研究动机源于人类运动控制中认知资源非均匀分配的特性，主张VLA模型应根据任务阶段动态调整计算投入，而非在每个控制步骤执行全量计算。
• 论文解决了VLA模型因高计算成本和低控制频率而难以实时部署的问题，特别是在机械臂操作等延迟敏感场景。

• 提出了相位自适应的VLA推理框架，将效率优化问题建模为跨模块的动态计算调度问题。
• 设计了统一的时序重用机制，协同管理视觉编码器、LLM和动作头的计算，支持从全量重计算到多步时序复用的多级策略。
• 开发了基于强化学习的调度器训练框架，使调度器能学习在任务性能、计算成本和复用稳定性之间取得平衡的最优策略。

• 核心方法是一个轻量级调度器，它观察 CKA 时序表示相似性、机器人运动信号（速度）和任务进度，为每个控制步骤选择联合计算动作。
• 对于 Vision-LLM Backbone，调度器在五级计算模式（从全量计算到多步复用）中选择，决策依据是语义稳定性。
• 对于 Action Head（如扩散策略），调度器选择三级去噪模式（从全量精炼到复用中间步骤），决策依据是运动连续性。
• 调度器通过 两阶段强化学习（Maskable PPO） 进行训练：第一阶段使用规则引导的密集奖励进行初始化，第二阶段直接优化任务成功率和计算效率。

• 基础VLA模型：GR00T 和 CogAct。
• 仿真环境：SimplerEnv，包含 Google Robot 和 WidowX 机器人平台上的多种操纵任务。
• 真实世界平台：Franka Research 3 机器人，执行六项真实操纵任务。
• 模型规模与训练资源：论文未详细说明调度器或基础模型的参数量及训练所用GPU/TPU资源。

• 评估基准：在 SimplerEnv 仿真环境和真实世界机器人上，以任务成功率和推理加速倍数为核心指标。
• 关键实验结果：

- 在 GR00T (SimplerEnv) 上，平均加速 2.55倍，同时成功率从64.00%提升至65.88%。

- 在 CogAct (SimplerEnv) 上，平均加速达 3.77倍，且成功率优于基准方法。

- 在真实世界实验中，计算量减少 2.18倍，控制频率从 13.8 Hz 提升至 26.3 Hz，平均成功率从61.67%提高至65.00%。

- 在传送带抓取任务中，更高的控制频率帮助策略更好地追踪移动目标，提升了菠萝包和吐司任务的完成率。