From Inference Efficiency to Embodied Efficiency: Revisiting Efficiency Metrics for Vision-Language-Action Models

• 香港科技大学 - 通讯作者 Chaojian Li 所属机构
• 乔治亚理工学院 - 通讯作者 Yingyan (Celine) Lin 所属机构
• 论文共同第一作者来自上述两个机构

• 论文指出当前视觉-语言-动作（VLA）模型研究中普遍使用的“效率”指标（如参数量、FLOPs、解码吞吐量）无法反映机器人平台的实际执行性能。
• 研究核心在于提出并验证“具身效率”概念，强调应从系统级行为（如任务完成时间、轨迹平滑度、累计关节旋转和运动能量）来评估 VLA 模型。
• 通过系统性实验，论文揭示了传统“推理效率”与实际“具身效率”之间的错位，旨在为 VLA 模型的评估与开发提供更全面、公平的视角。

• 提出了一套用于评估 VLA 模型“具身效率”的量化指标体系，涵盖任务持续时间（完成时间、路径长度）与运动平滑性（抖动、动作率）两个维度。
• 系统性地揭示了常见模型压缩技术（剪枝、量化）、Token 稀疏化和动作序列压缩方法在提升推理效率的同时，往往导致机器人执行效率下降或运动质量劣化。
• 证明了系统级“具身效率”指标能够揭示出在常规成功率或吞吐量评估下被掩盖的策略行为差异。
• 评估了上下文学习和监督微调等常见适应策略对“具身效率”的影响，发现其改善有限且存在指标间的权衡。
• 强调了在 VLA 模型的研究与部署中，必须将“具身效率”纳入考量，以实现计算效率与行为鲁棒性的统一。

• 论文采用实证研究方法，不提出新的模型架构，而是通过定义新的评估指标并对现有技术进行实验分析。
• 定义了五项核心“具身效率”指标：任务完成时间（τ）、末端执行器路径长度、关节空间路径长度、平均抖动 L2 范数（J）和平均动作率（R）。
• 在三个维度上测试了效率优化技术的影响：模型压缩（权重剪枝、后训练量化）、Token 压缩（视觉 Token 剪枝）和动作压缩（采用 FAST 分词器）。
• 进一步评估了上下文学习（通过提示词引导）和监督微调（引入辅助损失函数）两种适应策略改善“具身效率”的效果。

• 主要使用 Libero 基准数据集进行评估，包含四个任务套件：Libero-Spatial、Libero-Object、Libero-Goal、Libero-10。
• 额外在 Bridge 数据集上进行了部分实验，以验证结论的普适性。
• 评估的代表性 VLA 模型包括 π₀、π₀.₅ 和 MolmoAct。
• 实验在仿真环境中进行，每个任务运行 50 个评估回合或直至获得 10 个成功案例，具体训练硬件资源未在摘要中详述。

• 评估环境为标准仿真器，基准为各模型原始（未压缩）版本的成功率与效率指标。
• 主要评估指标为任务成功率（SR）及上述五项“具身效率”指标。
• 关键实验结果：

- 模型压缩：权重剪枝（如剪枝 5-10%）在成功率下降不显著的情况下，导致任务完成时间增加（最高+3.0%）、路径变长（最高+5.6%）和抖动加剧（最高+11.0%）。量化至 int4 导致抖动显著上升（最高+19.5%）。

- Token/动作压缩：视觉 Token 剪枝比例提高使运动抖动成倍增加；采用 FAST 动作分词器可缩短完成时间（最高-5.6%），但导致抖动大幅上升（最高+50.6%）。

- 适应策略：上下文学习可降低抖动（最高-25.8%）和动作率，但代价是完成时间延长（最高+11.2%）；监督微调加入辅助损失能降低抖动（最高-24.0%），但也会轻微增加完成时间。

- 总体结论：提升推理计算效率的方法可能损害系统级执行效率，仅关注推理效率不足以评价 VLA 模型的实际性能。