Habilis-$β$: A Fast-Motion and Long-Lasting On-Device Vision-Language-Action Model

• Tommoro Robotics

• 介绍了一个名为 Habilis-β 的快速运动、长时运行、可端侧部署的视觉-语言-动作模型，旨在满足实际部署需求。
• 提出了生产力-可靠性平面评估框架，使用每小时任务数 (TPH) 和平均干预间隔时间 (MTBI) 作为新指标，通过连续运行协议评估模型的性能。
• 解决当前VLA模型评估局限于单次尝试成功率、无法反映实际部署中所需的高速执行和持续鲁棒性（即“快速运动”和“长时运行”能力）的问题。

• 提出了针对实际部署的生产力-可靠性平面评估框架和新指标（TPH和MTBI），超越了传统的单次成功率评估。
• 设计并实现了Habilis-β VLA模型，其训练策略集成了在无语言标注的大规模游戏数据上进行预训练以获得鲁棒的交互先验，以及在循环任务演示数据上进行后训练以学习跨连续任务迭代的恢复能力和状态漂移适应。
• 引入了ESPADA（空间感知下采样） 方法，对演示数据进行阶段自适应（空闲/精确阶段）的运动加速，以提升自由空间移动速度。
• 采用校正流蒸馏技术，将多步流匹配动作专家模型蒸馏为高效的2步模型，实现在边缘设备上的高频控制，降低了推理延迟。
• 整合了无分类器引导 作为部署时的调节旋钮，以动态平衡指令遵循和学习到的交互先验。

• 模型采用前缀-后缀架构：预训练的VLM（视觉语言模型）前缀处理多模态观测（多视角图像和指令），流匹配动作专家后缀生成连续的动作块。
• 训练分为三阶段：第一阶段在游戏数据上进行无语言预训练，学习任务无关的交互先验；第二阶段在循环任务数据上进行后训练，并使用ESPADA加速自由空间动作；第三阶段通过校正流蒸馏将多步动作专家压缩成高效的2步模型。
• 关键技术包括：流匹配动作生成、校正流蒸馏、用于动作加速的ESPADA、用于在线调节的无分类器引导，以及通过缩短动作块长度实现的高频控制以提高闭环反应速度。

• 使用了两种类型的数据集：用于预训练的无结构游戏数据集和用于对齐任务的循环任务数据集。
• 模型规模未在提供内容中明确给出具体参数量。
• 训练资源：未在提供内容中明确说明使用的具体GPU/TPU。
• 在NVIDIA Jetson Orin 边缘设备上进行端侧推理。

• 评估环境：在仿真（RoboTwin 2.0环境） 和真实世界（RB-Y1人形机器人） 中进行1小时连续运行评估。
• 主要评估指标：每小时任务数、平均干预间隔时间 和成功率。
• 关键实验结果：

- 仿真实验：Habilis-β (带ESPADA) 实现了 572.6 TPH 和 39.2秒 MTBI，显著优于 π₀.₅ 基线（120.5 TPH， 30.5秒 MTBI）。在标准的RoboTwin 2.0单次尝试基准测试中，Habilis-β在多个任务上也取得了最高报告性能。

- 真实世界实验：在“双箱传送带包装”任务中，Habilis-β实现了 124 TPH 和 137.4秒 MTBI，而 π₀.₅ 基线为19 TPH和46.1秒 MTBI，成功率达到 82.7%。

- 生产力-可靠性平面图显示，Habilis-β在TPH和MTBI两个指标上均优于基线模型，定位在平面的“高生产力-高可靠性”区域。