一眼看懂
封面预览
论文提出了一种名为 Legato 的训练时延续方法，用于改进基于流匹配（flow-based）的视觉语言动作（VLA）策略在实时动作分块执行中…
- 论文提出了一种名为 Legato 的训练时延续方法，用于改进基于流匹配（flow-based）的视觉语言动作（VLA）策略在实时动作分块执行中…
- 旨在解决在实时分块执行中，由于推断延迟和策略固有的多模态特性导致的块间轨迹不连续和虚假多模态切换问题，从而提高任务效率和轨迹平滑性。
- 提出了 Legato，一个在训练时通过学习重塑流的动力学来实现逐步、基于计划引导的延续框架，确保了训练与推断的一致性。
Card 01
研究单位
研究单位
- 香港中文大学 (The Chinese University of Hong Kong)
- Spirit AI
- 南京大学 (Nanjing University)
Card 02
论文概述
论文概述
- 论文提出了一种名为 Legato 的训练时延续方法，用于改进基于流匹配（flow-based）的视觉语言动作（VLA）策略在实时动作分块执行中的轨迹平滑性。
- 旨在解决在实时分块执行中，由于推断延迟和策略固有的多模态特性导致的块间轨迹不连续和虚假多模态切换问题，从而提高任务效率和轨迹平滑性。
Card 03
核心贡献
核心贡献
- 提出了 Legato，一个在训练时通过学习重塑流的动力学来实现逐步、基于计划引导的延续框架，确保了训练与推断的一致性。
- 引入了随机化计划条件，以支持变化的推断延迟并提供对轨迹平滑性的灵活控制。
- 通过五个真实机器人操作任务的广泛实验表明，Legato 在轨迹平滑性和任务完成时间上始终优于现有的 RTC 和 Training-time RTC 方法。
Card 04
方法描述
方法描述
- 核心方法基于流匹配（Flow Matching）。Legato 通过学习重塑的速度场，将分块间的连续性内化为策略的固有属性。
- 关键技术包括：1）定义一个指导计划（guidance schedule），用于指定每个时间步应如何遵循已知（参考）动作；2）通过动作-噪声混合和推导出的连续动力学，确保在每一步去噪中都应用指导；3）重塑速度场以实现严格的训练-推断一致性。
- 创新点在于通过重塑的流动力学，实现了“逐步指导”和“训练-推断一致性”，使得连续性成为策略的固有（native）特性，而非像 RTC 那样仅在推断时施加的外部约束。
Card 05
数据集与资源
数据集与资源
- 未在摘要及主体部分明确提及训练所用的具体公开数据集名称。实验任务为真实世界机器人操作任务（如叠碗、倒水、抓取放置等）。
- 使用的模型是基于 VLA（Vision-Language-Action） 的流策略。论文提到了 π0 等流模型家族。模型的规模与参数量未在提供的章节中明确给出。
- 训练资源未在提供的章节中明确说明。
Card 06
评估与结果
评估与结果
- 评估环境：真实世界双手机器人平台，执行五个不同的操作任务（stack bowls, pour, pick-and-place, open drawer, fold towel）。
- 主要评估指标：任务完成分数、任务完成时间（秒）、以及平滑性指标（NLDLJ, NSPARC, Overlap RMSE）。
- 关键实验结果：如表 I 所示，在所有五个任务上，Legato 相比于 RTC 基线，任务完成时间平均减少了约 10-20%，并且平滑性指标（更低的 NSPARC, NLDLJ 和 Overlap RMSE）均有显著提升，表明轨迹更平滑、动作更连贯。