一眼看懂
封面预览
提出一个名为MINT（Mimic Intent, Not Just Trajectories）的新型模仿学习框架，核心思想是模仿行为意图，而不仅仅是轨迹。
- 提出一个名为MINT（Mimic Intent, Not Just Trajectories）的新型模仿学习框架，核心思想是模仿行为意图，而不仅仅是轨迹。
- 旨在解决现有视觉-语言-动作（VLA）模型在适应环境变化和技能迁移方面的局限性，这些局限性源于仅模仿原始轨迹而未理解底层意图。
- 提出了基于频谱解耦的动作分词器（SDAT），通过多尺度频域令牌化，将行为意图（低频全局结构）与执行细节（高频细节）显式地解耦。
Card 01
研究单位
研究单位
- 上海交通大学
- 上海创新研究院
Card 02
论文概述
论文概述
- 提出一个名为MINT（Mimic Intent, Not Just Trajectories）的新型模仿学习框架，核心思想是模仿行为意图，而不仅仅是轨迹。
- 旨在解决现有视觉-语言-动作（VLA）模型在适应环境变化和技能迁移方面的局限性，这些局限性源于仅模仿原始轨迹而未理解底层意图。
Card 03
核心贡献
核心贡献
- 提出了基于频谱解耦的动作分词器（SDAT），通过多尺度频域令牌化，将行为意图（低频全局结构）与执行细节（高频细节）显式地解耦。
- 引入意图令牌和执行令牌的层次化表示，并设计了逐级频谱重建目标，强制不同尺度的令牌学习不同频段的信息。
- 开发了MINT策略学习方法，采用跨尺度的自回归建模进行从意图到执行的渐进式推理。
- 实现了基于意图的动作集成，利用意图令牌的相似性来平滑不同时间步的动作预测，增强稳定性。
- 提出并验证了单样本技能迁移能力，通过从单次演示中提取意图令牌并注入到生成过程中，即可快速适应新任务、新布局和更长规划时域。
Card 04
方法描述
方法描述
- 这是一个两阶段框架：首先训练SDAT，它是一个结合了离散余弦变换（DCT）和多尺度残差矢量量化的变分自编码器，用于将连续动作轨迹分解为多尺度离散动作令牌。
- 关键技术/创新点：在频域施加逐尺度重建损失，强制最粗的尺度（意图令牌）捕捉低频全局信息，而更精细的尺度（执行令牌）捕捉高频残差细节。
- 随后训练MINT策略，该策略基于视觉、语言和本体感觉输入，以自回归方式从粗到细预测多尺度动作令牌，最后通过SDAT的解码器生成连续轨迹。
Card 05
数据集与资源
数据集与资源
- 使用的数据集：LIBERO、CALVIN、MetaWorld 以及更具挑战性的 LIBERO-Plus 基准测试。
- 模型规模：提出两种变体，MINT-30M（约3千万参数）和 MINT-4B（约40亿参数，其中动作专家约3亿参数）。
- 训练资源：文中提到了两种模型的训练，MINT-4B 使用了预训练的 PaliGemma-2.6B 和 SigLIP 视觉编码器。
Card 06
评估与结果
评估与结果
- 评估环境：在多个模拟机器人操作基准测试以及一个真实机器人系统上进行。
- 主要评估指标：任务成功率、长序列任务完成率、在多种扰动（相机视角、光照、布局等）下的鲁棒性。
- 关键实验结果：在LIBERO、CALVIN、MetaWorld 上达到或超过了现有最先进方法（如 π₀.₅、UniVLA、OpenVLA-OFT）的性能。
- 在LIBERO-Plus 鲁棒性测试中，MINT-4B 的平均成功率达到 80.1%，显著优于最强的基线模型 OpenVLA-OFT（71.4%） 和 π₀.₅（65.0%）。
- 单样本迁移实验显示，通过意图令牌注入的方法（MINT-Zero-30M）在新任务、新布局和扩展时域任务上的平均成功率高达 77%，远超单样本微调的基线（17%）。
- 真实机器人实验在仅需约20次演示/任务的条件下，表现优于 π₀.₅ 基线 29%。