Robot-DIFT: Distilling Diffusion Features for Geometrically Consistent Visuomotor Control

• 达姆施塔特工业大学 (Technical University of Darmstadt)
• 卡尔斯鲁厄理工学院 (Karlsruhe Institute of Technology)
• 伦敦国王学院 (King’s College London)

• 论文提出Robot-DIFT框架，旨在解决接触式机器人操作中视觉表示不匹配的问题：主流的判别式视觉编码器（如CLIP、DINOv2）侧重于语义不变性，但抑制了精细几何敏感性，而这对于毫米级精度控制至关重要。
• 核心方法是流形蒸馏，将预训练的生成式扩散模型（如Stable Diffusion）中的丰富几何先验知识，蒸馏到一个确定性的空间-语义特征金字塔网络（S2-FPN）中，从而获得兼具几何精度、推理速度和时间稳定性的视觉主干网络。

• 揭示了机器人感知中的关键表示不匹配问题：指出判别式视觉主干由于其语义不变性目标，会抑制接触式精细控制所需的几何敏感性。
• 提出了流形蒸馏方法和S2-FPN学生架构：通过冻结的扩散教师模型，将几何先验蒸馏到单前向传播的确定性学生网络中，解决了直接使用扩散模型带来的随机性、高延迟和表示漂移问题。
• 提供了在大型机器人数据集DROID上预训练的通用视觉主干：该主干融合了像素级空间保真度和高层语义，适用于指令跟随任务。
• 实验验证了方法在几何一致性和控制性能上的优越性：在RoboCasa和LIBERO-10等多个基准测试中，性能超过包括VLA模型在内的强判别式基线，并成功部署于真实机器人。

• 核心技术：采用流形蒸馏，使用预训练的Stable Diffusion v2.1 U-Net作为冻结教师，其多尺度解码器特征作为监督信号。学生网络具有相同的U-Net结构，并添加了S2-FPN进行多尺度特征融合。学生以干净的图像潜变量作为输入，通过训练匹配教师在随机噪声步长下的特征流形。
• 创新点与关键技术：

- S2-FPN学生架构：通过全局到精细的特征融合，将粗粒度语义上下文注入细粒度几何特征中，平衡“做什么”和“在哪里做”的信息。

- 冻结教师约束：通过余弦相似度损失对齐学生和教师的所有解码器层特征，防止在策略微调时发生表示漂移。

- 对齐权重退火：训练初期使用较强对齐约束，后期逐渐减弱，以平衡几何先验保持和任务特定适应。

• 主要预训练数据集：DROID (一个大规模真实世界机器人操作数据集)。
• 评估数据集：RoboCasa (大规模模拟日常操作任务)、LIBERO-10 (语言条件的长视野任务)。
• 模型规模：教师模型为Stable Diffusion v2.1 (约8.6亿参数)。学生网络具有相同的U-Net结构，并增加了轻量级的S2-FPN和投影头。
• 训练资源：未在提供的原文中明确指定，但此类工作通常使用多块GPU进行训练。

• 评估环境与基准：在模拟器(RoboCasa, LIBERO-10)和真实机器人(Franka Emika Panda)上进行评估。主要与判别式视觉主干(CLIP, SigLIP, DINOv2/v3)、VLA模型(OpenVLA, π₀) 和视频动作模型(UVA, UniPi) 进行比较。
• 主要评估指标：任务成功率、推理速度（延迟）。
• 关键实验结果：

- 在RoboCasa的24个任务上，Robot-DIFT平均成功率达0.49，优于所有基线（DINOv3: 0.33， 纯扩散特征DIFT: 0.38），并在18个任务上取得最佳成绩。

- 在LIBERO-10上，Robot-DIFT取得最高成功率(0.93)，同时推理速度最快(0.01秒/轨迹)，显著优于UVA(0.90, 0.23秒)和π₀(0.85, 0.09秒)等模型。

- 真实机器人实验在四个需要递增几何精度的任务上验证了方法的有效性，特别是在高精度的“插针”和“按开关”任务中表现出色。

- 消融实验证实了多尺度特征融合和对齐权重退火策略的必要性。