一眼看懂
封面预览
论文提出了 DynaFLIP，一种动态感知的多模态预训练框架，旨在解决现有机器人视觉编码器缺乏运动理解能力的问题。
- 论文提出了 DynaFLIP，一种动态感知的多模态预训练框架，旨在解决现有机器人视觉编码器缺乏运动理解能力的问题。
- 该框架利用从人类和机器人视频中提取的 图像-语言-3D光流 三元组作为监督信号，训练仅接收单张图像输入的视觉编码器。
- 核心思想是通过最小化三模态特征在共享超球面空间中构成的 单纯形体积 来实现强对齐，并结合余弦正则化和对比目标解决优化过程中的几何模糊和模型崩塌问题。
Card 01
研究单位
研究单位
- Seoul National University
- University of Maryland, College Park
- Georgia Institute of Technology
Card 02
论文概述
论文概述
- 论文提出了 DynaFLIP，一种动态感知的多模态预训练框架，旨在解决现有机器人视觉编码器缺乏运动理解能力的问题。
- 该框架利用从人类和机器人视频中提取的 图像-语言-3D光流 三元组作为监督信号，训练仅接收单张图像输入的视觉编码器。
- 核心思想是通过最小化三模态特征在共享超球面空间中构成的 单纯形体积 来实现强对齐，并结合余弦正则化和对比目标解决优化过程中的几何模糊和模型崩塌问题。
Card 03
核心贡献
核心贡献
- 重新定义机器人泛化问题，提出视觉表征应编码动态和控制相关信息，而非仅关注视觉显著性。
- 提出基于单纯形引导的多模态对齐方法，将图像过渡、语言和3D光流的监督信号蒸馏到图像编码器中，并有效规避了单纯形体积最小化的固有陷阱。
- 构建了包含 260K 轨迹的大规模三元组数据集，验证了模型作为可复用骨干网络在多种下游策略中的有效性，在真实世界 OOD 场景下实现了最高 22.5% 的性能提升。
Card 04
方法描述
方法描述
- 采用 Simplex-Guided Multimodal Alignment 目标函数，通过最小化三模态嵌入构成的三角形面积（单纯形体积）来捕获高阶多模态几何关系。
- 引入 余弦正则化项 解决几何模糊问题，并嵌入 InfoNCE 对比框架 防止特征崩塌，确保优化过程稳健。
- 增加两个辅助目标：时间对比损失（$L_{tcn}$）用于增强轨迹级时间结构，演员损失（$L_{act}$）通过单步3D光流预测强化动态感知。
- 图像编码器基于 DINOv2 架构并全量微调，语言编码器使用冻结的 T5 模型配合可学习适配器，3D光流编码器处理运动轨迹特征。
Card 05
数据集与资源
数据集与资源
- 预训练数据集：自建数据集包含 260K 条轨迹，数据来源涵盖 Ego4d、Something-Something、Droid、Open X-Embodiment 等异构人类与机器人视频。
- 评估基准：仿真环境使用 MetaWorld（15任务）、RLBench（6任务）和 LIBERO（多任务套件）；真实世界使用 UR3 机械臂进行操作任务评估。
- 模型架构：图像编码器初始化自 DINOv2，语言编码器基于 T5 模型。
Card 06
评估与结果
评估与结果
- 在 MetaWorld 和 RLBench 上冻结编码器并训练轻量级 MLP 策略，DynaFLIP 在控制相关评分和下游成功率上均显著优于基线。
- 在 LIBERO 基准测试中，配合 Diffusion Policy，DynaFLIP 在冻结和 LoRA 微调设置下均取得最高的平均成功率，超越 R3M、VC-1、LIV、CLIP 等模型。
- 真实世界实验表明，DynaFLIP 在分布内任务上成功率最高，并在面对视觉、空间和语义分布偏移（OOD）时，相比最强基线性能提升达到 22.5%。
- Grad-CAM 和 PCA 可视化证实 DynaFLIP 能有效聚焦于被操控物体和交互区域，具有更清晰的对象级特征结构。