提出 FlowHOI，一个两阶段的条件流匹配（flow-matching）框架，用于生成基于语义的、时序连贯的手-物体交互序列。
- 提出 FlowHOI，一个两阶段的条件流匹配（flow-matching）框架，用于生成基于语义的、时序连贯的手-物体交互序列。
- 旨在解决机器人灵巧操作中长时序、接触密集任务的问题，通过显式生成包含手部姿态、物体姿态和接触状态的身体无关交互表示。
- 核心研究问题：如何生成物理合理、与场景几何和语言指令语义对齐的交互序列，并提升推理效率和解决高质量监督数据稀缺问题。
研究单位
- Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)
- Technical University of Munich (TUM)
- National University of Singapore (NUS)
- Westlake University
论文概述
- 提出 FlowHOI，一个两阶段的条件流匹配（flow-matching）框架，用于生成基于语义的、时序连贯的手-物体交互序列。
- 旨在解决机器人灵巧操作中长时序、接触密集任务的问题，通过显式生成包含手部姿态、物体姿态和接触状态的身体无关交互表示。
- 核心研究问题：如何生成物理合理、与场景几何和语言指令语义对齐的交互序列，并提升推理效率和解决高质量监督数据稀缺问题。
核心贡献
- 提出了首个基于流匹配的统一、条件化、语义接地的HOI生成方法，将生成解耦为几何中心的抓取阶段和语义中心的操控阶段，实现了高达 40倍 的推理速度提升。
- 通过运动-文本对齐损失和结合几何与语义的混合3D场景表示（从3D高斯泼溅重建中提取），实现了HOI生成的语义接地。
- 设计了一个从大规模自我中心视频中重建高保真HOI数据的流水线，用于学习一个鲁棒的HOI先验知识，以克服数据稀缺问题。
- 在 GRAB 和 HOT3D 基准测试中，实现了最高的动作识别准确率和 1.7倍 的物理模拟成功率提升，同时在真实机器人灵巧操作任务中验证了可行性。
方法描述
- 采用两阶段条件流匹配框架。
- 第一阶段（抓取）：基于预训练的抓取先验（从重建的自我中心视频数据中微调），生成接近和抓取物体的手部运动。
- 第二阶段（操控）：以第一阶段输出的抓取状态、语言指令和紧凑的3D场景特征为条件，生成后续的交互动作序列。
- 关键技术/创新点：
- 使用x-prediction 变体的条件流匹配（Conditional Flow Matching）进行高效生成和提升时序稳定性。
- 采用混合3D场景表示，融合几何嵌入（来自 Concerto）和语义嵌入（来自 SceneSplat），并使用感知器（Perceiver）瓶颈压缩，以实现高效的条件注入。
- 引入了对比对齐损失（InfoNCE-based） 来增强生成动作与语言指令的语义一致性。
- 设计了子序列软修复（soft inpainting） 和硬约束（hard constraint），确保两阶段生成的平滑过渡。
数据集与资源
- 训练/评估数据集：
- GRAB（用于无场景定量评估）
- HOT3D（用于带3D场景的评估）
- EgoDex（重建后用于预训练抓取先验模型）
- 模型规模与参数量：文中未明确给出总参数量。使用的文本编码器为 T5-Large。
- 训练资源：在单块 NVIDIA RTX 6000 Ada GPU (48GB) 上训练，总批大小为64。
评估与结果
- 评估环境与基准：在 GRAB 和 HOT3D 数据集上，与 DiffH2O 和 LatentHOI 等扩散基线方法进行对比。
- 主要评估指标：
- 物理交互质量：穿透体积（IV）、穿透深度（ID）、接触率（CR）、单位接触穿透体积（IVU）。
- 动作质量：动作识别准确率（AR）、样本多样性（SD）、整体多样性（OD）。
- 可实现物理可行性：物理模拟成功率（SR）、保持时间（HT）、启发式物理合理性（Phy）。
- 效率：每序列推理时间。
- 关键实验结果：
- 在 GRAB 数据集上，FlowHOI 实现了最高的动作识别准确率（0.95）、最低的单位接触穿透体积（0.13）和最高的物理模拟成功率（55.96%）。
- 推理速度显著提升，仅需 0.16秒/序列，比最快的扩散基线（LatentHOI: 3.57秒）快约 22倍（论文称最高达40倍）。
- 在真实机器人实验中，成功将生成的HOI序列重定向到 Allegro 灵巧手，完成了四种灵巧操作任务（放置、堆叠、打开、倾倒）。