一眼看懂
封面预览
提出 RoboInter，一个统一的、全面的中间表示资源套件，用于机器人操作，旨在解决现有VLA模型因数据集成本高、具身特定性强、多样性和覆盖度不足而导致的泛化难题。
- 提出 RoboInter，一个统一的、全面的中间表示资源套件，用于机器人操作，旨在解决现有VLA模型因数据集成本高、具身特定性强、多样性和覆盖度不足而导致的泛化难题。
- 引入 “计划-然后-执行” 范式，通过高质量的中间表示（如子任务、轨迹、抓取姿态等）将高层规划与底层执行连接起来。
- 问题：现有机器人操作数据集缺乏大规模、高质量、动作对齐的中间表示标注，限制了VLM和VLA模型的泛化、可控性和推理能力。
Card 01
研究单位
研究单位
- 中国科学技术大学
- 上海人工智能实验室
- 北京航空航天大学
- 南洋理工大学
- 浙江大学
- 清华大学
- 香港中文大学
Card 02
论文概述
论文概述
- 提出 RoboInter，一个统一的、全面的中间表示资源套件，用于机器人操作，旨在解决现有VLA模型因数据集成本高、具身特定性强、多样性和覆盖度不足而导致的泛化难题。
- 引入 “计划-然后-执行” 范式，通过高质量的中间表示（如子任务、轨迹、抓取姿态等）将高层规划与底层执行连接起来。
- 问题：现有机器人操作数据集缺乏大规模、高质量、动作对齐的中间表示标注，限制了VLM和VLA模型的泛化、可控性和推理能力。
Card 03
核心贡献
核心贡献
- 提出了 RoboInter-Tool，一个用于半自动逐帧标注多种中间表示的轻量级GUI工具。
- 构建了 RoboInter-Data，一个大规模数据集，包含超过 230k 个操作片段（571个不同场景），提供了超过 10 类密集的逐帧中间表示标注，在规模和标注质量上大幅超越先前工作。
- 引入了 RoboInter-VQA，一个具身视觉问答基准和数据集，包含9个空间和20个时间类别，用于系统地评测和增强VLM的具身推理能力。
- 提出了 RoboInter-VLA，一个集成化的“计划-然后-执行”框架，支持模块化和端到端的VLA变体，通过中间表示监督桥接高层规划与底层执行。
Card 04
方法描述
方法描述
- 使用 RoboInter-Tool 进行数据收集和半自动标注流程，包括任务分解、关键帧标注、物体识别与分割、末端执行器定位和后处理，生成多种中间表示。
- RoboInter-VLA 框架包含一个基于VLM的规划器和一个执行器。规划器通过VQA任务进行训练，具备生成和理解中间表示的能力；执行器基于VLM主干和扩散Transformer动作头构建。
- 提出了 灵活思维链，由多种中间表示组成，作为连接规划与执行的桥梁。支持三种范式：隐式条件端到端、显式条件端到端和模块化架构，允许灵活适应不同的具身任务。
Card 05
数据集与资源
数据集与资源
- 主要数据集：RoboInter-Data，源于 Droid 和 RH20T 等现有数据集，经筛选和重标注。
- 数据规模：超过 230k 个视频片段，包含约 6.1亿 帧物体定位标注、7千万 帧夹爪轨迹标注、19万 个功能框和放置建议标注，以及 76万 个语言片段标注。
- 模型规模：规划器基于 Qwen-VL 系列和 LLaVA-One-Vision 等VLM架构构建；执行器基于 Qwen2.5-VL 主干，结合DiT动作头。
- 训练资源：具体GPU/TPU信息未在提供内容中明确说明，但提及在实验中使用了这些模型。
Card 06
评估与结果
评估与结果
- 评估环境：在第三方基准（具身、定位、通用VLM任务）和自建的 RoboInter-VQA 基准上进行评估。
- 主要指标：包括准确率、动态时间规整距离、平均BLEU分数、IoU@阈值以及通用基准中的标准VLM指标。
- 关键结果：在第三方基准测试中，RoboInter 模型（如 RoboInter-Qwen-7B）在多个具身理解（如 Where2place， 65.8%）和定位任务上显著优于基线通用VLM。在 RoboInter-VQA 基准上，经过训练的规划器在空间生成（如物体定位）和时间推理（如轨迹生成）任务上表现出色，证明了其强大的具身理解和中间表示生成能力。