RoboGene: Boosting VLA Pre-training via Diversity-Driven Agentic Framework for Real-World Task Generation

• 北京人形机器人创新中心
• 北京大学先进制造与机器人学院
• 北京理工大学
• 北京航空航天大学机械工程及自动化学院
• 北京大学计算机学院多媒体信息处理国家重点实验室

• 提出 RoboGene 框架，旨在自动化生成多样化、物理可行的真实世界机器人操作任务，以解决机器人预训练数据稀缺且分布不平衡（长尾分布）的问题。
• 目标是克服现有方法（人工设计不可扩展，大型基础模型易产生幻觉）的局限性，通过自动化任务生成来为视觉-语言-动作模型提供高质量、平衡的训练数据。

• 提出了 RoboGene，一个基于智能体的框架，通过多样性驱动的采样、自我反思机制和融合人类反馈的记忆模块，实现了大规模自动化任务生成。
• 引入了一套新颖的指标，用于定量评估生成任务的质量（如物理可行性）和生成数据集整体的多样性。
• 进行了大规模真实世界实验，收集了超过18k轨迹的数据集，验证了使用RoboGene生成的数据进行预训练的VLA模型具有更高的成功率与泛化能力。

• RoboGene是一个闭环的智能体框架，包含三个核心组件：

- 多样性驱动采样：采用最少使用频率策略对任务空间（场景、物体、技能）进行分层采样，以覆盖“长尾”区域，确保数据分布平衡。

- 自我反思与任务生成：首先由LLM/VLM生成初始任务，然后通过三个专门的评估器（物理可行性、新颖性、约束遵循）进行多角度审查并提供反馈，最后由反思优化器根据反馈进行修正，以确保任务质量和物理可行性。

- 融入人类反馈的记忆：通过一个长期记忆模块存储和检索在真实世界执行任务时获得的专家反馈知识（人在回路），采用检索增强生成技术来持续改进后续的任务生成。

• 使用RoboGene为单臂、双臂和移动机器人平台生成了900个任务（每种机器人类型300个）。
• 在真实世界实验中，收集了大规模的机器人数据集，包含18，000条轨迹，涵盖1，200个不同的任务（每个任务15次演示）。
• 评估中使用了大型基础模型GPT-4o和Gemini 2.5 Pro作为基线。

• 评估基准：与人工设计、规则基线以及GPT-4o、Gemini 2.5 Pro等大型基础模型进行比较。
• 主要指标：任务清晰度、机器人类型一致性、逻辑有效性、物体覆盖率、技能覆盖率、物理可行性，以及数据集多样性指标（BLEU, ROUGE-L, 余弦相似度）。
• 关键结果：

- 在个体任务质量上，RoboGene在所有评估指标上全面超越基线，特别是物理可行性达到98.99%，物体/技能覆盖率也远超LLM基线。

- 在数据集多样性上，RoboGene显著提升了任务在场景（分布更均匀）、物体（覆盖719个独特物体，是GPT-4o的1.7倍）和技能（覆盖91.5%的技能空间）上的覆盖度与平衡性。

- 真实世界实验表明，基于RoboGene生成数据预训练的π₀模型，在零样本泛化到新物体、背景变化、干扰物、光照变化和指令变化等场景时，表现出比所有基线模型都更优越的鲁棒性。