ABot-M0: VLA Foundation Model for Robotic Manipulation with Action Manifold Learning

• AMAP CV Lab

• 提出了 ABot-M0，一个面向机器人操作任务的视觉-语言-动作（VLA）基础模型，旨在实现“一个大脑，多种形态”（one-brain, many-forms）的通用具身智能体。
• 构建了大规模、标准化的数据集 UniACT-dataset，并提出 动作流形学习（Action Manifold Learning, AML） 等技术，以提升动作预测的效率与稳定性。

• 提出了 动作流形假设（Action Manifold Hypothesis），并设计了 动作流形学习（AML） 方法，让模型直接预测干净的动作序列，提升了生成效率和策略稳定性。
• 构建了统一的大规模机器人操作数据集 UniACT-dataset，通过系统地清洗、对齐六个开源数据集，形成了包含超过600万条轨迹、9500+小时数据、覆盖20+种机器人形态的混合训练集。
• 提出了一个双阶段训练范式，包括大规模预训练和空间感知的监督微调，以平衡模型通用性和特定任务的精度。
• 设计了一个模块化感知架构，通过双流机制整合视觉语言模型的语义特征与可插拔的3D模块（如VGGT和Qwen-Image-Edit）提供的几何先验和多视图信息，增强了空间理解能力。

• 模型采用两阶段架构：一个视觉语言模型（Qwen3-VL） 作为感知主干，一个扩散变换器（DiT） 作为动作专家。
• 核心创新点 动作流形学习（AML）：基于“有效动作存在于由物理规律和任务约束定义的低维光滑流形上”的假设，让DiT直接预测去噪后的动作块，将学习目标从拟合噪声转移到投影到可行的动作流形上，提升了推理速度和策略质量。
• 使用任务均匀采样策略进行大规模预训练，以平衡数据集和形态的分布，改善跨平台和跨任务的泛化能力。
• 通过可选的VGGT（单图像3D特征）和Qwen-Image-Edit（多视图特征合成）模块，以交叉注意力方式将3D几何信息注入到VLM特征中，增强模型的空间推理能力。

• 使用的核心数据集：通过清洗和对齐六个开源数据集（OXE、OXE-AugE、AgiBot-Beta、RoboCoin、RoboMind、Galaxea）构建的 UniACT-dataset。
• 模型规模：视觉语言模型为 Qwen3-VL 4B，动作专家为 DiT 0.16B。
• 训练资源：在1024的总批次大小下，进行了100K步的预训练。

• 评估环境：在多个模拟基准上进行评估，包括 LIBERO、LIBERO Plus、RoboCasa GR1 Tabletop Tasks 和 RoboTwin 2.0。
• 主要评估指标：任务成功率和动作预测的平均绝对误差（MAE）。
• 关键实验结果：

- 在LIBERO基准上平均成功率高达98.6%。

- 在LIBERO Plus上达到72.4%的平均成功率，优于基线方法。

- 在RoboCasa GR1 Tabletop Tasks上取得58.3%的成功率。

- 在RoboTwin 2.0上达到81.2%的成功率。

- 消融研究证明了动作流形学习、VLM特征交互和3D信息注入等核心组件的有效性。