Rethinking Visual-Language-Action Model Scaling: Alignment, Mixture, and Regularization

中国人民大学 (Renmin University of China)，BeingBeyond，北京大学 (Peking University)

本研究对视觉-语言-动作模型在大规模异质机器人数据上扩展的有效性进行了系统的、受控的实验研究。研究挑战了“简单扩大数据规模就能提升泛化能力”的普遍假设，深入探讨了三个核心设计维度（物理对齐、本体数据混合、训练正则化）对VLA模型性能的影响。论文构建了一个基于混合专家架构和流匹配动作生成的代表性VLA框架作为受控测试平台，并提出了一个分组盲集协议以减少真实世界评估中的实验者偏差。

1. 识别出末端执行器相对坐标动作表示对于跨本体迁移学习至关重要，提供了对通用策略更有优势的动作参数化选择。
2. 揭示了在VLA预训练中，简单混合异质机器人数据常常导致性能下降而非提升，挑战了在机器人领域简单放大数据规模的有效性。
3. 实证表明，一些直观的训练正则化策略（如感官丢弃、多阶段微调）在大规模训练中并不能稳定地带来性能增益。
4. 提出了一个分组盲集评估协议，通过将模型身份匿名化和分离策略执行与结果判定，显著减少了真实机器人实验中的实验者偏差，为可靠的VLA评估提供了方法。

1. 模型架构: 采用混合专家架构，包含一个从预训练VLM初始化的语义专家和一个随机初始化用于控制的任务专家。两个专家通过逐层共享的自注意力机制进行跨模态交互。
2. 动作生成: 使用流匹配方法对动作片段进行建模，将动作生成视为基于多模态上下文的条件分布，以实现平滑的轨迹生成。
3. 物理对齐的统一动作空间: 定义了一个分区的、物理接地的统一动作空间，包含末端执行器姿态、关节、夹持器等语义对齐的子空间。研究了四种末端执行器姿态的坐标参数化：世界相对、世界增量、EEF相对、EEF增量。
4. 分组盲集评估协议: 将待评估模型池随机分成不重叠的小组，对每个组内的模型进行匿名化，并在任务中以随机顺序执行策略，实验者不知晓所用模型的身份，仅作为执行者记录成功/失败结果，以降低人类偏好和疲劳带来的评估偏差。

1. 数据集: 构建了一个大规模异质机器人数据集混合体，总计约1.8亿帧数据转换。数据集来源包括：

* 真实世界EEF数据: Open X-Embodiment (DROID, Bridge, Fractal等子集)，AgiBot (夹持器和灵巧手)，RoboMind (多平台)。

* 仿真和关节空间数据: InternData (仿真和灵巧手)，SO-100 (低成本遥操作)，真实世界人形数据集。

* 数据平衡: 采用动态下采样策略以平衡各数据源的规模差异，防止大型数据集主导梯度更新。

1. 训练资源: 所有实验在8个NVIDIA A800 GPU上进行，全局批次大小为256。

1. 评估环境:

* 仿真基准: LIBERO (多任务套件，5样本微调协议) 和 RoboCasa (24个厨房任务，50样本微调协议)。

* 真实机器人实验: 配备两个RGB摄像头的Franka Panda机械臂。定义了四个任务：堆叠碗、拾取放入抽屉、擦黑板、浇灌植物，以测试不同能力。

1. 评估指标:

* 仿真: 任务成功率。对LIBERO，报告了空间、物体、目标和长序列四个子任务的分数及平均成功率。对RoboCasa，报告了拾取/放置、门/抽屉、其他三类任务的分数及平均成功率。

* 真实世界: 使用详细的多步骤评分标准对每个任务进行评分（如堆叠碗最高3分），每个任务进行10次试验，计算总分并换算为百分比。评估在分组盲集协议下进行。