GigaBrain-0.5M*: a VLA That Learns From World Model-Based Reinforcement Learning

基于提供的论文HTML原文，以下是根据要求总结的论文要点：

GigaAI

这篇论文提出了一个名为GigaBrain-0.5M*的视觉-语言-动作模型。该模型通过世界模型驱动的强化学习进行训练。GigaBrain-0.5M*是在GigaBrain-0.5基础上扩展而来。GigaBrain-0.5本身已经在超过10，000小时的机器人操作数据上进行了预训练，并已在国际RoboChallenge基准测试中取得了第一名的成绩。为了解决传统VLA模型在场景理解和未来预测能力方面的局限性，GigaBrain-0.5M*引入了RAMP框架，利用预测的未来状态和值估计来增强策略的规划和长期执行能力。实验表明，该方法在多个复杂任务上显著优于基准方法。

1. 提出了GigaBrain-0.5M*，一个通过世界模型驱动的强化学习进行训练的VLA模型。
2. 提出了RAMP框架，这是一种通过世界模型条件策略进行的强化学习方法，将预测的未来状态和值作为策略的条件输入。
3. 在理论上证明了现有的RECAP方法是RAMP在忽略未来状态信息时的一个特例，表明RAMP在信息增益和动作生成条件熵降低方面更具优势。
4. 展示了GigaBrain-0.5在内部评估和RoboChallenge公共基准测试上的优异性能，验证了其基础能力。
5. 通过实验证明，RAMP在复杂长视野操作任务上显著优于其他强化学习方法，在多个任务上获得了约30%的性能提升。

1. GigaBrain-0.5模型：该模型是一个端到端的VLA架构，基于混合Transformer和预训练的PaliGemma-2视觉语言模型，并采用流匹配的扩散Transformer来预测动作块。它通过生成具体化的思维链来增强推理能力，包括语言子目标、离散动作令牌和2D操作轨迹。
2. RAMP框架：这是一个四阶段的迭代训练框架：

* 阶段一：世界模型预训练：使用大规模机器人操作数据训练一个世界模型，使其能够联合预测未来状态和值估计。

* 阶段二：带有世界模型条件的策略训练：将世界模型预测的未来状态和值转换为二元优势指示信号，并作为条件输入来微调GigaBrain-0.5策略。

* 阶段三：人在回路中滚动数据收集：部署策略以自主执行和专家干预相结合的方式收集数据，用于生成高质量的训练轨迹。

* 阶段四：利用滚动数据进行持续训练：使用收集的数据进一步联合微调世界模型和策略，形成一个自我改进的闭环。

1. 理论连接：论文从概率角度阐述了RAMP与RECAP的关系，证明了RECAP可以被视为RAMP在忽略未来潜在状态信息时的特例。RAMP通过显式条件化世界模型的预测，提供了更丰富的信息增益。

1. 数据集：

* GigaBrain-0.5的预训练数据集总计超过10，000小时，包括超过6，000小时的世界模型生成数据和约4，000小时的真实机器人采集数据。

* 评估使用了八个内部设计的任务和RoboChallenge基准测试中的30个公开任务。

* RAMP中世界模型训练使用了4，000小时的真实机器人操作数据。

1. 训练资源：

* 模型训练使用了GigaTrain框架，批次大小为3，072，优化步数为100，000步。

* 使用了完全分片数据并行（FSDP）v2来减少单GPU内存消耗。

* 世界模型使用了Wan2.2作为骨干架构进行训练。

1. 评估环境：

* 内部评估：在物理机器人平台上进行，包括PiPER机械臂和G1人形机器人。

* 公开基准评估：在RoboChallenge平台上进行，该平台包含20台实体机器人，涵盖UR5、Franka、ARX5和ALOHA四种主要平台。

1. 评估指标：

* 任务成功率：执行指定任务的成功百分比，是主要评估指标。

* 价值预测评估指标：用于评估世界模型价值预测的准确性，包括平均绝对误差（MAE）、均方误差（MSE）、均方根误差（RMSE）和肯德尔秩相关系数。

* 推理时间：衡量价值预测方法的计算效率。