一眼看懂
封面预览
提出了 CORAL,一个骨干网络和机器人形态无关的框架,旨在解决视觉-语言-动作模型在多任务机器人学习中存在的任务干扰问题。
- 提出了 CORAL,一个骨干网络和机器人形态无关的框架,旨在解决视觉-语言-动作模型在多任务机器人学习中存在的任务干扰问题。
- 核心方法是冻结单一的预训练VLA骨干网络,并为每个任务附加一个轻量级的低秩适应专家,通过参数隔离从根本上避免跨任务干扰。
- 解决了多任务联合微调中的负迁移与存储成本过高之间的困境,为终身多任务机器人学习提供了一个可扩展、实用的系统。
Card 01
研究单位
研究单位
- Frontier Robotics
Card 02
论文概述
论文概述
- 提出了 CORAL,一个骨干网络和机器人形态无关的框架,旨在解决视觉-语言-动作模型在多任务机器人学习中存在的任务干扰问题。
- 核心方法是冻结单一的预训练VLA骨干网络,并为每个任务附加一个轻量级的低秩适应专家,通过参数隔离从根本上避免跨任务干扰。
- 解决了多任务联合微调中的负迁移与存储成本过高之间的困境,为终身多任务机器人学习提供了一个可扩展、实用的系统。
Card 03
核心贡献
核心贡献
- 提出了一个用于终身机器人学习的可扩展系统 CORAL,在统一的框架中解决了泛化、专业化与扩展效率之间的冲突。
- 通过将不同任务路由到严格隔离的专属LoRA专家,解决了细粒度的指令歧义,在多任务扩展中显著优于联合微调,并避免了灾难性遗忘。
- 单个LoRA专家大小仅为完整模型的约 1%,打破了存储障碍,在实现与全参数微调相当性能的同时,大幅降低了部署存储开销。
Card 04
方法描述
方法描述
- 采用两阶段学习范式:第一阶段进行具身感知通用预训练以获得冻结的骨干网络;第二阶段为每个任务训练独立的轻量级LoRA专家。
- 创新点在于将LoRA注入到VLM编码器和动作头的注意力层(双目标注入),实现对视觉语言特征提取和底层控制策略的同时适配。
- 设计了CORAL管理器作为动态推理引擎,利用语言指令直接确定专家路由,实现LoRA专家的实时、零推理开销切换。
Card 05
数据集与资源
数据集与资源
- 仿真基准:LIBERO (40个任务)、WidowX、Google Robot 任务。
- 真实世界平台:Galaxea R1 Lite 双臂移动操作机器人。
- 骨干模型:SimVLA (0.8B参数)、π0.5 (3B参数)。
- LoRA专家配置:仿真实验中使用 rank=16, alpha=32;真实世界新技能获取中使用 rank=64。
Card 06
评估与结果
评估与结果
- 评估环境包括三个仿真基准和一个真实世界机器人平台。
- 主要评估指标为各任务的成功率。
- 关键结果:在 LIBERO 基准上达到 99.3% 的平均成功率,超越所有对比基线;在 WidowX 上达到 97.9%;在 Google Robot 上达到 84.9%。
- 真实世界实验验证了CORAL在跨场景零样本泛化和新技能获取上显著优于联合微调,并有效防止了灾难性遗忘。