一眼看懂
封面预览
论文提出了 MoIRA (Modular Instruction Routing Architecture)，这是一个用于多任务机器人的模块化…
- 论文提出了 MoIRA (Modular Instruction Routing Architecture)，这是一个用于多任务机器人的模块化…
- 该研究解决了传统专家混合模型(MoE) 架构的局限性，特别是其内部路由机制刚性和需要昂贵联合训练的问题，为专家定制化和扩展部署提供了灵活的替代…
- 提出了新颖的模块化路由架构 MoIRA，该架构基于专家和任务的文本描述，将任务映射到预训练的专家。
Card 01
研究单位
研究单位
- Department of Multimedia Systems, National University of Kyiv-Mohyla Academy
- Department of Mathematics, National University of Kyiv-Mohyla Academy
Card 02
论文概述
论文概述
- 论文提出了 MoIRA (Modular Instruction Routing Architecture)，这是一个用于多任务机器人的模块化框架，旨在通过零样本外部文本路由器来协调解耦的专家模型。
- 该研究解决了传统专家混合模型(MoE) 架构的局限性，特别是其内部路由机制刚性和需要昂贵联合训练的问题，为专家定制化和扩展部署提供了灵活的替代方案。
Card 03
核心贡献
核心贡献
- 提出了新颖的模块化路由架构 MoIRA，该架构基于专家和任务的文本描述，将任务映射到预训练的专家。
- 评估了两种零样本路由策略：基于MiniLM的嵌入余弦相似度路由和基于SmolLM2-1.7B的提示驱动推理路由，并证明了其在指令扰动下的鲁棒性。
- 在 GR1 和 LIBERO 两个机器人基准测试上验证了MoIRA，表明其性能始终优于或与通用模型及其他MoE方法持平，并能泛化到未见过的任务。
- 对推理时专家服务策略进行了实证分析，量化了VRAM使用与切换延迟之间的权衡，支持可扩展的多专家部署。
Card 04
方法描述
方法描述
- MoIRA 是一个与架构无关的元控制器，它将任务学习与任务分配解耦。一个独立的路由核心根据任务和专家的文本描述，选择最适合的专业化专家。
- 关键技术包括：1）将通用视觉-语言-动作模型（如Gr00t-N1 和 π₀）使用LoRA进行微调，得到轻量级专家适配器；2）采用两种预训练且无需调优的外部路由策略；3）提出了三种专家服务模式以适应不同部署需求。
Card 05
数据集与资源
数据集与资源
- 使用的数据集：GR1 Humanoid benchmark 和 LIBERO benchmark。
- 模型规模：GR00t-N1-2B 和 π₀-base-3.3B 作为VLA骨干网络，使用LoRA适配器进行专家微调。
- 训练资源：实验在单块 NVIDIA RTX A6000 GPU (48GB VRAM) 上进行。
Card 06
评估与结果
评估与结果
- 评估环境：在GR1和LIBERO模拟基准上进行实验，使用统计显著性检验。
- 主要评估指标：在GR1上使用均方误差，在LIBERO上使用任务成功率，并评估路由F1分数。
- 关键实验结果：在GR1上，专业专家显著降低了MSE（例如，Pouring任务降低123倍）。在LIBERO上，MoIRA驱动的专家（SR: 94%/93%）达到了与联合训练通用模型（SR: 95%/90%）的统计性能持平。两种路由策略都表现良好，其中SmolLM2在指令扰动下表现出更强的鲁棒性。MoIRA在LIBERO上的性能也与现有MoE系统（MoDE, Tra-MoE）竞争或优于它们。