一眼看懂
封面预览
论文提出了 MA-VLCM (Multi-Agent Vision-Language-Critic Model)，这是一个用于多智能体强化学习…
- 论文提出了 MA-VLCM (Multi-Agent Vision-Language-Critic Model)，这是一个用于多智能体强化学习…
- 该模型利用预训练的视觉语言模型 (VLM) 替代了传统的从零开始学习的评论家，旨在解决 MARL 中样本效率低和泛化能力差的问题。
- 论文解决了将大型视觉-语言-动作模型 (VLA) 直接部署在资源受限的多机器人系统上计算成本过高的问题，通过将 VLM 作为训练时的评论家而非…
Card 01
研究单位
研究单位
- Clemson University (Mechanical Engineering Department)
- U.S. Army CCDC (Ground Vehicle Systems Center)
Card 02
论文概述
论文概述
- 论文提出了 MA-VLCM (Multi-Agent Vision-Language-Critic Model)，这是一个用于多智能体强化学习 (MARL) 的新型集中式评论家模型。
- 该模型利用预训练的视觉语言模型 (VLM) 替代了传统的从零开始学习的评论家，旨在解决 MARL 中样本效率低和泛化能力差的问题。
- 论文解决了将大型视觉-语言-动作模型 (VLA) 直接部署在资源受限的多机器人系统上计算成本过高的问题，通过将 VLM 作为训练时的评论家而非执行策略来优化系统。
Card 03
核心贡献
核心贡献
- 提出了 MA-VLCM 框架，这是一个基于视觉语言模型的集中式评论家，能够根据任务指令、视觉轨迹和多智能体状态观察来评估团队行为。
- 构建了一个包含多模态、多智能体数据的综合数据集，涵盖了从随机策略到近最优策略的多级轨迹数据。
- 证明了该方法在结构化和非结构化环境中的多智能体任务中，能够实现强大的零样本回报估计和泛化能力。
Card 04
方法描述
方法描述
- 模型架构基于 VLM 主干（如 LLaVA），并使用 LoRA (Low-Rank Adaptation) 进行微调。
- 引入了 图注意力网络 (GAT) 来处理多智能体的结构化状态和动作观察，生成排列不变的嵌入向量，并将其作为观察标记 注入到 VLM 的输入中。
- 训练目标结合了价值回归损失（用于预测回报）和对比损失（用于区分最优和次优行为），通过轻量级价值头输出估计的长期回报。
- 输入模态包括鸟瞰图 (BEV) 视频、自然语言任务描述和智能体的本体感知数据。
Card 05
数据集与资源
数据集与资源
- 使用了 RWARE (Robotic Warehouse) 环境作为结构化数据集。
- 使用了基于 NVIDIA Isaac Sim 构建的越野导航环境作为非结构化数据集。
- 模型主干包括 LLaVA-NeXT-Video-7B-32K 和 LLaVA-OneVision (OV)-Qwen2-0.5B。
- 训练资源为两块 NVIDIA H200 GPU。
Card 06
评估与结果
评估与结果
- 评估环境包括分布内 (ID) 和分布外 (OOD) 的场景，使用了 RWARE 和越野导航数据集。
- 主要评估指标包括 Spearman 秩相关系数 ($\rho$)、MSE 和 MAE。
- 实验结果显示，经过 LoRA 微调的 0.5B 参数模型 表现最佳，在 ID 任务中 Spearman 相关系数达到 0.95，在 OOD 任务中达到 0.93，显著优于 7B 参数模型。
- 结果表明 LoRA 适配对于模型正确解释任务规范和泛化到未见过的环境惩罚结构至关重要，且较小的模型在推理速度和准确性权衡上优于大模型。