Can Aerial VLA Models Cooperate? Evaluating Closed-Loop Air-Ground Coordination with CARLA-Air

• Southern University of Science and Technology (第一作者及通讯作者单位)
• Fudan University (第三作者单位)

• 论文旨在探究现有的空中视觉-语言-动作（VLA）模型能否将其单智能体能力迁移到空地协作场景中，即 UAV 与 UGV 在闭环物理世界中的协同行动。
• 研究指出当前的空中 VLA 模型虽然具备良好的单机导航和跟踪能力，但在协作任务中难以将单智能体能力转化为稳定的协作行为。
• 为了解决这一问题并填补评估基础设施的空白，论文提出了统一的空地闭环评估环境 CARLA-Air，并设计了诊断性的协作任务进行深入评估。

• 提出了 CARLA-Air 闭环评估平台，这是一个单进程的空地评估环境，将 CARLA 和 AirSim 统一在同一个 Unreal Engine 运行时中，实现了零仿真时间戳错配和物理一致的交互。
• 设计了一套诊断性评估方案，包含两个互补任务（移动平台着陆、遮挡恢复护航）以及相应的通信协议、基线模型和评估指标，用于分离单智能体能力与协作成功因素。
• 揭示了关键的科学发现：在零样本评估下，当前的空中 VLA 模型无法自然迁移单机能力至空地协作；简单的交互甚至可能放大错误，表明需要显式的伙伴状态接地和低延迟协调机制。

• CARLA-Air 采用“单一权威”运行时架构，保留 CARLA 作为权威世界管理器，同时将 AirSim 实例化为同一世界中的 Actor 级子系统，从而共享世界状态、物理时钟和传感管道。
• 设计了两种诊断任务：Cooperative Moving-Platform Landing（测试动作侧协调，要求 UAV 在移动的 UGV 上着陆）和 Cooperative Occlusion-Recovery Escort（测试感知侧恢复，要求 UAV 在遮挡后恢复对 UGV 的视觉追踪）。
• 定义了三种协作模式进行对比：C0（无通信独立执行）、C1（UGV 向 UAV 提供语义状态提示）、C2（双向 UAV-UGV 动作耦合）。

• 使用的数据集/平台：CARLA（城市交通仿真）、AirSim（多旋翼动力学），两者在 Unreal Engine 中融合。
• 评估基线模型包括：AerialVLA, OpenFly, OpenUAV, SPF, AerialVLN，以及一个基于规则的协作参考 Rule-Coop-State。
• 项目代码已开源在 GitHub：https://github.com/louiszengCN/CarlaAir。

• 评估环境：对比了 CARLA-Air 单进程架构与传统的 ROS 桥接多进程架构，验证了平台的运行时一致性。
• 主要评估指标：着陆成功率（LSR）、跟踪成功率（TSR）、协作转化率（CCR）、协作增益（CG）、恢复成功率（RSR）以及重获取时间（RAT）。
• 关键实验结果：

- 平台验证：CARLA-Air 实现了 0ms 的传感器时间偏移，相比桥接架构将测量噪声降低了 5.1 倍。

- 任务表现：VLA 基线模型在着陆任务中表现出较高的跟踪成功率（TSR），但着陆成功率（LSR）很低，协作增益（CG）在 C1 和 C2 模式下多为负值，表明交互反而降低了性能。

- 参考对比：拥有显式状态接地的 Rule-Coop-State 实现了 0.42 的着陆成功率，证明任务本身是可解的，揭示了当前 VLA 模型在协作机制上的缺失。