AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild

• Southeast University
• Purple Mountain Labs
• MMLab, The Chinese University of Hong Kong
• The Hong Kong University of Science and Technology (Guangzhou)
• Fudan University
• Shanghai Jiao Tong University

• 提出了 AutoFly，一个端到端的视觉-语言-动作（VLA） 模型，旨在解决无人机在未知野外环境中的自主导航问题。
• 旨在解决现有视觉-语言导航方法在真实世界中的局限性，即它们过度依赖详细、预设的导航指令，而在未知环境中往往只能提供粗略的位置或方向指引。
• 构建了一个新的自主导航数据集，将范式从“指令跟随”转向“自主行为建模”，并包含丰富的真实世界数据以弥合仿真与现实差距。

• 提出了 AutoFly 模型，这是一种创新的 VLA 架构，引入了伪深度编码器，从单目 RGB 输入中提取深度感知的空间特征，以增强几何推理能力。
• 设计了一个渐进式两阶段训练策略，有效地将视觉、深度和语言表征与动作策略对齐。
• 构建了一个新颖的、大规模的自主导航数据集，该数据集强调连续障碍物躲避、自主规划和工作流程，并包含大量真实世界轨迹。
• 在仿真和真实世界的室内外环境中进行了全面的评估，证明 AutoFly 在成功率等关键指标上优于最先进的 VLA 基线模型，并展示了稳定的仿真到现实（Sim-to-Real） 迁移能力。
• 模型、数据和代码已开源。

• 模型架构：基于 OpenVLA 框架，主要包括：1) 视觉-语言模型，用于场景理解和语言指令解析；2) 伪深度编码器，使用 Depth Anything V2 从 RGB 图像生成伪深度图，并通过一个专门的投影器将其转换为深度特征标记；3) 动作解标记器，将模型输出转换为 UAV 的三维速度控制命令。
• 关键创新：提出的伪深度编码器在不依赖物理深度传感器的情况下，为模型提供了关键的空间和几何信息，这对于 UAV 的安全导航至关重要。
• 训练策略：采用两阶段训练范式。第一阶段进行视觉-语言对齐预训练；第二阶段进行空间感知的机器人动作微调，联合微调预训练的 VLA 主干和伪深度编码器。实验表明，使用孪生 MLP 投影器进行深度-视觉-语言对齐效果最佳。

• 数据集：论文构建了一个新的自主导航数据集，包含总计 13,476 条轨迹（其中 1,000 条为真实世界轨迹）。与现有 VLN 数据集相比，其特点是指令长度更短（平均12词），障碍物遭遇频率更高（平均10次），动作空间为 3 自由度（DoF）速度命令。
• 模型规模：基于 LLaVA 架构和 LLaMA2-7B 语言模型。
• 训练资源：在 80,000 个梯度步长上进行微调，使用了 NVIDIA A6000 GPU。

• 评估环境：在 AirSim 仿真环境和真实世界的室内、室外（森林）场景中进行评估。
• 主要指标：成功率（SR）、碰撞率（CR） 和路径效率率（PER）。
• 关键结果：

- 在仿真中，AutoFly 在整体成功率（47.9%）上优于 RT-2 (41.9%) 和 OpenVLA (44.0%) 等基线模型，碰撞率（21.9%）和路径效率（77.3%）也最优。

- 在真实世界部署中，AutoFly 在室内环境达到 60% 的成功率，在室外森林环境达到 55% 的成功率，证明了其鲁棒的现实世界适应性。

- 消融实验证实了伪深度编码器（带来 +3.9% SR）、专用的深度投影器以及数据集重平衡策略的有效性。