一眼看懂
封面预览
提出了 HUGE-Bench，一个针对高层无人机视觉-语言-动作任务的新型基准测试，旨在评估智能体能否根据简短自然语言指令执行复杂、面向过程且…
- 提出了 HUGE-Bench，一个针对高层无人机视觉-语言-动作任务的新型基准测试，旨在评估智能体能否根据简短自然语言指令执行复杂、面向过程且…
- 解决了现有无人机VLN基准测试的局限性：它们多关注长序列、逐低层路线描述与目标中心评估，难以诊断实际操作中由简短高层命令驱动多阶段行为并保证安…
- 基准测试包含基于真实场景重建的数字孪生环境、多样化的高层任务以及面向过程和安全性的评估指标。
Card 01
研究单位
研究单位
- 墨尔本大学
- MBZUAI
- Navlyn
- 悉尼大学
Card 02
论文概述
论文概述
- 提出了 HUGE-Bench，一个针对高层无人机视觉-语言-动作任务的新型基准测试，旨在评估智能体能否根据简短自然语言指令执行复杂、面向过程且具有安全意识的轨迹。
- 解决了现有无人机VLN基准测试的局限性：它们多关注长序列、逐低层路线描述与目标中心评估，难以诊断实际操作中由简短高层命令驱动多阶段行为并保证安全的需求。
- 基准测试包含基于真实场景重建的数字孪生环境、多样化的高层任务以及面向过程和安全性的评估指标。
Card 03
核心贡献
核心贡献
- 提出 HL-VLA（高层视觉-语言-动作）任务范式，要求智能体解读简短可能模糊的指令并执行多阶段语义行为。
- 构建了 Real-to-Sim基准测试，包含从真实世界场景重建的 3DGS-Mesh对齐数字孪生，支持大规模轨迹生成和具有安全意识的评估。
- 设计了 面向过程和碰撞感知的评估指标体系，从过程保真度、终端精度和安全性三个维度评估无人机执行行为。
Card 04
方法描述
方法描述
- 构建联合 3D高斯泼溅与网格的数字孪生表示：3DGS 用于照片级真实感渲染，网格 用于碰撞查询与深度计算。
- 采用 Real-to-Sim管线 生成数据：包括真实世界数据采集、3D环境重建、地标定位、空间方向描述生成，并在 Isaac Sim 仿真平台进行轨迹收集。
- 定义了8种代表性的高层任务，如目标降落、道路/建筑巡检、区域建图、盘旋、多圈螺旋下降和障碍感知穿越等。
Card 05
数据集与资源
数据集与资源
- 数据集包含 4个真实世界数字孪生场景、8个高层任务 以及总计 256万米 的轨迹数据。
- 数据集划分为：训练集（5,330条轨迹）、测试可见集（593条轨迹）和测试不可见集（294条轨迹）。
- 数据生成与仿真在 Isaac Sim 平台上进行，记录了RGB、深度、位姿、飞行状态和碰撞信号等多模态数据。
Card 06
评估与结果
评估与结果
- 评估指标包括 轨迹覆盖率（TCR）、成功率（SR）、碰撞率（CR） 和 碰撞感知路径长度加权成功率（CSPL）。
- 在 OpenVLA、FastVLM、π₀ 和 π₀.₅ 等代表性VLA基线模型上进行测试。
- 实验结果显示，现有先进模型在高层语义阶段完成和安全执行方面存在显著差距，尤其在处理模糊简短指令时，证实了HUGE-Bench作为诊断测试平台的价值。