一眼看懂
封面预览
论文提出了 SAGE（Semantic-Aware Guided Exploration）系统，用于在未知的室内三维环境中进行开放词汇探索。
- 论文提出了 SAGE（Semantic-Aware Guided Exploration）系统，用于在未知的室内三维环境中进行开放词汇探索。
- 系统旨在解决语言条件下的三维室内映射问题，即在保证覆盖导向行为的同时，允许语义线索重新排序边界选择。
- 核心目标是同时实现完全的 volumetric coverage 和发现所有查询相关的对象实例，并尽可能高效地满足这两个目标。
Card 01
研究单位
研究单位
- University of California, Berkeley，电气工程与计算机科学系
Card 02
论文概述
论文概述
- 论文提出了 SAGE（Semantic-Aware Guided Exploration）系统，用于在未知的室内三维环境中进行开放词汇探索。
- 系统旨在解决语言条件下的三维室内映射问题，即在保证覆盖导向行为的同时，允许语义线索重新排序边界选择。
- 核心目标是同时实现完全的 volumetric coverage 和发现所有查询相关的对象实例，并尽可能高效地满足这两个目标。
Card 03
核心贡献
核心贡献
- 提出了将 CLIP 嵌入集成到几何探索规划中的四个关键机制：对象中心化嵌入存储、临时缓存、对象边界和统一的语义-几何规划成本。
- 设计了统一的语义-几何成本函数，通过语义重加权影响来确保边界优先级，而不牺牲总覆盖范围。
- 构建了轻量级的语义内存，仅存储对象级嵌入，将典型内存占用保持在约 10 MB，而非密集体素场所需的 1-2 GB。
- 在基于 Matterport3D 的仿真中，SAGE 在对象发现方面优于 FALCON 和语义仅消融版本。
- 与 FTU（Finding Things in the Unknown）相比，SAGE 完成探索的速度快了 9.0 到 25.9 倍（平均 13.7 倍），并实现了显著更高的 volumetric throughput。
Card 04
方法描述
方法描述
- SAGE 建立在 FALCON volumetric explorer 的流水线之上，通过添加语义处理阶段来修改候选视点的评分和排序。
- 使用 CLIP ViT-B/32 模型的图像编码器，将图像划分为非重叠的 patch，并为每个 patch 分配一个 512-D 嵌入。
- 在 TSDF（截断符号距离场）上构建语义内存，通过将 patch 嵌入投影到占据的 TSDF 体素并聚类成对象实例来创建和更新对象级嵌入。
- 引入临时缓存，将最近的语义观察投射到自由-未知边界，允许边界在机器人访问之前获得相似度分数。
- 为高相似度检测创建对象边界，作为专门的视点直接查看对象并鼓励近距离视图。
- 设计统一的语义-几何成本函数，通过语义比例因子修改 SOP（Sequential Ordering Problem）和 TSP（Traveling Salesman Problem）的几何路径成本，使语义相似度影响视点排序。
Card 05
数据集与资源
数据集与资源
- 使用 Matterport3D 数据集进行仿真实验，选择五个场景并定义十个地图-查询场景。
- 使用 CLIP ViT-B/32 模型进行视觉-语言嵌入，图像分辨率为 640x480。
- 硬件实验在 Modal AI Starling 2 四旋翼无人机上进行，具有机载感知和规划，以及离载 CLIP 推理。
- 仿真机器人使用 0.1 m 体素分辨率和 2-10 Hz 重规划频率。
Card 06
评估与结果
评估与结果
- 在 EPEE（Exploration Planner Evaluation Environment）中使用 Matterport3D 网格进行仿真评估。
- 主要评估指标包括：探索体积、持续时间、路径长度、到达第一个相关对象的时间、到达对象与总数之比以及所有对象都到达的试验次数。
- SAGE 在语义指标（如到达第一个对象的时间）上优于 FALCON 和语义仅消融版本，在几何指标（如持续时间）上优于语义仅消融版本。
- 与 FTU 相比，SAGE 在几何指标上显著优越，探索效率（体积/秒）比 FTU 高 9.5 到 80.4 倍（平均 25.1 倍）。
- 在五个真实世界的飞行实验中，虽然 FALCON 导致更快的探索和更短的映射轨迹，但 SAGE 在对象发现方面优于 FALCON。