一眼看懂
封面预览
提出 SOMA 框架，解决视觉语言行动（VLA）模型在操作任务中面临的“视野外”（Out-of-Vision）局限性问题
- 提出 SOMA 框架，解决视觉语言行动（VLA）模型在操作任务中面临的“视野外”（Out-of-Vision）局限性问题
- 核心目标是赋予VLA模型持久的空间记忆能力，使其能够在任务相关对象暂时离开相机视野时进行推理和操作
- 针对现有VLAs依赖瞬时、视野受限的视觉感知而导致的脆弱性和反应式行为这一关键问题
Card 01
研究单位
研究单位
- 论文作者所属机构未在提供的HTML原文中明确列出
Card 02
论文概述
论文概述
- 提出 SOMA 框架，解决视觉语言行动（VLA）模型在操作任务中面临的“视野外”（Out-of-Vision）局限性问题
- 核心目标是赋予VLA模型持久的空间记忆能力，使其能够在任务相关对象暂时离开相机视野时进行推理和操作
- 针对现有VLAs依赖瞬时、视野受限的视觉感知而导致的脆弱性和反应式行为这一关键问题
Card 03
核心贡献
核心贡献
- 引入 SOMA，首个用于VLA模型的空间记忆框架，实现了视野外操作的记忆引导范式
- 提出包含三个核心组件的记忆中心感知架构：空间记忆构建、动态记忆精炼 和 上下文记忆检索
- 在真实世界视野外操作任务中验证有效性，不仅提高了成功率，还改善了操作行为（更快定位、减少搜索、近乎一次性抓取）
- 在仿真基准 RoboCasa GR1 和 SimplerEnv 上验证了记忆设计在常规完全可观察设置下的有效性
Card 04
方法描述
方法描述
- 使用可移动头部摄像头获取工作空间的多样化视角，构建全局空间记忆
- 空间记忆构建：通过扫描序列，融合对象级语义（YOLO、DINOv3）和几何线索（VGGT），创建统一的空间-语义场景记忆
- 动态记忆精炼：在交互过程中，通过相似性感知融合机制，将新观察信息增量式融入初始记忆，维持全局一致性
- 上下文记忆检索：将指令相关的视觉语言嵌入与空间记忆对齐，通过交叉注意力机制选择性激活任务相关的空间表示，指导操作
Card 05
数据集与资源
数据集与资源
- 自设计了五个具有挑战性的真实世界 视野外操作任务（涵盖多步骤和双臂场景）
- 使用 RoboCasa Tabletop GR1 和 SimplerEnv 仿真基准进行验证
- 模型基于 GR00T N1.5 架构，在真实世界实验中为每个任务收集了400条专家演示
- 训练使用32台 NVIDIA H200 GPU，批量大小为60，训练步数为30,000步
- 推理使用 NVIDIA RTX 4090 GPU，机器人平台搭载 NVIDIA Jetson AGX Orin (64GB)
Card 06
评估与结果
评估与结果
- 在真实世界视野外任务中，SOMA 在所有五个任务上均取得最高的成功率
- 行为分析显示，与基线 GR00T-N1.5 相比，SOMA 将首次定位时间、头部搜索路径长度、视角修正次数和抓取尝试次数均减少了40%-60%
- 仿真实验中，在 RoboCasa GR1 上，使用300条演示时，SOMA 达到52.0%的最高平均成功率
- 在 SimplerEnv 上，SOMA 在“视觉匹配”和“变体聚合”设置下均达到最佳平均成功率（63.2%和52.5%）
- 消融研究证实，空间几何线索、对象语义和动态更新机制对记忆构建和整体性能均至关重要