提出 ST4VLA 框架，旨在通过空间引导训练（Spatially Guided Training）将视觉-语言模型（VLM）的空间先验知识与机器人具身控制对齐，解决指令到具体动作的转化难题。
- 提出 ST4VLA 框架，旨在通过空间引导训练（Spatially Guided Training）将视觉-语言模型（VLM）的空间先验知识与机器人具身控制对齐，解决指令到具体动作的转化难题。
- 核心目标是弥补大型多模态模型在理解与物理世界执行之间的鸿沟，确保机器人不仅理解“做什么”还能决定“在哪里”和“如何”行动。
- 论文揭示了直接将VLM微调为VLA模型会导致空间先验知识崩塌，而简单的空间提示（spatial prompting）能有效缓解此问题。
研究单位
- 上海人工智能实验室 (Shanghai AI Laboratory)
- 香港科技大学 (The Hong Kong University of Science and Technology)
- 南方科技大学 (Southern University of Science and Technology)
- 复旦大学 (Fudan University)
论文概述
- 提出 ST4VLA 框架，旨在通过空间引导训练（Spatially Guided Training）将视觉-语言模型（VLM）的空间先验知识与机器人具身控制对齐，解决指令到具体动作的转化难题。
- 核心目标是弥补大型多模态模型在理解与物理世界执行之间的鸿沟，确保机器人不仅理解“做什么”还能决定“在哪里”和“如何”行动。
- 论文揭示了直接将VLM微调为VLA模型会导致空间先验知识崩塌，而简单的空间提示（spatial prompting）能有效缓解此问题。
核心贡献
- 提出了ST4VLA框架，这是一个双系统（VLM规划器和动作专家）、双阶段（空间预训练和空间引导的后训练）的视觉-语言-动作训练框架。
- 引入了空间引导训练策略，通过在动作数据训练时使用空间提示（Spatial Prompting），使多模态感知和目标动作的优化动态对齐，避免了朴素联合训练中的梯度冲突。
- 在Google Robot和WidowX Robot等多个公开基准测试和真实世界任务中，实现了显著的性能提升，并达到了新的最先进（SOTA）水平。
- 系统地分析了感知与动作的协同优化，并提出了投影空间相似性（PSS） 来量化空间接地目标与动作策略目标之间的梯度对齐程度。
- 开源了代码、数据和模型。
方法描述
- 方法基于双系统架构：系统2 (VLM规划器) 作为多模态编码器，负责捕捉空间和语义先验；系统1 (动作专家) 使用紧凑的扩散Transformer (DiT) 和DINOv2视觉编码器，负责特定具身的控制。
- 关键技术/创新点：
- 空间接地预训练（Stage 1）：在大规模网络多模态空间数据（如RefCOCO, LLaVA-OneVision）与机器人特定数据集（如RoboRefIt， A0）上统一训练，使VLM获得可迁移的空间先验（如点、框、轨迹预测）。
- 空间引导的动作后训练（Stage 2）：在动作训练时，通过在任务指令后附加空间提示（如“Figure out how to execute it, then locate the key object needed”）来激活VLM的空间感知能力，其产生的潜在特征用于引导动作专家。
- 使用轻量级的查询Transformer连接规划器与动作专家，并引入梯度衰减因子，以在保持规划器语义推理能力的同时实现有效联合优化。
数据集与资源
- 使用的数据集：
- 空间接地数据：RefCOCO、LLaVA-OneVision、RoboRefIt、A0、ST4VLA Data（机器人专用）。
- 动作数据：OXE数据集、Google Robot数据集、WidowX数据集、大尺度合成拣放数据集（200个任务，超过3000个物体/容器）、真实世界拣放轨迹（1K）。
- 模型规模与参数量：基于 Qwen2.5-VL (3B) 构建VLM规划器，动作专家使用DiT和DINOv2编码器，查询Transformer仅8.7 MB。
- 训练资源：未在提供的片段中明确说明，但通常此类大规模训练需要使用大量GPU/TPU集群。
评估与结果
- 评估环境与基准：
- 公开模拟基准：SimplerEnv（Google Robot VM/VA， WidowX）、LIBERO。
- 大尺度模拟拣放基准：在Isaac-Sim中构建的200个任务，评估分布内、未见物体、新背景、新指令四个维度。
- 真实世界评估：使用Franka Research 3机器人进行拣放和长视野操作（如桌面整理、制作三明治）任务。
- 主要评估指标：成功率 (Success Rate)。多模态理解评估使用MME、MMVet等基准的常见指标。
- 关键实验结果：
- 在Google Robot (SimplerEnv)上，ST4VLA的VM和VA平均成功率分别达到84.6% 和 75.9%，显著优于Vanilla VLA的66.1%/63.5%。
- 在WidowX (SimplerEnv)上，ST4VLA达到73.2% 的平均成功率，优于基线如GR00T N1.5 (61.9%)。
- 在大尺度模拟拣放基准上，在四个泛化维度上均超越 π₀ 和 GR00T N1.5。
- 在真实世界泛化测试中，平均成功率 (65%) 显著高于 π₀ (31%) 和 GR00T N1.5 (48%)。
- 在真实世界长视野操作任务中，在分布内、物理干扰和任务重规划三种设置下均表现最佳。