GST-VLA: Structured Gaussian Spatial Tokens for 3D Depth-Aware Vision-Language-Action Models

• 岭南大学
• 韩国科学技术院

• 本文提出 GST-VLA 模型，旨在解决现有视觉-语言-动作模型缺乏内在几何结构、无法编码表面方向和几何置信度的问题。
• 核心目标是将稠密的2D视觉表征转换为结构化的3D高斯空间令牌，以增强机器人操作任务中的几何推理能力。
• 通过引入 Gaussian Spatial Tokenizer (GST) 和 Depth-Aware Chain-of-Thought (DA-CoT) 推理机制，提升模型在精细操作任务上的性能。

• 提出 GST-VLA 架构，包含一个可训练的 Gaussian Spatial Tokenizer，将冻结的深度和视觉特征转换为各向异性的3D高斯基元。
• 设计了 DA-CoT，一种监督式中间推理阶段，强制模型在动作生成前产生四类结构化的空间思维作为明确监督目标。
• 建立三阶段训练协议，配合复合损失函数，实现GST几何校准、VLM推理和动作生成的协同优化。
• 实验表明，在更低计算成本与参数量下，模型在 LIBERO 和 SimplerEnv 基准上显著超越现有SOTA VLAs。

• Gaussian Spatial Tokenizer (GST)：通过深度反投影、逐块参数估计、3D傅里叶位置编码和空间注意力池化，将输入转换为 $N_g=128$ 个各向异性3D高斯基元。每个基元由残差均值 $\mu$、对数尺度协方差 $\sigma$ 和学习透明度 $\alpha$ 参数化，协方差特征编码表面方向，透明度编码几何置信度。
• Depth-Aware Chain-of-Thought (DA-CoT)：在动作生成前，通过交叉注意力子层访问原始高斯场，自回归地生成四个监督目标：3D目标定位、抓取接触几何、度量空间关系和粗略 SE(3) 路径点。
• Flow-Matching Action Expert：一个300M参数的Transformer，采用混合专家前馈子层，通过条件ODE积分解码7自由度的增量动作块，双交叉注意力机制同时接收VLM隐藏状态和DA-CoT输出作为条件。

• 预训练数据：ScanNet、Hypersim、ARKitScenes（用于几何校准）。
• 评估基准：LIBERO（130项任务）、SimplerEnv（视觉匹配模拟）、LIBERO-Pro（6类精细操作任务）。
• 模型规模：VLM基础模型为 7B参数，Action Expert为 300M参数，GST为轻量级模块。
• 训练资源：使用 8×A100-80GB GPU，三阶段训练共计140K步。

• 评估环境：在模拟环境 LIBERO 和 SimplerEnv 上进行端到端任务成功率评估。
• 主要评估指标：平均任务成功率 (%)。
• 关键实验结果：

- 在 LIBERO 上平均成功率达 96.4%，较最优基线 SpatialVLA 提升 +2.0%。

- 在 SimplerEnv 上平均任务进度达 80.2%，较 SpatialVLA 提升 +5.4%。

- 在精度要求高的任务上增益显著，如精细插入任务较 DepthVLA 提升 +9.2%，薄片抓取提升 +8.3%。

- 消融实验证实，GST组件（如3D傅里叶位置编码、空间注意力池化）和DA-CoT各思维步骤均提供独立且协同的性能提升。