AugVLA-3D: Depth-Driven Feature Augmentation for Vision-Language-Action Models

• 广东省人工智能与数字经济实验室（深圳） (Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ))
• 南方科技大学计算机科学与工程系 (Southern University of Science and Technology)
• 上海大学通信与信息工程学院 (Shanghai University)
• 卡尔顿大学信息技术学院 (Carleton University)

• 提出 AugVLA-3D 框架，旨在解决现有 Vision-Language-Action (VLA) 模型主要依赖2D图像特征，缺乏3D空间理解能力的问题。
• 核心思路是利用深度估计从标准RGB图像中提取3D几何特征，增强VLA模型的空间感知能力，同时保持与大规模2D数据集训练的兼容性。
• 通过集成深度驱动的3D特征和引入一个新的 Action Assistant 模块作为正则化器，提升模型在复杂3D环境中的感知和动作推理能力。

• 提出一种免传感器的3D特征提取方法，使用深度估计模型 VGGT 将2D RGB图像转换为点云，并用 PointNet 提取紧凑3D特征。
• 设计了一个新颖的 Action Assistant 模块，作为一种轻量级正则化器，利用动作先验约束学习到的3D特征表示，确保其与下游控制任务的一致性。
• 提出的 AugVLA-3D 框架实现了2D语义与3D几何的紧密融合，在真实世界和仿真环境中均显著提高了VLA模型的泛化能力和鲁棒性。
• 在资源受限的条件下（仅使用10%的数据训练1个周期）进行实验验证，证明了方法的有效性和潜力。

• 方法基于 GR00t 骨干网络，主要包含两个核心部分：

- 基于深度估计的3D特征提取：使用 VGGT 模型从RGB图像估计密集深度图，并将其反投影为点云；然后利用 PointNet 编码器提取3D几何特征。

- 动作助手（Action Assistant）：一个轻量级、参数精简的辅助模块，结构上与主Action Expert相似。它将PointNet提取的3D特征转换为动作相关嵌入，并将其在多个层次上注入主网络，作为任务对齐的正则化信号。

• 关键技术点包括传感器式3D感知、层级的特征融合（公式2中的门控注入）以及利用Intropy框架进行理论分析。

• 使用的数据集：PhysicalAI-Robotics-GR00T-X-Embodiment-Sim 数据集；仿真基准测试数据集 robocasa-gr1-tabletop-tasks。
• 在真实的灵巧手（ROH-A001，11关节6自由度）和RoboCasa 仿真环境中进行评估。
• 训练资源有限，仅在单个NVIDIA RTX 4090 GPU上完成训练。

• 评估环境：真实世界物理场景（5个任务）和 RoboCasa 仿真基准（24个桌面操作任务）。
• 主要评估指标：任务成功率。
• 关键实验结果：

- 在真实场景实验中，AugVLA-3D 在物体放置、遮挡、擦拭、取放和倒水等任务上，性能均优于 Diffusion Policy 和 Gr00t 基线模型。

- 在仿真实验中（如表1所示），无论是30还是100个演示数据设置下，AugVLA-3D 在大多数任务上的平均成功率（46%/54%）均超过了 Diffusion Policy（21%/33%）和 Gr00t（43%/50%）。

- 定性分析（图5）显示，AugVLA-3D在复杂双手协调操作（如将杯子放入抽屉）和需要精确深度判断的任务（如将面包放入锅中）中，表现出更好的空间对齐和运动轨迹平滑性。