一眼看懂
封面预览
提出了 3DVLA，一个即插即用的框架，旨在增强预训练 Vision-Language-Action (VLA) 模型的 3D 空间和实例理解…
- 提出了 3DVLA，一个即插即用的框架，旨在增强预训练 Vision-Language-Action (VLA) 模型的 3D 空间和实例理解…
- 解决了当前 VLA 模型缺乏 3D 场景理解的核心问题，具体表现为弱 3D 空间位置提取、缺乏多视图一致性约束、不足的 3D 实例理解以及遮挡…
- 方法无需额外人工标注或破坏 VLM 预训练权重，通过引入鲁棒的 3D 推理模块，显著提升了机器人操作任务中的泛化性和成功率。
Card 01
研究单位
研究单位
- 北京大学王选计算机技术研究所
Card 02
论文概述
论文概述
- 提出了 3DVLA，一个即插即用的框架，旨在增强预训练 Vision-Language-Action (VLA) 模型的 3D 空间和实例理解能力。
- 解决了当前 VLA 模型缺乏 3D 场景理解的核心问题，具体表现为弱 3D 空间位置提取、缺乏多视图一致性约束、不足的 3D 实例理解以及遮挡下的脆弱推理。
- 方法无需额外人工标注或破坏 VLM 预训练权重，通过引入鲁棒的 3D 推理模块，显著提升了机器人操作任务中的泛化性和成功率。
Card 03
核心贡献
核心贡献
- 提出了 多视图空间融合 和 空间条件几何聚合 方法，通过显式的多视图一致性约束将 2D 视觉 tokens 提升为统一 3D 记忆库。
- 设计了 物体中心 3D 实例模块，使用高层 3D 实例 tokens 直接在 3D 空间提取物理实体，显式编码物体身份和几何信息。
- 引入了 坐标驱动的 3D 自监督预测器，利用掩码自监督学习范式并保留预测器用于视觉 token 补全，从而有效处理遮挡并推断未观察到的几何结构。
- 在多个 VLA 基线模型上验证了方法的有效性和兼容性，在复杂基准测试中实现了显著且一致的性能提升。
Card 04
方法描述
方法描述
- 多视图空间融合：将多视图特征展平并投影到绝对 3D 坐标空间，结合 连续 3D 旋转位置嵌入 建立跨视图几何对应关系，构建全局一致的 3D 记忆库。
- 物体中心 3D 实例模块：在连续 3D 空间初始化状态探针，通过可变形交叉注意力从多尺度特征金字塔提取纹理，并利用遮挡感知门控和有界坐标细化机制优化 3D 质心定位。
- 3D 自监督预测器：定义掩码坐标和补全坐标，利用混合 3D 注意力机制结合相对距离编码，通过 EMA 教师网络蒸馏目标重建遮挡区域的特征。
- 几何聚合与路由：基于末端执行器的相对位置编码，通过 不确定性引导的实例几何路由 机制自适应地将局部 3D 几何上下文注入到实例语义状态中。
Card 05
数据集与资源
数据集与资源
- 评估数据集：LIBERO-Plus 基准（包含 7 种扰动类别）和 RoboTwin 2.0 基准（强调物理密集型接触操作）。
- 模型规模：3DVLA 模块仅增加约 0.086B 参数量，保持了轻量化特性。
- 训练资源：文中未详细列出具体硬件资源，但强调该方法具有极小的计算开销。
Card 06
评估与结果
评估与结果
- 在 LIBERO-Plus 基准测试中，集成 3DVLA 的模型达到了 86.0% 的平均成功率，显著超越了 OpenVLA、RIPT-VLA 等现有先进方法。
- 在 RoboTwin 2.0 基准测试中，3DVLA 在 Easy 和 Hard 设置下均提升了基线模型的性能，例如将 $\pi_0$ 的 Hard 任务成功率从 16.3% 提升至 23.2%。
- 消融实验证实了 3D 实例模块、自监督预测器 和 不确定性引导路由 组件各自对最终性能提升的关键作用。