一眼看懂
封面预览
提出一个名为Evo-Depth的轻量级深度增强视觉-语言-动作（VLA）模型框架，旨在提升机器人操作任务中的空间感知能力。
- 提出一个名为Evo-Depth的轻量级深度增强视觉-语言-动作（VLA）模型框架，旨在提升机器人操作任务中的空间感知能力。
- 解决现有VLA模型在需要精确空间理解的任务中表现不佳的问题，避免依赖额外3D传感器或大型几何基础模型带来的高成本和复杂度。
- 通过引入隐式深度特征和轻量级空间增强策略，在保持模型轻量化和部署效率的同时，显著提升空间感知和操作性能。
Card 01
研究单位
研究单位
- 上海交通大学人工智能学院
- 阿卜杜拉国王科技大学
- 南洋理工大学
- SJTU-Quic机器人联合实验室
Card 02
论文概述
论文概述
- 提出一个名为Evo-Depth的轻量级深度增强视觉-语言-动作（VLA）模型框架，旨在提升机器人操作任务中的空间感知能力。
- 解决现有VLA模型在需要精确空间理解的任务中表现不佳的问题，避免依赖额外3D传感器或大型几何基础模型带来的高成本和复杂度。
- 通过引入隐式深度特征和轻量级空间增强策略，在保持模型轻量化和部署效率的同时，显著提升空间感知和操作性能。
Card 03
核心贡献
核心贡献
- 提出Evo-Depth框架，首个将轻量级隐式深度信息融入VLA模型，无需额外传感器即可增强空间感知。
- 设计隐式深度编码模块（IDEM）从多视角RGB图像提取紧凑深度特征，以及空间增强模块（SEM）通过深度感知调制进行高效空间-语义融合。
- 引入渐进式对齐训练策略，分阶段优化深度特征与视觉-语言表示的融合，促进有效的跨模态协同和端到端策略学习。
- 在仿真与真实世界实验中验证有效性，仅用0.9B参数即取得领先性能，证明轻量级隐式深度增强的实用价值。
Card 04
方法描述
方法描述
- 隐式深度编码模块（IDEM）基于轻量级视觉Transformer（0.13B参数），初始化自多视角深度预训练模型，通过分层注意力设计聚合跨视角空间关系。
- 空间增强模块（SEM）将IDEM输出的隐式深度特征转换为调制参数，通过FiLM-style调制注入到2D视觉-语言表示中，保留原始语义同时增强空间信息。
- 动作专家采用流匹配范式和扩散Transformer，基于空间增强后的表示和机器人状态生成未来动作序列。
- 渐进式对齐训练分为三阶段：初始对齐、空间对齐、联合优化，逐步稳定模块间协作，促进深度与视觉-语言特征的深度融合。
Card 05
数据集与资源
数据集与资源
- 仿真基准：Meta-World、VLA-Arena、LIBERO、LIBERO-Plus
- 真实世界任务：Orange Placement、Tennis Deposit、Cup Stacking
- 模型规模：总参数量仅0.9B（IDEM 0.13B，视觉语言骨干0.77B，动作专家部分参数）
- 部署资源：推理时GPU内存占用仅3.2 GB，推理频率达12.3 Hz，适合实时机器人部署。
Card 06
评估与结果
评估与结果
- 评估环境：四个仿真基准测试及真实物理机器人实验平台。
- 主要指标：任务成功率，并在真实实验中对比参数量、GPU内存和推理频率。
- 仿真结果：在Meta-World上平均成功率84.4%（领先），在LIBERO上达95.4%，在LIBERO-Plus上平均69.6%，表现出强鲁棒性。
- 真实世界结果：平均成功率90.0%，显著高于对比模型（如π₀的66.7%和OpenVLA-OFT的38.3%），同时在模型大小、内存占用和推理速度上均最优，实现最佳效率-性能平衡。
- 泛化实验：在背景扰动、未见干扰物、位置扰动等四种干扰设定下，成功率均高于基线模型，证明对视觉和空间变化的强鲁棒性。