一眼看懂
封面预览
研究并揭示了视觉-语言-动作模型 中，深层网络对任务相关视觉信息的敏感度随层数加深而减弱的问题。
- 研究并揭示了视觉-语言-动作模型 中，深层网络对任务相关视觉信息的敏感度随层数加深而减弱的问题。
- 提出了 DeepVision-VLA 框架，旨在通过增强深层网络的视觉表征来提升机器人操纵任务的精度和泛化能力。
- 论文旨在解决VLA模型中视觉信息未能被深层网络有效利用，从而导致动作预测不准确的核心问题。
Card 01
研究单位
研究单位
- 北京大学 多媒体信息处理国家重点实验室
- Simplexity Robotics
- 香港中文大学
Card 02
论文概述
论文概述
- 研究并揭示了视觉-语言-动作模型 中，深层网络对任务相关视觉信息的敏感度随层数加深而减弱的问题。
- 提出了 DeepVision-VLA 框架，旨在通过增强深层网络的视觉表征来提升机器人操纵任务的精度和泛化能力。
- 论文旨在解决VLA模型中视觉信息未能被深层网络有效利用，从而导致动作预测不准确的核心问题。
Card 03
核心贡献
核心贡献
- 系统性分析了现有VLA模型中视觉信息的处理过程，发现其深层网络对任务关键视觉区域的敏感度下降。
- 提出了 视觉-语言混合Transformer框架 ，通过共享注意力机制将视觉基础模型的多层次特征注入到VLA骨干网络的深层。
- 引入了 动作引导的视觉修剪策略 ，利用浅层注意力识别并保留任务相关的视觉标记，同时修剪冗余信息。
- 提出的DeepVision-VLA模型在仿真和真实世界机器人操纵任务上均取得了最先进的性能。
Card 04
方法描述
方法描述
- 核心框架为 VL-MoT，其关键创新是使视觉专家与VLA骨干网络的深层共享注意力，从而在深层网络中直接融合高层次视觉特征。
- 采用 AGVP 技术，通过聚合浅层网络中动作标记到视觉标记的注意力图来生成显著性图，以此对视觉专家的特征进行智能修剪。
- 方法整合了一个高分辨率的视觉专家 DINOv3，通过双向注意力保持其预训练知识，同时VLA骨干网络对动作标记使用双向注意力以实现并行预测。
Card 05
数据集与资源
数据集与资源
- 仿真实验在 RLBench 基准的10个操纵任务上进行。
- 真实世界实验在四项复杂的双臂操纵任务上进行，并包含零样本泛化测试。
- 模型基于 Qwen3-VL (4B) 和 DINOv3 (0.8B) 构建。
- 模型使用包含超过40万条轨迹的数据集进行预训练，并在 8张NVIDIA H20 GPU 上进行微调。
Card 06
评估与结果
评估与结果
- 在 RLBench 仿真环境中，DeepVision-VLA的平均成功率达到 83%，比最强基线方法高出 9.0%。
- 在真实世界操纵任务中，DeepVision-VLA的平均成功率达到 91.7%，比最强基线方法高出 7.5%。
- 模型在未见过的背景和光照条件下展现出强大的视觉鲁棒性和零样本泛化能力。
- 消融实验验证了VL-MoT架构、深层特征选择策略以及AGVP中动作引导机制的有效性。