一眼看懂
封面预览
论文针对现有 Vision-Language-Action (VLA) 模型在端到端监督下容易过拟合虚假相关性（如视觉捷径或环境噪声）导致泛化…
- 论文针对现有 Vision-Language-Action (VLA) 模型在端到端监督下容易过拟合虚假相关性（如视觉捷径或环境噪声）导致泛化…
- 提出了 GuidedVLA 框架，通过“即插即用”的动作注意力专业化机制，显式引导动作解码器关注任务相关因素，而非依赖隐式学习。
- 核心思想是将动作解码器视为功能组件的集合，通过手动定义的辅助信号监督特定的注意力头，使其捕获不同的关键因子。
Card 01
研究单位
研究单位
- 复旦大学 可信具身智能研究所 (TEAI) 及上海多模态具身智能重点实验室
- 上海交通大学
- 香港大学 OpenDriveLab
Card 02
论文概述
论文概述
- 论文针对现有 Vision-Language-Action (VLA) 模型在端到端监督下容易过拟合虚假相关性（如视觉捷径或环境噪声）导致泛化能力不足的问题进行研究。
- 提出了 GuidedVLA 框架，通过“即插即用”的动作注意力专业化机制，显式引导动作解码器关注任务相关因素，而非依赖隐式学习。
- 核心思想是将动作解码器视为功能组件的集合，通过手动定义的辅助信号监督特定的注意力头，使其捕获不同的关键因子。
Card 03
核心贡献
核心贡献
- 提出了 GuidedVLA 通用范式，通过功能性注意力专业化显式指定任务相关因子，缓解 VLA 模型的过拟合风险。
- 实现了三个专业化注意力头的设计：Object Head（视觉定位）、Skill Head（时序逻辑意图）和 Depth Head（3D 结构感知），并验证了显式引导解决了非引导 VLA 解码器的脆弱性和随机性问题。
- 在多个仿真基准和真实机器人任务上进行了广泛评估，证明了该方法在域内和域外场景下均显著优于现有的强 VLA 基线模型（如 $\pi_0$）。
- 提供了关于头部专业化的定量分析，证明了该方法产生的高质量特征与任务性能呈正相关，且特征具有解耦性。
Card 04
方法描述
方法描述
- 采用 ControlNet-style 残差适配器 策略，通过零初始化的投影层（ZeroConv）将专业化注意力分支的特征融合到主干网络，以保留预训练模型的性能并逐步注入任务特定偏置。
- Object Head：通过监督注意力图使其聚焦于任务相关物体区域，使用 Grounding SAM 生成的掩码进行监督，最小化负对数物体质量损失。
- Skill Head：通过池化特征并使用 KL 散度损失，将其与时间技能阶段（如 Pick -> Place）的软标签分布对齐，以捕捉高层时序语义。
- Depth Head：不使用损失函数，而是通过结构约束，强迫特定的注意力头仅从冻结的深度编码器（如 Depth Anything 3）提取的特征中获取几何信息。
Card 05
数据集与资源
数据集与资源
- 主要使用 LIBERO-Plus 仿真基准进行评估，这是一个基于 LIBERO 构建的鲁棒性分析基准。
- 构建了自动化的因子标注管道，使用 Qwen3-VL 和 SAM2 进行物体掩码生成和技能标签分配。
- 模型基于 $\pi_0$ 等预训练 VLA 模型进行构建和微调。
Card 06
评估与结果
评估与结果
- 评估环境包含多种扰动维度（Camera, Robot, Language, Light, Background, Noise）及任务套件（Spatial, Object, Goal, Long）。
- 在 LIBERO-Plus 基准上，GuidedVLA（集成所有头部）的平均成功率达到 75.4%，显著优于基线模型 $\pi_0$ 的 68.2% 及其他对比模型（如 OpenVLA, DreamVLA）。
- 消融实验显示各头部具有任务特异性：Object Head 在 Object 和 Long 任务中表现最强，Skill Head 在 Goal 任务中最佳，Depth Head 在 Spatial 任务中表现最优。
- 实验验证了因子理解质量与任务成功率之间存在强正相关性，且特征解耦优于混合监督方法。