一眼看懂
封面预览
论文旨在解决现有视觉-语言-动作(VLA)模型在面对训练数据中未见过的视觉扰动时性能显著下降的鲁棒性问题。
- 论文旨在解决现有视觉-语言-动作(VLA)模型在面对训练数据中未见过的视觉扰动时性能显著下降的鲁棒性问题。
- 核心目标是提出一种不依赖额外数据或数据增强的架构级解决方案，以提升VLA模型的内在鲁棒性。
- 通过提出轻量级的信息瓶颈适配器(IB-Adapter)，论文在无需额外训练资源的情况下，实现了模型在合成和真实世界视觉干扰下的卓越稳定性。
Card 01
研究单位
研究单位
- 北京大学 (Peking University)
- 清华大学 (Tsinghua University)
- Astribot
- 南京大学 (Nanjing University)
- 南开大学 (Nankai University)
Card 02
论文概述
论文概述
- 论文旨在解决现有视觉-语言-动作(VLA)模型在面对训练数据中未见过的视觉扰动时性能显著下降的鲁棒性问题。
- 核心目标是提出一种不依赖额外数据或数据增强的架构级解决方案，以提升VLA模型的内在鲁棒性。
- 通过提出轻量级的信息瓶颈适配器(IB-Adapter)，论文在无需额外训练资源的情况下，实现了模型在合成和真实世界视觉干扰下的卓越稳定性。
Card 03
核心贡献
核心贡献
- 通过实证研究揭示了当前最先进VLA模型（如VLA-Adapter, OpenVLA）在视觉扰动下的脆弱性，并指出该脆弱性与连接视觉编码器和LLM骨干的投影模块密切相关。
- 提出了信息瓶颈适配器(IB-Adapter)，这是一种基于信息瓶颈理论的轻量级适配器模块，旨在从视觉输入中选择性过滤潜在噪声，从而增强模型的内在鲁棒性。
- 构建了混合架构Fused IB-Adapter，通过双路径设计平衡了鲁棒语义理解和精确空间细节的保持，适用于长序列和精细操作任务。
- 在LIBERO、CALVIN基准和真实机器人实验中进行了广泛评估，证明所提出的StableVLA模型在零样本鲁棒性上一致超越多个强大基线，同时保持了极小的模型规模。
Card 04
方法描述
方法描述
- 将模态对齐问题重新表述为信息瓶颈(IB)优化问题，目标是在压缩输入信息的同时保留与任务相关的语义。
- 提出了IB-Adapter模块，其核心创新在于利用通道注意力机制进行子空间协方差建模，并采用Sigmoid门控函数独立抑制噪声通道，而非强制通道竞争。
- 设计了Fused IB-Adapter混合架构，它并行结合了一个用于保留高频细节的标准MLP路径和一个用于提取鲁棒语义特征的IB-Adapter路径，并通过可调参数控制两者的平衡。
- 提出了随机路径丢弃(SPD)策略，针对不同任务需求调整两个路径的权重，以在需要高空间保真度或长期语义规划的任务间灵活适应。
Card 05
数据集与资源
数据集与资源
- 主要使用仿真基准LIBERO（包含Spatial, Object, Goal, Long四个任务套件）和CALVIN进行零样本泛化评估。
- 在真实世界实验中，收集了四种任务（抓取放置、投篮、倒水、打包娃娃）的遥操作演示数据。
- 基础模型为VLA-Adapter (0.5B参数)，IB-Adapter模块仅增加少于10M参数，参数开销极小。
- 训练过程中未使用如Open X-Embodiment等大规模外部数据集，也未应用任何针对鲁棒性的数据增强。
Card 06
评估与结果
评估与结果
- 评估环境包括合成视觉腐蚀（基于ImageNet-C协议，涵盖噪声、模糊、天气、数字腐蚀，强度等级3-5）和真实物理干扰（镜头油污、塑料遮挡）。
- 在LIBERO基准上，StableVLA在腐蚀数据上的平均性能较基线VLA-Adapter提升30%以上，在最高强度等级5上提升可达139.6%。
- 在CALVIN基准上，StableVLA完成的平均任务数量显著高于VLA-Adapter。
- 在真实机器人实验中，StableVLA (0.5B)在视觉腐蚀下的性能下降幅度最小，其鲁棒性甚至媲美或超越参数量14倍且经过大规模预训练的OpenVLA (7B)和OpenPi-0.5 (3B)等模型。