一眼看懂
封面预览
提出 AnyCamVLA 框架，解决视觉-语言-动作模型（VLAs）在相机视角变化下的鲁棒性问题
- 提出 AnyCamVLA 框架，解决视觉-语言-动作模型（VLAs）在相机视角变化下的鲁棒性问题
- 通过实时前馈新视角合成，将测试时相机观测虚拟调整至训练相机配置，无需额外数据、策略微调或架构修改
- 该即插即用方法保留了预训练VLAs的能力，适用于任何基于RGB的策略
Card 01
研究单位
研究单位
- 首尔国立大学 电气与计算机工程系
- 麻省理工学院 机械工程系
Card 02
论文概述
论文概述
- 提出 AnyCamVLA 框架，解决视觉-语言-动作模型（VLAs）在相机视角变化下的鲁棒性问题
- 通过实时前馈新视角合成，将测试时相机观测虚拟调整至训练相机配置，无需额外数据、策略微调或架构修改
- 该即插即用方法保留了预训练VLAs的能力，适用于任何基于RGB的策略
Card 03
核心贡献
核心贡献
- 提出 零样本相机适应框架，无需策略微调即可处理相机外参、内参及手持相机变化
- 利用 LVSM 前馈新视角合成模型实现实时视角转换，运行频率达30 Hz
- 在 LIBERO 基准上持续超越数据增强和几何感知方法，并在真实机器人场景中验证有效性
- 证明零样本视觉适应比策略微调更高效可靠，避免了灾难性遗忘问题
Card 04
方法描述
方法描述
- 引入相机适应模块 $\mathcal{F}$，将测试时图像合成至训练视角：$\hat{I}_{t}^{\text{train}}=\mathcal{F}(I_{t}^{\text{test}},\mathcal{C}^{\text{test}},\mathcal{C}^{\text{train}})$
- 使用 LVSM 解码器模型作为视角合成模块，支持灵活的输入/输出相机数量
- 在每个控制步骤中实时合成训练视角图像，保持VLA策略冻结
Card 05
数据集与资源
数据集与资源
- LIBERO 基准用于仿真实验，包含agent相机和腕部相机视角
- 基础VLA模型：OpenVLA-OFT 和 π0.5
- 视角合成模型：LVSM（171M参数）
- 自定义多视图数据集：491个场景，每场景64个视角变化，基于 LIBERO-Plus 资产
- 真实世界实验使用 Franka Panda 机械臂和 ZED2 相机
Card 06
评估与结果
评估与结果
- 在 LIBERO 四个套件上评估，相机扰动分为小、中、大三个等级
- 主要指标：任务成功率
- Ours-π 在所有套件上取得最高平均成功率 94.5%，显著超越基线
- 在大视角变化下，基础策略成功率从92.4%降至39.9%，而本方法保持86.2%
- 真实世界实验中，本方法在新视角下维持与训练视角相当的成功率，支持 ZED2、RealSense 和 iPhone 等多种手持相机