一眼看懂
封面预览
论文提出PVI (Plug-in Visual Injection) 框架，解决视觉语言动作(VLA)模型中视觉信息不足的问题，特别是精细几何…
- 论文提出PVI (Plug-in Visual Injection) 框架，解决视觉语言动作(VLA)模型中视觉信息不足的问题，特别是精细几何…
- 核心问题：VLM（视觉语言模型）通常针对语义抽象进行优化，会压缩掉精细的空间几何信息（如边缘、对齐、抓取可行性），且通常基于静态视觉观测，缺乏…
- 研究目标：设计一种轻量级、编码器无关的模块，通过零初始化残差路径将辅助视觉表示直接注入预训练的动作专家，实现稳定单阶段微调
Card 01
研究单位
研究单位
- Lionrock AI Lab, China Merchants Group, Hong Kong, China
- 主要作者：Zezhou Zhang, Songxin Zhang, Xiao Xiong, Junjie Zhang, Zejian Xie, Jingyi Xi, Zunyao Mao, Zan Mao, Zhixin Mai, Zhuoyang Song, Jiaxing Zhang
- 通讯作者：Zhuoyang Song, Jiaxing Zhang
Card 02
论文概述
论文概述
- 论文提出PVI (Plug-in Visual Injection) 框架，解决视觉语言动作(VLA)模型中视觉信息不足的问题，特别是精细几何线索和时序动态信息的缺失
- 核心问题：VLM（视觉语言模型）通常针对语义抽象进行优化，会压缩掉精细的空间几何信息（如边缘、对齐、抓取可行性），且通常基于静态视觉观测，缺乏时序证据
- 研究目标：设计一种轻量级、编码器无关的模块，通过零初始化残差路径将辅助视觉表示直接注入预训练的动作专家，实现稳定单阶段微调
Card 03
核心贡献
核心贡献
- PVI框架：提出一种稳定的、最小侵入的、编码器无关的视觉注入框架，通过双通道DiT设计和逐层零初始化残差注入，将辅助表示注入冻结的动作专家，同时保留预训练行为
- 系统性注入策略比较：在多样化双臂模拟任务中系统评估PVI与多种替代注入策略，PVI将平均成功率从35.7%提升至59.7%（+24.0个百分点），优于其他竞争方案
- 表示研究：利用PVI作为受控测试平台，系统比较时序视频编码器、静态图像编码器及其组合，发现时序视频特征(V-JEPA2)始终优于强静态基线(DINOv2)，特别是在需要状态跟踪和多阶段协调的任务中
- 真实机器人验证：在真实双臂平台上实现长程可变形物体（衣物）折叠任务，验证PVI在模拟环境之外的实用性
Card 04
方法描述
方法描述
- 编码器无关的辅助视觉特征提取：PVI不假设特定辅助视觉编码器，使用冻结的辅助编码器E提取特征，通过可训练零初始化投影将特征映射到DiT嵌入空间
- 双通道DiT与逐层注入：构建可训练复制分支镜像主DiT架构，复制分支使用投影后的辅助特征而非VLM表示作为条件，其逐层隐藏状态通过零初始化注入层残差添加到冻结主DiT的对应层
- 零初始化训练策略：冻结VLM和主DiT，仅训练新引入的投影层、复制分支和注入层，零初始化确保训练从与原始预训练VLA等效的行为开始，逐步整合辅助视觉信息
Card 05
数据集与资源
数据集与资源
- 基础模型：GR00T N1.5（3B参数）
- 辅助编码器：V-JEPA2（时序视频特征）、DINOv2（静态图像特征）
- 模拟环境：RoboTwin 2.0双臂操作模拟器
- 真实机器人：Airbot双臂平台
- 训练资源：4-8块NVIDIA H20Z GPU，学习率1×10⁻⁴，标准任务20k步，长程任务60k步
Card 06
评估与结果
评估与结果
- 主要评估指标：任务成功率（100次评估 rollout）
- 基线对比：GR00T N1.5基线35.7% → PVI 59.7%（+24.0 pp）
- 注入策略比较：PVI显著优于Concat(43.6%)、ControlNet(34.4%)、ControlVLA(37.0%)、ReferenceNet(37.4%)
- 编码器比较：GR00T+PVI@DINOv2 56.8% (+17.0 pp)，GR00T+PVI@V-JEPA2 69.4% (+29.6 pp)，组合编码器68.9%
- 时序上下文敏感性：2-4帧最优(71.6%-71.8%)，8帧(69.4%)，16帧(66.6%)
- 多任务扩展性：20任务混合61.15%→69.15% (+8.00 pp)，50任务混合61.32%→63.56% (+2.24 pp)
- 真实机器人实验：成功完成8阶段双臂衣物折叠任务，包括精确定位、形状调整、对称折叠、张力控制等操作