一眼看懂
封面预览
研究将视觉-语言-动作（VLA）模型的初始化问题视为一个受控的表示设计问题，旨在探究何种预训练视觉-语言模型（VLM）表示能提供有效的VLA初…
- 研究将视觉-语言-动作（VLA）模型的初始化问题视为一个受控的表示设计问题，旨在探究何种预训练视觉-语言模型（VLM）表示能提供有效的VLA初…
- 从三个维度进行分析：能力层面的具身视觉问答（VQA）监督、参数更新策略以及机器人数据预训练。
- 解决的核心问题是：预训练VLM的原始表示是动作性能的关键来源，但如何有效注入具身信号并保留有用的预训练表示仍不明确。
Card 01
研究单位
研究单位
- CUHK（香港中文大学）
- PolyU（香港理工大学）
- Peking University（北京大学）
- ACE Robotics
Card 02
论文概述
论文概述
- 研究将视觉-语言-动作（VLA）模型的初始化问题视为一个受控的表示设计问题，旨在探究何种预训练视觉-语言模型（VLM）表示能提供有效的VLA初始化。
- 从三个维度进行分析：能力层面的具身视觉问答（VQA）监督、参数更新策略以及机器人数据预训练。
- 解决的核心问题是：预训练VLM的原始表示是动作性能的关键来源，但如何有效注入具身信号并保留有用的预训练表示仍不明确。
Card 03
核心贡献
核心贡献
- 发现原始预训练VLM表示是动作学习的主要性能来源，从头训练的策略性能显著下降（超过20%）。
- 揭示具身VQA适应的效果取决于下游任务的瓶颈，不同能力域的增益不具备可加性，最佳组合为 {Grounding + Egocentric Understanding}。
- 证明参数更新策略中，LoRA 比全量微调提供更可靠的初始化，过度重塑预训练表示会削弱VLA初始化效果。
- 揭示机器人数据预训练能进一步改善VLA初始化，最佳变体是通过分阶段的、基于 LoRA 的训练获得。
Card 04
方法描述
方法描述
- 采用两阶段训练流程：第一阶段用具身VQA数据适应基座VLM；第二阶段用适应后的VLM初始化VLA策略并在动作轨迹上训练。
- 比较两种参数更新策略：LoRA（低秩适应，保留大部分原始权重）与 Full Finetune（全量微调，允许激进重塑）。
- 系统研究七种具身VQA能力域及其组合，并引入机器人数据预训练作为动作侧信号，分析其与感知侧VQA适应的交互。
Card 05
数据集与资源
数据集与资源
- 使用三个模拟基准：Libero-10、SimplerBridge、RoboCasa GR1 Tabletop。
- 使用的基座VLM模型：Qwen3-VL-4B、Qwen3-VL-2B、PaliGemma2-3B。
- 机器人数据源为 AgiBot-World-Beta。
- 训练资源细节详见附录。
Card 06
评估与结果
评估与结果
- 评估环境为模拟机器人操作任务，以隔离初始化效果。
- 主要评估指标为任务成功率（%）。
- 关键结果：预训练VLM初始化至关重要；{Grounding + Egocentric Understanding} 是最有效的VQA组合；LoRA 更新策略普遍优于全量微调；基于 LoRA 的分阶段机器人数据预训练取得最佳性能（55.2%）。