一眼看懂
封面预览
论文旨在解决 OpenVLA 模型在面对新环境时零样本性能受限及语言泛化能力不足的问题。
- 论文旨在解决 OpenVLA 模型在面对新环境时零样本性能受限及语言泛化能力不足的问题。
- 研究提出了一种参数高效的微调策略，利用 LLM 合成多样化的指令集来增强 OpenVLA 的语言泛化能力。
- 该方法通过丰富数据集的语言空间，弥合了复杂自然语言意图与机器人动作之间的差距。
Card 01
研究单位
研究单位
- University of Texas at Austin（根据作者邮箱 i.dongik@utexas.edu 推断）
Card 02
论文概述
论文概述
- 论文旨在解决 OpenVLA 模型在面对新环境时零样本性能受限及语言泛化能力不足的问题。
- 研究提出了一种参数高效的微调策略，利用 LLM 合成多样化的指令集来增强 OpenVLA 的语言泛化能力。
- 该方法通过丰富数据集的语言空间，弥合了复杂自然语言意图与机器人动作之间的差距。
Card 03
核心贡献
核心贡献
- 提出了利用 LLM 为现有轨迹生成语义丰富且结构多样的合成指令集的方法。
- 实现了 LoRA 微调策略以高效适应 OpenVLA 模型，避免了全参数更新的高昂计算成本。
- 实验证明了丰富专用机器人数据集的语言空间可以显著提升模型的鲁棒性和泛化能力。
Card 04
方法描述
方法描述
- 基于 OpenVLA 模型，使用 LoRA (Low-Rank Adaptation) 对自注意力层的 Query, Value, Key, Output 投影矩阵进行微调。
- 利用 LLM 根据任务的元数据（初始、中间和最终帧图像）生成包含不同句法结构（如祈使句、目标导向等）的多样化指令。
- 从生成的指令中手动筛选出高质量的指令集，并在训练阶段将其与轨迹随机配对，以解耦特定语言模式与刚性任务标签。
Card 05
数据集与资源
数据集与资源
- 使用 Bridge Dataset V2 中的脚本化原始数据子集，包含 100 条轨迹。
- 训练硬件资源为单个 Nvidia A100 GPU（40GB 显存）。
- 训练使用 AdamW 优化器，学习率为 5e-05。
Card 06
评估与结果
评估与结果
- 评估基准为 BridgeData V2 测试集，主要指标为 Top-1 准确率和 5-Bin 容差准确率。
- 实验结果显示，该方法在 5-Bin 容差准确率上达到 42.47%，优于原始 OpenVLA 的 40.76%。
- 虽然 Top-1 准确率略有下降（从 6.62% 降至 5.09%），但模型在动作预测的物理合理范围内表现更稳健，表明其优先考虑功能性成功而非刚性记忆。