一眼看懂
封面预览
首次将视觉语言动作（VLA）策略迁移到真实温室草莓采摘场景，该任务面临严重的遮挡和高光反射挑战，属于长时域、非结构化任务
- 首次将视觉语言动作（VLA）策略迁移到真实温室草莓采摘场景，该任务面临严重的遮挡和高光反射挑战，属于长时域、非结构化任务
- 构建了端到端的闭环 HarvestFlex 平台，采用三视角 RGB 感知（两个固定场景视角 + 一个手腕安装视角），刻意避免使用深度点云和显…
- 收集了 3.71 小时的 VR 遥操作演示数据（227 个回合），对 π₀、π₀.₅ 和 WALL-OSS 模型进行全量微调和 LoRA 微调
Card 01
研究单位
研究单位
- 北京农业林业科学院智能装备研究中心（北京市海淀区，100097）
- 上海大学机电工程与自动化学院（上海市，200444）
Card 02
论文概述
论文概述
- 首次将视觉语言动作（VLA）策略迁移到真实温室草莓采摘场景，该任务面临严重的遮挡和高光反射挑战，属于长时域、非结构化任务
- 构建了端到端的闭环 HarvestFlex 平台，采用三视角 RGB 感知（两个固定场景视角 + 一个手腕安装视角），刻意避免使用深度点云和显式几何标定
- 收集了 3.71 小时的 VR 遥操作演示数据（227 个回合），对 π₀、π₀.₅ 和 WALL-OSS 模型进行全量微调和 LoRA 微调
- 在统一的 50 次真实温室试验协议下，π₀.₅ 全量微调达到 74.0% 成功率，每采摘耗时 32.6 秒，损伤率 4.1%
Card 03
核心贡献
核心贡献
- 提出了温室草莓采摘的闭环端到端系统，集成了 LeRobot 数据采集框架，实现感知-决策-控制的持续执行
- 通过 VR 遥操作在多样光照和遮挡条件下采集长时域演示，涵盖采摘工作流关键阶段，提供可复现的数据采集方案
- 建立了 VLA 草莓采摘的综合评估协议，报告成功率、周期时间、损伤率、典型失败场景及各阶段成功情况
- 系统比较了多种开源 SOTA VLA 模型在迁移到未见过的机器人本体时的表现，研究全量微调与参数高效微调的权衡
Card 04
方法描述
方法描述
- 任务定义：将采摘行为分为五个阶段——目标选择、避障接近、包裹与分离、放置、重试或复位
- 系统设置：6-DoF 机械臂 + 2-DoF 柔顺末端执行器（硅胶结构气泵驱动），三视角 RGB 相机（两个 Intel RealSense D455 场景相机 + 一个 RealSense D405 手腕相机）
- 策略适应：采用三种 VLA 基线模型（π₀、π₀.₅、WALL-OSS），策略输出 8 维动作（7 维机械臂 + 1 维气泵命令），使用 L2 损失和交叉熵损失联合优化
- 部署模式：对比同步推理（串行图像采集-推理-执行）与异步推理（双线程管道，解耦推理与控制），异步模式提高接触敏感阶段的稳定性
Card 05
数据集与资源
数据集与资源
- 数据集：3.71 小时 VR 遥操作演示，227 个回合，491 次有效采摘尝试，平均每次采摘 40 秒，平均重试 1.5 次
- 数据多样性：覆盖低光/正常/强高光条件、轻度/中度/重度遮挡、单目标/多目标场景
- 训练资源：2×A800（80GB）GPU，批量大小 16，训练 6 个 epoch
- 推理部署：NVIDIA RTX A5000 GPU（16GB），控制频率 30Hz，图像统一缩放至 640×480
Card 06
评估与结果
评估与结果
- 主要结果：π₀.₅ 全量微调在 6 个 epoch 后达到最佳性能——成功率 74.0%、周期时间 32.6 秒/采摘、损伤率 4.1%
- 消融实验：添加手腕相机显著提升性能（从单视角的 10% 成功率提升到三视角的 74%），三视角配置对接触丰富的包裹和分离阶段至关重要
- 推理模式对比：异步推理（SR 74.0%，周期时间 32.6s）优于同步推理（SR 70.0%，周期时间 45.7s），异步模式减少控制抖动，提高分离阶段稳定性
- 与模块化基线对比：传统模块化管道成功率更高（89% vs 74%）且周期更短（8.3s vs 32.6s），但 VLA 在开发成本和适应复杂环境方面具有优势
- 局限性：严重遮挡/反射下的观测退化、接触动力学不匹配、硬边缘案例数据覆盖不足