一眼看懂
封面预览
论文旨在解决电子垃圾自动化拆解中现有方法任务分解繁琐、模型特定性强、泛化能力不足的问题。
- 论文旨在解决电子垃圾自动化拆解中现有方法任务分解繁琐、模型特定性强、泛化能力不足的问题。
- 针对视觉-语言-动作模型在复杂、接触丰富、长周期工业拆解任务中表现不佳的挑战，提出了一个集成了显式拆解技能的代理式VLA框架。
- 研究目标是实现一个能够理解指令、规划动作、执行精确操作并在失败后自我恢复的自动化拆解系统。
Card 01
研究单位
研究单位
- 作者来自 德州农工大学 的 J. Mike Walker '66 机械工程系 和 Zachry 土木与环境工程系。
Card 02
论文概述
论文概述
- 论文旨在解决电子垃圾自动化拆解中现有方法任务分解繁琐、模型特定性强、泛化能力不足的问题。
- 针对视觉-语言-动作模型在复杂、接触丰富、长周期工业拆解任务中表现不佳的挑战，提出了一个集成了显式拆解技能的代理式VLA框架。
- 研究目标是实现一个能够理解指令、规划动作、执行精确操作并在失败后自我恢复的自动化拆解系统。
Card 03
核心贡献
核心贡献
- 提出了 SELF-VLA 框架，这是一个技能增强的代理式VLA框架，将结构化拆解技能与失败恢复机制相结合，用于长周期、接触丰富的操作任务。
- 框架包含三个核心组件：用于理解任务和导航的 VLA规划器、执行接触丰富操作的 技能库、以及负责失败恢复的 VLA校正器。
- 在两个真实的机器人拆解任务（CPU提取和RAM移除）上进行了评估，实验结果表明，与最先进的端到端VLA模型相比，该框架显著提高了任务成功率。
Card 04
方法描述
方法描述
- SELF-VLA 框架采用模块化设计：VLA规划器 接收语言指令和视觉观察，输出连续控制动作，并生成一个停止令牌以触发技能调用。
- 技能库 中的每个技能由一组预定义的航点序列定义，支持从当前位置开始的相对运动和到固定位置的绝对运动，并集成了抓取检测。
- VLA校正器 在检测到抓取失败或部件掉落时被激活，负责重新抓取部件并重新调用技能以完成任务。整个流程由算法自动控制，无需人工干预。
Card 05
数据集与资源
数据集与资源
- 使用自建的 真实世界拆解数据集，包含从EoL台式机中进行CPU提取和RAM移除的演示数据。
- 数据集包含528个演示片段，图像由手腕和侧边相机以30 Hz同步记录，分辨率为1280x720，处理后缩放至256x256。
- 模型基于 OpenVLA、OpenVLA-OFT 和 π₀.₅ 进行微调，使用了LoRA 技术，并在10 Hz和30 Hz两种下采样率的数据上进行训练以对比性能。
Card 06
评估与结果
评估与结果
- 在配备 UR5e机械臂 和 Robotiq 2F-85夹爪 的真实平台上进行评估，比较了SELF-VLA框架与端到端VLA基线。
- 主要评估指标为各阶段（接近、拆卸、最终成功）的任务成功率，每个配置进行20次独立试验。
- 实验结果显示，SELF-VLA框架显著优于端到端基线。例如，在CPU提取任务上，使用π₀.₅-Droid 微调模型的SELF-VLA最终成功率达到了85%，而其端到端基线成功率仅为10%。整体上，SELF-VLA使RAM移除和CPU提取的平均成功率分别提升了17%和31%。