一眼看懂
封面预览
论文提出了 BioProVLA-Agent，一个低成本、协议驱动的具身多智能体系统，旨在解决生物实验室自动化中的协议理解、透明器皿视觉感知和闭…
- 论文提出了 BioProVLA-Agent，一个低成本、协议驱动的具身多智能体系统，旨在解决生物实验室自动化中的协议理解、透明器皿视觉感知和闭…
- 系统硬件成本约为 800-850 USD，利用自然语言生物协议作为任务接口，无需用户具备专业的机器人编程知识即可执行复杂实验流程。
- 核心目标是将非结构化的实验协议转化为可执行、可验证的子任务序列，并结合视觉增强的 VLA 模型在真实湿实验室环境中实现稳定操作。
Card 01
研究单位
研究单位
- East China University of Science and Technology (Key Laboratory of Smart Manufacturing in Energy Chemical Process Ministry of Education; Dept. of Computer Science and Engineering)
- Ruijin Hospital, Shanghai Jiao Tong University School of Medicine (Department of Laboratory Medicine)
- Shihezi University (School of Information Science and Technology)
Card 02
论文概述
论文概述
- 论文提出了 BioProVLA-Agent，一个低成本、协议驱动的具身多智能体系统，旨在解决生物实验室自动化中的协议理解、透明器皿视觉感知和闭环执行问题。
- 系统硬件成本约为 800-850 USD，利用自然语言生物协议作为任务接口，无需用户具备专业的机器人编程知识即可执行复杂实验流程。
- 核心目标是将非结构化的实验协议转化为可执行、可验证的子任务序列，并结合视觉增强的 VLA 模型在真实湿实验室环境中实现稳定操作。
Card 03
核心贡献
核心贡献
- 构建了一个以协议为中心的具身多智能体框架，连接了协议解析、状态验证、具身执行和人工干预，形成了统一的闭环控制流程。
- 设计了一种“协议到执行”的任务表示方法，将非结构化文本转化为包含动作指令、前置条件、完成标准和知识索引的结构化子任务单元。
- 开发了基于 VLM-RAG 的感知推理机制，通过检索操作知识库并在执行前后进行视觉状态验证，实现了具备解释性和容错能力的闭环操作。
- 提出了 AugSmolVLA，一种针对透明器皿、反光和过曝光等湿实验室视觉干扰的在线课程数据增强策略，显著提升了 VLA 模型的泛化能力。
- 建立了一个分层的湿实验室操作基准，包含 15 个原子任务、6 个复合工作流和 3 个双臂协作任务。
Card 04
方法描述
方法描述
- 系统由四个智能体协同工作：Guiding Decision Agent 负责任务调度与协调，Tailored LLM Protocol Agent 负责协议解析，VLM-RAG Verification Agent 负责状态验证，VLA Embodied Agent 负责动作执行。
- 协议解析智能体利用受限提示的 LLM 将输入协议转化为包含意图、实体、动作和约束条件的结构化 JSON 格式。
- 验证智能体结合实时视觉观测、机器人状态和检索到的知识库示例，判断任务前置条件是否满足以及执行后是否完成，失败时触发重试或人工介入。
- 具身智能体基于 SmolVLA 策略模型，通过在线视觉扰动增强（亮度、对比度、过曝光等）进行课程式微调，以适应实验室复杂光照环境。
Card 05
数据集与资源
数据集与资源
- 使用的机器人平台为低成本机械臂 So-ARM101。
- 构建了多任务数据集，每个原子任务包含 100 条人工遥操作演示轨迹，数据格式为 LeRobot。
- 实验资产包括 BY-80C 离心机、15 mL 离心管、1.8 mL 冷冻管、水浴锅、血清瓶、试管架和垃圾桶等标准实验耗材。
- 任务类型涵盖盖子开闭、试管插入/取出、精确放置、废弃物处理、旋盖和倾倒废液等 15 种原子操作。
Card 06
评估与结果
评估与结果
- 评估环境覆盖单臂任务、复合任务和双臂协作任务，基准模型包括 ACT、X-VLA 和原始 SmolVLA。
- 评估指标为单任务的成功率（SR）和复合任务的完成率（CR）。
- 实验结果表明，AugSmolVLA 在各项任务中均优于基准模型，特别是在精确放置和透明物体操作方面表现显著（例如放置冷冻管成功率从 40.00% 提升至 65.00%）。
- 系统在涉及光照变化、透明器皿反射和过曝光的视觉退化场景中展现出更强的执行稳定性和鲁棒性。