一眼看懂
封面预览
针对科学实验机器人实验室中的长时程任务（由多个原子任务组合而成），发现现有经过微调的视觉语言动作模型在组合任务上存在 “状态间隙” 问题。
- 针对科学实验机器人实验室中的长时程任务（由多个原子任务组合而成），发现现有经过微调的视觉语言动作模型在组合任务上存在 “状态间隙” 问题。
- 提出一种无需额外训练、仅作用于推理阶段的智能体插件，通过大语言模型生成过渡性机器人动作代码，桥接原子任务之间的状态间隙，提升组合任务的执行成功率。
- 提出 Sci-VLA：一个用于科学实验中长时程任务的智能体 VLA 推理插件，无需对现有 VLA 模型进行再训练。
Card 01
研究单位
研究单位
- Southeast University（东南大学），具体包括：School of Computer Science and Engineering & School of Software Engineering & School of Artificial Intelligence
- Pattern Learning and Mining Lab（东南大学）
Card 02
论文概述
论文概述
- 针对科学实验机器人实验室中的长时程任务（由多个原子任务组合而成），发现现有经过微调的视觉语言动作模型在组合任务上存在 “状态间隙” 问题。
- 提出一种无需额外训练、仅作用于推理阶段的智能体插件，通过大语言模型生成过渡性机器人动作代码，桥接原子任务之间的状态间隙，提升组合任务的执行成功率。
Card 03
核心贡献
核心贡献
- 提出 Sci-VLA：一个用于科学实验中长时程任务的智能体 VLA 推理插件，无需对现有 VLA 模型进行再训练。
- 设计了由过渡动作生成模块和过渡动作插入模块组成的推理机制，在原子任务之间主动介入，生成并插入过渡性动作代码。
- 在基于 Autobio 的模拟科学实验室环境中验证了方法的有效性，将原子任务的平均成功率提升了约 42%。
- 证明了该方法可以从模拟环境轻松迁移到真实世界的科学实验室场景。
- 创建并开源了模拟环境中科学仪器和常见操作场景的 3D 资产，并建立了科学实验室连续操作任务的测试框架。
Card 04
方法描述
方法描述
- 核心技术：在已针对原子任务微调好的 VLA 模型（如 π₀、π₀.₅、fast）的推理阶段，引入一个 LLM 智能体。
- 工作流程：VLA 执行完一个原子任务后，插件介入。LLM 智能体根据当前状态、下一个任务描述以及从训练数据中检索到的目标起始关节位置，生成过渡性机器人执行代码（例如避障、移动到目标起始位），插入到动作序列中，随后 VLA 继续执行下一个原子任务。
- 创新点：实现了纯推理阶段的干预，解决了训练数据（原子任务）与推理任务（组合任务）之间的分布不匹配问题，方法高效且数据友好。
Card 05
数据集与资源
数据集与资源
- 数据集：在 Autobio 生物实验室模拟环境中收集的原子任务演示数据。
- 3D 资产：论文新增了臭氧清洗机、匀胶机、加热板等科学仪器以及移液器、离心管等常见实验物体的 3D 模型。
- 基座 VLA 模型：扩散模型 π₀ 和 π₀.₅，自回归模型 fast。
- LLM 智能体：GPT-5.2。
- 训练资源：使用 4 块 NVIDIA H100 GPU 对 VLA 模型进行微调。
Card 06
评估与结果
评估与结果
- 评估环境：基于 Autobio（MuJoCo 引擎）的模拟科学实验室和真实实验室场景。
- 评估指标：长时程任务序列中每个原子任务的成功率。
- 关键结果：
- 在“清洁桌面”的拾取-放置任务序列（3步）中，相比基线，Sci-VLA 显著提升了后续原子任务的执行成功率（例如，对 π₀ 模型，任务2提升50%，任务3提升20%）。
- 在涉及离心机和PCR 仪操作的 6 个科学实验长时程任务（包括 3、5、8 步任务）中，Sci-VLA 均显著提高了原子任务的执行连贯性和成功率。
- 真实场景演示（打开PCR仪盖板并放入PCR板）证明了方法从模拟到现实的迁移能力。