一眼看懂
封面预览
提出 CAPER 框架，旨在解决机器人辅助科学实验中的长视程操作、低监督条件下的可靠性和低演示数据下的鲁棒性问题。
- 提出 CAPER 框架，旨在解决机器人辅助科学实验中的长视程操作、低监督条件下的可靠性和低演示数据下的鲁棒性问题。
- 核心目标是应对端到端视觉语言动作模型在协议敏感的实验中，因可恢复错误和数据驱动策略学习假设失效而带来的挑战。
- 通过明确分离规划与控制流水线中的学习与推理职责，提升程序正确性、可控性和数据效率。
Card 01
研究单位
研究单位
- University of Science and Technology Beijing
- Beijing Information Science and Technology University
Card 02
论文概述
论文概述
- 提出 CAPER 框架，旨在解决机器人辅助科学实验中的长视程操作、低监督条件下的可靠性和低演示数据下的鲁棒性问题。
- 核心目标是应对端到端视觉语言动作模型在协议敏感的实验中，因可恢复错误和数据驱动策略学习假设失效而带来的挑战。
- 通过明确分离规划与控制流水线中的学习与推理职责，提升程序正确性、可控性和数据效率。
Card 03
核心贡献
核心贡献
- 提出一种责任分离的三层结构框架，将任务级推理、中层级多模态落地和低层级控制解耦。
- 提出符号任务规划器，使用链式思考推理和自验证循环，在语言空间中生成程序上有效且符合约束的子任务序列。
- 提出中层级多模态规划器，包含视觉预测和动作基元生成模块，实现无需LLM参与空间决策的视觉落地。
- 在低层级控制器中采用基于少量演示的强化学习来适应物理不确定性，无需轨迹级监督。
- 通过实验证明CAPER在科学实验工作流基准和公开长视程操作数据集上，在成功率和程序正确性方面均优于基线方法，尤其在低数据和长视程场景下。
Card 04
方法描述
方法描述
- 采用分层架构：任务级规划器（LLM+CoT）生成符号性子任务序列，中层级多模态规划器（条件扩散模型+VLM）进行视觉预测和动作基元生成，低层级控制器（DDPG）执行动作。
- 创新点：通过显式的程序推理和约束编码，在任务执行前产生可解释的中间表示，从而防止实验逻辑在运行时被违反。模块化设计允许各组件独立优化，无需端到端轨迹监督。
- 关键技术：基于条件扩散模型的多模态视觉预测、VLM结构提示生成动作基元、验证-纠正循环优化任务规划。
Card 05
数据集与资源
数据集与资源
- 使用的数据集：论文构建的科学实验任务数据集（含 Pick_place, Pour, Stir, Mix, Crystallize, Weigh, Shake 等任务）和公开的RLBench 长视程操作数据集。
- 模型规模：任务规划使用 Meta-Llama-3.1-8B-Instruct，视觉语言模型使用 GPT-4o，视觉预测基于U-Net架构的扩散模型。
- 训练资源：所有实验在单个 NVIDIA GeForce RTX 4090 GPU 上进行。训练时批大小为1，图像分辨率为256x256。
Card 06
评估与结果
评估与结果
- 评估环境：仿真环境（CoppeliaSim） 和真实世界场景，使用UR3机械臂。
- 主要评估指标：任务成功率、程序正确性、视觉预测质量（拉普拉斯方差和CLIP相似度）、推理延迟。
- 关键实验结果：CAPER在自建科学实验数据集上的表现显著优于多个基线（如纯LLM+RL， VLM+RL等），尤其在长视程任务（Mix， Crystallize）上优势明显。在RLBench基准的5个长视程任务上，CAPER在3个任务上取得最高成功率。真实世界实验中，CAPER在无对应仿真环境的任务上也能成功执行，证明了其可迁移性。