UniManip: General-Purpose Zero-Shot Robotic Manipulation with Agentic Operational Graph

• Nanyang Technological University, School of Electrical and Electronic Engineering, Singapore
• Tsinghua University, Department of Automation, China

• 提出 UniManip 框架，旨在实现零样本、通用目的的机器人操作，能够在未见过的物体、任务和机器人平台上泛化，而无需任务特定的微调或重新配置。
• 核心是引入双层智能体操作图（Bi-level Agentic Operational Graph, AOG），它耦合了用于高层任务编排的智能体逻辑层和用于动态状态表示的场景语义操作层，实现了语义推理与物理执行的统一。
• 解决了当前端到端视觉-语言-动作模型精度不足，以及传统分层规划器在面对开放世界变化时语义僵化的问题。

• 提出 UniManip 通用操作框架，通过其动态、智能化的闭环实现了跨任务、物体和机器人平台的鲁棒零样本泛化。
• 引入双层智能体操作图，作为一种智能基础设施，通过整合语义记忆和情景记忆，支持复杂的推理、动态任务分解，并与物理环境保持同步。
• 建立了一个鲁棒的任务到运动桥梁，结合单视角保守重建和安全感知的规划器，生成了优化、无碰撞且高效的末端执行器轨迹。
• 实验证明 UniManip 在零样本操作成功率上分别超越当前最先进的VLA和分层基线方法达22.5% 和25.0%。
• 展示了框架的灵活性，能够在不进行微调的情况下，零样本迁移从固定基座设置到移动操作。

• 核心是双层智能体操作图（AOG），包含上层的智能体逻辑图（负责任务编排、验证和恢复）和下层的语义操作状态图（作为动态、基础的世界模型，包含物体的几何、语义和物理属性）。
• 系统运作遵循感知-规划-执行-反思的闭环流程：1）多模态场景实例化，从输入中构建对象中心的SOSG；2）智能体基元执行，通过安全感知的局部规划器将抽象动作参数化为无碰撞轨迹；3）闭环反思与恢复，利用AOG的结构化记忆自主诊断异常并动态重组逻辑图以实现恢复。
• 关键技术包括：基于图的场景解析和任务分解、通过智能体操作基元进行动作抽象（如目标导向和操作导向运动）、安全感知的运动合成（包括保守占用网格重建和ESDF轨迹规划）以及基于图形和记忆的智能体验证与自主恢复机制。

• 论文未明确提及使用特定的公开训练数据集。
• 模型层面，核心利用了视觉语言模型进行高层任务规划和语义验证，使用了如Grounding DINO和SAM 2等开放词汇感知模型进行场景解析。
• 训练资源未在提供内容中明确说明。

• 评估环境：在桌面场景、杂乱场景、长视野操作任务以及办公室环境中的移动操作上进行了广泛的零样本实验。
• 主要评估指标：任务成功率。
• 关键实验结果：

- UniManip 在零样本操作上的成功率比当前最先进的 VLA 模型高出 22.5%。

- 比当前最先进的 分层规划方法 高出 25.0%。

- 在包含复杂交互和多个步骤的长视野任务上表现出色。

- 成功实现了从固定基座到移动操作平台的零样本直接迁移，无需任何调整。