ActionReasoning: Robot Action Reasoning in 3D Space with LLM for Robotic Brick Stacking

• University of Cambridge (CV4DT, CSIC, Department of Engineering)
• University of Oxford (Department of Engineering)

• 提出 ActionReasoning，一个LLM驱动的框架，用于在3D空间中执行机器人动作推理，以完成物理一致的机器人砖块堆叠操作。
• 旨在解决单纯依靠数据和参数扩展的Vision-Language-Action (VLA) 模型在机器人通用化（如跨任务、跨具身平台和长时程推理）方面存在的局限性。
• 探索如何利用大型语言模型（LLM）中已有的物理先验和世界知识，通过结构化提示和多智能体架构，将其转化为可直接在3D空间（SE(3)）中执行的动作规划，从而弥合机器人感知与执行之间的差距。

• 引入了 ActionReasoning 框架，这是一个3D动作推理框架，通过高层级工具调用和提示工程实现机器人决策，无需为每个场景编写专用代码，展现了跨配置的泛化能力。
• 设计了一个多智能体LLM编排器，其中不同阶段的专用智能体将人类任务规范与世界模型输入融合，在SE(3)空间中进行推理，生成物理一致的动作规划。
• 通过模拟研究和消融实验表明，相比传统的、具有相似简单编程的控制方法，基于3D的LLM推理提高了鲁棒性，为未来LLM驱动的机器人物理推理奠定了基础。

• 核心技术是基于LLM的多智能体动作推理框架。框架将堆叠任务分解为由六个专门的LLM智能体组成的序列管道，每个智能体负责一个阶段（如预抓取定位、下降、抓取闭合、安全提升、砖块放置、返回就绪位）。
• 创新点在于门控机制和结构化提示。每个智能体接收包含当前环境状态、记忆信息、角色定义、知识库、思维链和输出格式的结构化提示，输出可执行路径点或工具调用代码，并通过物理可行性检查（门控）决定是否进入下一阶段。
• 该方法将机器人控制建模为一个马尔可夫路径点闭环：LLM根据当前环境状态 St 和目标 G 生成下一个末端执行器目标位姿 w(t+1)，底层控制器执行插补轨迹，然后更新环境状态并重复此循环。

• 使用自定义的砖块堆叠模拟环境进行评估，并未提及使用现有的公开大型数据集。
• 论文未明确说明具体使用的LLM模型名称、规模或参数量。
• 实验在PyBullet物理模拟器中进行，使用模拟的KUKA机器人手臂。训练/推理所使用的具体计算资源（GPU/TPU）未在提供的文本中明确说明。

• 评估环境与基准：在PyBullet模拟器中，对两种堆叠模式（金字塔式和网格式）进行评估，每种模式进行10次随机初始位姿的试验。与经典控制器基线（手写脚本，无事件处理）和单智能体消融版本（合并所有智能体功能）进行比较。
• 主要评估指标：位姿精度（旋转误差、中心偏移误差）和3D边界框交并比（IoU）。
• 关键实验结果：

- ActionReasoning 显著优于基线：平均旋转误差从1.004°降至0.703°，平均中心偏移从4.314厘米降至0.637厘米，3D IoU从38.38%提升至88.03%。

- 多智能体设计至关重要：单智能体消融版本表现不佳，经常碰撞并推倒已堆叠的结构，证明了分阶段角色专业化和门控验证的必要性。

- 定性结果（图4、5）显示，所提方法实现了明显更整齐的砖块对齐和稳定的堆叠。