一眼看懂
封面预览
提出了一个名为 CoRAL 的模块化框架，旨在解决机器人接触丰富型操作任务中的零样本规划问题。
- 提出了一个名为 CoRAL 的模块化框架，旨在解决机器人接触丰富型操作任务中的零样本规划问题。
- 解决了现有 LLM/VLM 模型在接触动力学控制方面缺乏物理基础和自适应能力的问题，通过解耦高层推理与底层控制来实现。
- 创新性地将 LLM 用作“成本设计师”，为采样型运动规划器生成目标函数，而非直接作为控制器。
Card 01
研究单位
研究单位
- 论文作者：Berk Çiçek, Mert K. Er, Özgür S. Öğüz
- 所属机构：根据项目网站推断为 LIRA Lab
Card 02
论文概述
论文概述
- 提出了一个名为 CoRAL 的模块化框架，旨在解决机器人接触丰富型操作任务中的零样本规划问题。
- 解决了现有 LLM/VLM 模型在接触动力学控制方面缺乏物理基础和自适应能力的问题，通过解耦高层推理与底层控制来实现。
- 创新性地将 LLM 用作“成本设计师”，为采样型运动规划器生成目标函数，而非直接作为控制器。
Card 03
核心贡献
核心贡献
- 提出了一种新颖框架，利用 LLM 作为上下文感知的成本设计师，为高频 MPPI 运动规划器合成目标函数，实现零样本规划。
- 构建了模块化架构，将感知（提供语义物理先验）与推理（制定控制目标）解耦，提供了比单体 VLA 架构更透明且鲁棒的方案。
- 开发了分层闭环机制，内层进行反应式控制以确保接触稳定性，外层通过 LLM 进行在线系统辨识和策略优化。
- 引入了基于检索的记忆单元，用于存储和复用成功的物理参数与接触策略，增强长期适应性。
Card 04
方法描述
方法描述
- 感知与初始化：使用 FoundationPose 进行 6-DoF 物体姿态跟踪，利用 VLM 生成质量、摩擦系数等语义物理先验。
- 任务规划：LLM 根据任务描述生成初始成本函数 ($J_0$) 和接触策略 ($C_0$)，并通过 RAG 从记忆单元检索历史经验。
- 反应式执行（内环）：使用 MPPI 控制器进行高频重规划（10Hz），底层阻抗控制运行在 1kHz，结合力反馈进行实时修正。
- 在线自适应（外环）：当执行失败时，触发 LLM 分析历史数据，修正世界模型参数（如质量估计）并调整成本函数结构。
Card 05
数据集与资源
数据集与资源
- 任务环境：仿真实验在 robosuite 和 MuJoCo 物理引擎中进行，包含自定义接触丰富型任务及 LIBERO 基准任务。
- 机器人硬件：仿真与真机均使用 Franka Emika Panda 机械臂，真机实验使用 RGB-D 相机、力/扭矩传感器及动作捕捉系统。
- 模型组件：视觉模块使用 FoundationPose，语义推理使用 VLM 和 LLM，底层控制使用 MPPI。
Card 06
评估与结果
评估与结果
- 评估基准：与 OpenVLA-OFT、$\pi_{0.5}$、L2R 以及人类专家设计的成本函数进行对比。
- 主要指标：成功率（10次试验中的成功次数）。
- 关键结果：在未见过的接触丰富型任务中，CoRAL 的平均成功率比 SOTA VLA 模型高出 50% 以上；在真机实验中展现了良好的 Sim-to-Real 鲁棒性。
- 消融实验：去除姿态跟踪会导致系统完全失效，证明了精确几何感知的必要性；在线自适应机制对多阶段任务的完成至关重要。