一眼看懂
封面预览
论文旨在解决视觉-语言-动作（VLA）模型在动态现实环境中因分布外（OOD）条件导致的不可靠操作问题。
- 论文旨在解决视觉-语言-动作（VLA）模型在动态现实环境中因分布外（OOD）条件导致的不可靠操作问题。
- 提出了一种名为 RC-NF（Robot-Conditioned Normalizing Flow） 的实时监控模型，用于机器人操作中的异常检测…
- 该模型作为即插即用模块，通过计算异常分数来判断机器人状态与物体运动轨迹是否与任务一致，从而实现状态级回滚或任务级重规划。
Card 01
研究单位
研究单位
- 复旦大学可信具身人工智能研究院
- 上海多模态具身人工智能重点实验室
- 新加坡管理大学
Card 02
论文概述
论文概述
- 论文旨在解决视觉-语言-动作（VLA）模型在动态现实环境中因分布外（OOD）条件导致的不可靠操作问题。
- 提出了一种名为 RC-NF（Robot-Conditioned Normalizing Flow） 的实时监控模型，用于机器人操作中的异常检测与干预。
- 该模型作为即插即用模块，通过计算异常分数来判断机器人状态与物体运动轨迹是否与任务一致，从而实现状态级回滚或任务级重规划。
Card 03
核心贡献
核心贡献
- 提出了 RC-NF，一个用于机器人异常检测的无监督机器人条件规范化流模型，其核心是一个新颖的仿射耦合层 RCPQNet，能将任务感知的机器人状态作为条件注入规范化流。
- 创建了 LIBERO-Anomaly-10 基准测试集，包含三种机器人操作特定的异常类型，用于仿真评估。
- 在仿真和真实世界实验中均验证了方法有效性。RC-NF 在基准测试中达到最先进性能，并在真实机器人上以低于100毫秒的延迟支持任务级和状态级的异常处理，显著增强了VLA系统的鲁棒性与适应性。
Card 04
方法描述
方法描述
- 基于规范化流模型进行构建，通过一系列可逆变换建立复杂分布与简单高斯分布之间的双射映射，从而进行显式的概率密度估计。
- 核心创新是提出了 机器人条件点查询网络，作为新的仿射耦合层。它融合了机器人状态、任务嵌入和来自 SAM2 分割的物体中心点集表示，在解耦处理机器人状态与物体特征的同时保留其交互特征。
- 使用负对数似然作为异常分数，训练仅需正向样本（成功演示），推理时通过概率密度函数计算异常分数，实现实时监控。
Card 05
数据集与资源
数据集与资源
- 训练数据集：LIBERO-10。
- 评估基准：新提出的 LIBERO-Anomaly-10，包含三种异常类型：Gripper Open、Gripper Slippage 和 Spatial Misalignment。
- 模型设置：规范化流的步骤数 K=12，训练100个epoch并应用数据去偏。
- 真实世界部署使用 NVIDIA GeForce RTX 3090 GPU，推理延迟低于100毫秒。
Card 06
评估与结果
评估与结果
- 评估环境：基于仿真的 LIBERO-Anomaly-10 基准与真实世界的 Franka Research 3 机械臂平台。
- 主要评估指标：AUC（ROC曲线下面积） 和 AP（平均精度）。
- 关键实验结果：在 LIBERO-Anomaly-10 上，RC-NF 在所有异常类型的平均AUC和AP上分别比最佳基线方法高出约 8% 和 10%，达到了最先进水平。
- 真实世界实验证明，RC-NF 能在 100毫秒内 检测异常，成功触发状态级回滚和任务级重规划，从而挽救因OOD情况（如抽屉意外关闭、球体滑落）而即将失败的任务。