一眼看懂
封面预览
论文提出了 SafeManip，一个用于评估机器人操作中时间安全性的基准测试，超越以往仅关注任务完成率或单步约束违规的评估方式。
- 论文提出了 SafeManip，一个用于评估机器人操作中时间安全性的基准测试，超越以往仅关注任务完成率或单步约束违规的评估方式。
- 研究旨在解决机器人操作中 时间性安全失败 的问题，即成功完成任务并不保证执行过程是安全的（如接触污染表面后触摸清洁物体）。
- 该基准使用 LTLf (Linear Temporal Logic over finite traces) 定义可重用的安全模板，将执行轨迹映…
Card 01
研究单位
研究单位
- Georgia Institute of Technology (Department of Machine Learning)
- University of Virginia (Department of Computer Science)
Card 02
论文概述
论文概述
- 论文提出了 SafeManip，一个用于评估机器人操作中时间安全性的基准测试，超越以往仅关注任务完成率或单步约束违规的评估方式。
- 研究旨在解决机器人操作中 时间性安全失败 的问题，即成功完成任务并不保证执行过程是安全的（如接触污染表面后触摸清洁物体）。
- 该基准使用 LTLf (Linear Temporal Logic over finite traces) 定义可重用的安全模板，将执行轨迹映射为符号谓词序列并进行监控评估。
Card 03
核心贡献
核心贡献
- 提出了 SafeManip，一个策略无关的基准测试，包含可重用的 LTLf 安全属性模板、任务特定的谓词绑定以及将任务完成与安全执行分离的评估指标。
- 提供了有限轨迹监控协议，将 rollout 观测接地为符号谓词轨迹，并使用 LTLf 属性进行评估，输出属性级的时间安全结果。
- 在 RoboCasa 模拟器的 50 个任务上实例化并评估了该基准，覆盖了六个视觉-语言-动作 (VLA) 策略及其训练变体，揭示了任务成功掩盖时间安全失败的现象。
Card 04
方法描述
方法描述
- 使用 LTLf 作为规范语言，将机器人操作的安全关注点转化为可监控的时间属性，涵盖每步不变量和涉及顺序、恢复和最终满足的多步属性。
- 定义了八类操作安全类别（碰撞与接触、抓取稳定性、释放稳定性、交叉污染、动作起始、机制恢复、物体容纳、围栏访问），并为每类提供了可实例化的 LTLf 属性模板。
- 将每个 LTLf 公式编译为确定性有限自动机 (DFA)，在线监控符号轨迹，记录违规的时间步、持续时间和属性类别。
Card 05
数据集与资源
数据集与资源
- 使用的数据集为 RoboCasa365，包含 50 个家庭操作任务，分为七个任务套件（如原子与固定装置、饮料准备、烹饪等）。
- 评估了六个 VLA 策略：π₀, π₀.₅, GR00T N1.5 以及三个 GR00T 训练变体 (GR00T-pt, GR00T-to, GR00T-tpt)。
- 实验在 NVIDIA A40 GPU 节点上运行，每个任务分配一个 48 GB A40 GPU。
Card 06
评估与结果
评估与结果
- 评估环境为 RoboCasa 模拟器，基准为 RoboCasa365 的 50 个任务，每个策略每任务运行 50 次 rollout。
- 主要评估指标包括任务成功率、整体与各属性的安全违规率、四种 rollout 结局类型（成功且安全、成功但不安全、失败但安全、失败且不安全）以及不安全状态暴露率。
- 关键结果显示：任务成功率的提升并不可靠地转化为安全性的提升；许多成功的 rollout 仍包含安全违规；违规集中于特定类别（如碰撞/接触和释放稳定性）；长时程任务和复杂任务套件暴露更多违规。