一眼看懂
封面预览
论文提出了 SafeVLA-Bench，一个用于评估视觉-语言-动作（VLA）模型中“成功-安全差距”的事后安全评估框架
- 论文提出了 SafeVLA-Bench，一个用于评估视觉-语言-动作（VLA）模型中“成功-安全差距”的事后安全评估框架
- 传统 VLA 基准只关注任务成功率，忽略了执行过程中的安全违规行为（如过大接触力、干扰旁观物体、物体不稳等）
- 论文旨在解决高任务成功率可能掩盖实际安全隐患的问题，通过引入任务感知的安全规范和专用度量指标来量化这一差距
Card 01
研究单位
研究单位
- University of Notre Dame
- University of Pennsylvania
Card 02
论文概述
论文概述
- 论文提出了 SafeVLA-Bench，一个用于评估视觉-语言-动作（VLA）模型中“成功-安全差距”的事后安全评估框架
- 传统 VLA 基准只关注任务成功率，忽略了执行过程中的安全违规行为（如过大接触力、干扰旁观物体、物体不稳等）
- 论文旨在解决高任务成功率可能掩盖实际安全隐患的问题，通过引入任务感知的安全规范和专用度量指标来量化这一差距
Card 03
核心贡献
核心贡献
- 提出了 SafeVLA-Bench，一个可移植的事后安全评估层，保留原基准的观测、动作和成功判定逻辑
- 提供了任务感知的 STL 安全规范库，覆盖场景交互、物体操作和执行三个语义层次，阈值源自安全标准、硬件限制等外部参考
- 定义了两个关键度量：SBU（成功但不安全比例） 和 VSI（违规严重指数），分别衡量不安全成功的频率和最严重违规的标准化程度
- 在 LIBERO 和 RoboCasa-365 上评估了九个策略-基准组合，发现高成功率不保证高安全率，揭示了显著的“成功-安全差距”
Card 04
方法描述
方法描述
- 使用 信号时序逻辑（STL） 形式化安全规范，定义了八类约束（如最大接触力、旁观物体位移、抓握物体倾斜等）
- 通过 任务标签-规则适用性注册表 确保安全规范对特定任务语义有效，避免将任务必要行为误判为违规
- 设计了 事后评估接口：策略按原基准协议运行，系统从轨迹中提取安全信号并计算 SBU 和 VSI，不改变原成功率计算
- 创新点在于将安全评估从任务成功中解耦，提供二进制安全判定（STL 鲁棒性）和连续严重性评分（VSI）的双重视角
Card 05
数据集与资源
数据集与资源
- 使用了 LIBERO（桌面操作）和 RoboCasa-365（厨房操作）两个仿真基准
- 评估了包括 OpenVLA-7B、GR00T-N1.7、Cosmos-Policy-2B、π₀.5、π-RL-130 等 VLA 模型
- 在 LIBERO 上每个模型-套件组合测试 200–2000 个回合，在 RoboCasa-365 上每个模型测试 900 个回合
Card 06
评估与结果
评估与结果
- 评估环境为 MuJoCo 仿真器下的 LIBERO 和 RoboCasa-365，保留了原基准的成功判定协议
- 主要指标：原基准成功率（SR）、安全率、SBU 和 VSI
- 关键发现：在 LIBERO 上，成功率超过 94% 的策略仍有 13–15% 的不安全回合率；在 RoboCasa-365 上，36–56% 的成功轨迹违反至少一个安全条款
- π₀.5 在 LIBERO 上成功率最高但安全率不最佳；π-RL-130 通过牺牲部分成功率换取最高安全率和最低 VSI