一眼看懂
封面预览
提出了 PhAIL (Physical AI Leaderboard)，一个开放的真实机器人基准测试平台，用于评估视觉-语言-动作 (VLA) 政策
- 提出了 PhAIL (Physical AI Leaderboard)，一个开放的真实机器人基准测试平台，用于评估视觉-语言-动作 (VLA) 政策
- 引入了分布式评估方法论，以 时间到成功累积分布函数 (CDF) 作为评估的基本元素，而非传统的二元成功率
- 解决了当前 VLA 评估实践中样本量不足 (通常 N≤25)、缺乏置信区间和配对统计比较的问题
Card 01
研究单位
研究单位
- Positronic Robotics
Card 02
论文概述
论文概述
- 提出了 PhAIL (Physical AI Leaderboard)，一个开放的真实机器人基准测试平台，用于评估视觉-语言-动作 (VLA) 政策
- 引入了分布式评估方法论，以 时间到成功累积分布函数 (CDF) 作为评估的基本元素，而非传统的二元成功率
- 解决了当前 VLA 评估实践中样本量不足 (通常 N≤25)、缺乏置信区间和配对统计比较的问题
Card 03
核心贡献
核心贡献
- 将 时间到成功 CDF 作为评估基本元素，将硬故障（如物品掉落、安全停止）吸收为 T=∞ 的“幽灵事件”，联合携带可靠性与吞吐量信息
- 提出分离 评分（人类相对吞吐量 HRT，用于排名）与 显著性测试（宏平均 Kolmogorov-Smirnov 测试，用于可区分性）两个方法论任务
- 证明宏平均 KS 测试 在分辨近似政策配对时，样本效率比二元阈值基线约高 30倍
- 提供了包含约 990 个片段 的开放数据集、可审计的工件（同步视频、遥测、事件注释）以及端到端的参考实现
Card 04
方法描述
方法描述
- 使用 Kaplan-Meier 产品限估计器估计 CDF，并通过 95% 片段聚类 bootstrap 计算置信区间
- 定义 HRT (Human-Relative Throughput) 为同一装置人类基准 RMST 与模型 RMST 的比率，宏观平均跨对象，作为无量纲的排名标量
- 使用 宏平均 KS 测试 进行显著性检验，计算每个 (模型,对象) 单元的 KS 统计量并跨对象等权平均
- 采用 盲化同会话随机轮换 的评估协议，控制空间配置差异等混杂因素
Card 05
数据集与资源
数据集与资源
- 自建数据集：约 990 个片段，包括 396 个同装置人类遥操作基准 运行
- 硬件平台：Franka Research 3 机器人，配 Robotiq 2F-85 夹持器，肩部外部与手腕 RGB 摄像头
- 测试对象：四个物体，涵盖刚性 elongated (木勺)、可变形 (毛巾)、关节金属 (剪刀)、小型刚性 (电池)
- 评估模型：OpenPI π0.5 (3B)、NVIDIA GR00T N1.6 (3B)、ACT (CVAE)、Hugging Face SmolVLA (450M)
Card 06
评估与结果
评估与结果
- 评估环境：DROID 风格 配置的 Pick-and-Place 任务，每运行有 30秒/物品的时间上限
- 主要指标：HRT (排名标量)、RMST (限制平均生存时间)、干预率
- 关键结果：最佳 VLA (OpenPI/GR00T) 的 HRT 为 13.8%/13.3%，约为人类基准的 1/7
- 统计发现：OpenPI 与 GR00T 在所有测试中统计不可区分；ACT 可与两者区分；SmolVLA 明显最差
- 方法效率：宏平均 KS 测试在 N≤30 每单元时解决了两个近似配对，而二元阈值度量需要 600-1500 每单元的样本量