一眼看懂
封面预览
针对视觉-语言-动作（VLA）模型评估生态碎片化的问题，提出统一评估框架 vla-eval
- 针对视觉-语言-动作（VLA）模型评估生态碎片化的问题，提出统一评估框架 vla-eval
- 解决当前VLA模型评估中存在的代码重复、依赖冲突、协议不明确和评估速度慢等核心痛点
- 实现"模型集成一次，基准集成一次，完整交叉评估矩阵自动运行"的设计目标
Card 01
研究单位
研究单位
- Allen Institute for AI (Suhwan Choi, Yunsung Lee, Yubeen Park)
- University of Washington (Chris Dongjoo Kim, Ranjay Krishna, Dieter Fox)
- Yonsei University (Youngjae Yu)
Card 02
论文概述
论文概述
- 针对视觉-语言-动作（VLA）模型评估生态碎片化的问题，提出统一评估框架 vla-eval
- 解决当前VLA模型评估中存在的代码重复、依赖冲突、协议不明确和评估速度慢等核心痛点
- 实现"模型集成一次，基准集成一次，完整交叉评估矩阵自动运行"的设计目标
Card 03
核心贡献
核心贡献
- 开源评估框架支持 13个模拟基准 和 6个模型服务器，采用 Docker隔离 和 WebSocket+msgpack协议
- 对发布VLA模型进行可复现性审计，发现未记录的评估要求（模糊终止语义、隐藏归一化统计）
- 并行评估方法（episode分片 + 批量推理）实现 47倍吞吐量提升，2,000个LIBERO episode仅需约18分钟
- 发布VLA排行榜，聚合 657个已发布结果 跨越 17个基准
Card 04
方法描述
方法描述
- 客户端-服务器架构：通过WebSocket+msgpack二进制序列化分离模型推理与基准执行
- 模型服务器：基于
PredictModelServerABC，仅需实现predict()方法（约50行代码），支持自动动作分块和批量推理 - 基准集成：通过
StepBenchmark包装器实现四个方法（reset,step,make_obs,get_step_result） - 依赖隔离：模型服务器使用PEP 723内联元数据声明依赖，通过
uv run自动创建隔离环境；基准在Docker容器中运行 - 并行优化：环境并行（episode分片）+ 推理并行（批量前向传播），通过需求/供给方法调优
Card 05
数据集与资源
数据集与资源
- 支持基准：LIBERO、CALVIN、SimplerEnv、ManiSkill2、LIBERO-Mem、Kinetix、RoboCasa、VLABench、MIKASA-Robo、RoboTwin 2.0、RLBench、RoboCerebra、LIBERO-Pro
- 支持模型：CogACT、OpenVLA、OpenVLA-OFT、π₀/π₀-FAST、GR00T N1、X-VLA
- Docker镜像：4.7 GB至35.6 GB不等，托管于
ghcr.io - 硬件：H100 GPU用于模型服务器，支持CPU/GPU渲染的基准主机
Card 06
评估与结果
评估与结果
- 可复现性审计：DB-CogACT模型在 LIBERO（4个套件，2,000 episode）、CALVIN（1,000链式序列）、SimplerEnv（288 episode，3种子）上复现结果与发布值偏差在 ±3个百分点 内
- 关键发现：识别未记录要求——SimplerEnv中
terminated标志的歧义语义、CALVIN中隐藏的训练集归一化统计 - 性能指标：LIBERO 47倍加速（14小时→18分钟）、CALVIN 16倍加速、SimplerEnv 12倍加速
- 排行榜数据：81%的509+模型仅在单一基准上评估，仅6%在三个或以上基准上评估，凸显跨基准比较稀缺