一眼看懂
封面预览
本文提出了VLA-REPLICA，一个低成本（约1050美元）、易于复现的真实世界基准测试平台，用于评估视觉-语言-行动（VLA）模型。
- 本文提出了VLA-REPLICA，一个低成本（约1050美元）、易于复现的真实世界基准测试平台，用于评估视觉-语言-行动（VLA）模型。
- 该平台基于现成组件构建，包括低成本SO-101机械臂、RGB-D相机和标准化的受控光箱环境，可在全球各地的实验室快速组装和复制。
- 论文旨在解决现有基准测试的局限性：仿真基准存在sim-to-real差距，而现有真实世界基准往往硬件昂贵、难以复现或任务多样性有限。
Card 01
研究单位
研究单位
- Intelligent Robotics and Vision Lab, University of Texas at Dallas
- Allen High School
Card 02
论文概述
论文概述
- 本文提出了VLA-REPLICA，一个低成本（约1050美元）、易于复现的真实世界基准测试平台，用于评估视觉-语言-行动（VLA）模型。
- 该平台基于现成组件构建，包括低成本SO-101机械臂、RGB-D相机和标准化的受控光箱环境，可在全球各地的实验室快速组装和复制。
- 论文旨在解决现有基准测试的局限性：仿真基准存在sim-to-real差距，而现有真实世界基准往往硬件昂贵、难以复现或任务多样性有限。
Card 03
核心贡献
核心贡献
- 引入了一个低成本、完全可复现的真实世界基准测试VLA-REPLICA，用于标准化评估VLA模型。
- 设计了一套标准化的硬件和场景重建流程，通过AprilTag校准、视频叠加匹配和参考图像，确保跨实验室环境的一致性。
- 提出了一个综合评估协议，涵盖分布内（ID）学习和分布外（OOD）泛化两种场景，反映模型在实际部署中的适应与泛化能力。
- 对多种模仿学习方法及先进VLA模型（如SmolVLA、π0、π0.5）进行了广泛实证评估，揭示了它们的真实世界性能与局限性。
Card 04
方法描述
方法描述
- 硬件平台采用低成本设计，核心组件包括SO-101 follower机械臂、Intel RealSense D455 RGB-D相机和标准摄影光箱，以减少环境变异并提供一致照明。
- 通过AprilTag校准和视频叠加程序确保相机视角与机器人基座的精确对齐，实现硬件配置的跨实验室复现。
- 针对SO-101机械臂的非标准化问题，定义了SO-101通用动作空间，通过校准矩阵归一化，使不同机械臂输出的动作指令标准化、可互换。
- 采用图像叠加方法进行场景重建，用户通过叠加实时视频与预定义的参考测试场景图像，精确放置物体，确保测试初始状态的一致性。
Card 05
数据集与资源
数据集与资源
- 使用了由专家远程操作收集的500个真实世界演示数据集，涵盖10个操作任务，用于模型训练或微调。
- 基准测试硬件总成本约为1050美元。
- 所有模型训练或微调40K步，基于官方LeRobot实现。
Card 06
评估与结果
评估与结果
- 评估基准包括10个真实世界操作任务，涵盖抓取放置、物体交互、计数/记忆等多样行为。
- 定义了50个ID测试场景和40个OOD测试场景，主要评估指标为任务成功率。
- 关键结果：微调后的先进VLA模型（如π0.5）在分布内任务上的成功率普遍高于从头训练的模仿学习方法（如ACT）。
- 验证了基准测试的可复现性：在独立构建的设置中，模型评估结果保持一致，证明了平台跨实验室复制的有效性。