一眼看懂
封面预览
论文指出了当前视觉-语言-动作（VLA）模型在真实世界评测中存在三个系统性缺陷：真实世界动力学建模不足、空间物理智能被忽视、缺乏可扩展的自主评估。
- 论文指出了当前视觉-语言-动作（VLA）模型在真实世界评测中存在三个系统性缺陷：真实世界动力学建模不足、空间物理智能被忽视、缺乏可扩展的自主评估。
- 为此，论文提出了一个名为RADAR的基准测试，旨在通过系统性的真实世界动态、空间物理推理任务和全自动的3D评估流程，全面评估VLA模型的鲁棒性和泛化能力。
- 提出并形式化了现有VLA基准测试在环境动态、空间物理智能和评估自主性方面的关键局限。
Card 01
研究单位
研究单位
- 中山大学 (Sun Yat-sen University)
- 广东省大数据分析与处理重点实验室 (Guangdong Key Laboratory of Big Data Analysis and Processing)
- X-Era AI Lab
- 广东工业大学 (Guangdong University of Technology)
Card 02
论文概述
论文概述
- 论文指出了当前视觉-语言-动作（VLA）模型在真实世界评测中存在三个系统性缺陷：真实世界动力学建模不足、空间物理智能被忽视、缺乏可扩展的自主评估。
- 为此，论文提出了一个名为RADAR的基准测试，旨在通过系统性的真实世界动态、空间物理推理任务和全自动的3D评估流程，全面评估VLA模型的鲁棒性和泛化能力。
Card 03
核心贡献
核心贡献
- 提出并形式化了现有VLA基准测试在环境动态、空间物理智能和评估自主性方面的关键局限。
- 引入了RADAR，一个集成了系统化环境动态、专用空间推理任务和3D评估指标的全自动化真实世界基准测试。
- 对多个最先进的VLA模型进行了全面的审计与分析，量化了它们对物理和语言变化的敏感性，并揭示了其在空间推理方面的关键缺陷。
Card 04
方法描述
方法描述
- RADAR基准集成了三个核心组件：系统化的物理动态扰动、专门的空间智能推理任务以及基于3D指标的全自动评估流程。
- 关键创新点包括：1) 通过客户端-服务器-工作者架构实现可扩展的24/7自动化评估平台；2) 对环境、视觉、智能体及语义等多维度动态进行可控的随机扰动；3) 设计了需要多视角整合、SE(3)高精度动作和三维体积约束的空间推理任务。
Card 05
数据集与资源
数据集与资源
- 使用在真实机器人上收集的数据集进行训练和评估。
- 使用了多个基础VLA模型，包括 π0、π0-FAST、π0.5、RDT 和 OpenVLA 作为基线。
- 训练资源包括 NVIDIA RTX 6000 GPU，每个模型微调约20小时。
Card 06
评估与结果
评估与结果
- 评估环境：在RADAR构建的真实世界机器人平台上进行全自动评估。
- 主要评估指标：基于3D重建的3D IoU（Intersection over Union）、任务成功率（SR） 和平移误差（etrans）。
- 关键实验结果：实验结果（见表1-3）显示，即使是表现最好的模型 π0.5 在RADAR的复杂任务中也仅有约53%的总成功率。模型对物理扰动极度敏感，例如，在传感器噪声下，3D IoU期望值从 0.261 骤降至 0.068。此外，大多数模型在空间推理任务上表现不佳，表明其缺乏真正的三维几何理解能力。