一眼看懂
封面预览
提出 Pri4R 框架，通过在训练期间利用特权 4D（3D几何+时间）信息（特别是3D点轨迹）来增强视觉-语言-行动模型的世界动态理解能力。
- 提出 Pri4R 框架，通过在训练期间利用特权 4D（3D几何+时间）信息（特别是3D点轨迹）来增强视觉-语言-行动模型的世界动态理解能力。
- 旨在解决当前 VLA 模型仅模仿动作，而缺乏对动作如何引起周围3D世界几何变化的物理交互和动态理解问题，这导致在复杂操作任务中的失败。
- 提出 Pri4R，通过特权监督（在训练时使用3D点轨迹）来丰富VLA模型的共享表示，从而促进其对世界动态的学习。
Card 01
研究单位
研究单位
- KAIST AI
- LG AI Research
- Yonsei University
- Seoul National University
- Carnegie Mellon University
Card 02
论文概述
论文概述
- 提出 Pri4R 框架，通过在训练期间利用特权 4D（3D几何+时间）信息（特别是3D点轨迹）来增强视觉-语言-行动模型的世界动态理解能力。
- 旨在解决当前 VLA 模型仅模仿动作，而缺乏对动作如何引起周围3D世界几何变化的物理交互和动态理解问题，这导致在复杂操作任务中的失败。
Card 03
核心贡献
核心贡献
- 提出 Pri4R，通过特权监督（在训练时使用3D点轨迹）来丰富VLA模型的共享表示，从而促进其对世界动态的学习。
- 证明了 Pri4R 可以一致地提升最先进VLA模型在仿真和真实世界任务中的性能，且在推理时无需任何额外开销或架构改动。
- 通过系统分析，证明了预测3D点轨迹对于学习动作-世界动态特别有效，并对Pri4R的每个设计选择进行了广泛的消融研究。
Card 04
方法描述
方法描述
- Pri4R在现有VLA架构（如OpenVLA-OFT和π系列模型）基础上，增加了一个轻量级的点轨迹预测头，用于预测未来3D点的位移。
- 关键创新点：将VLA主干网络的特征（用于动作预测）注入到这个辅助头中，通过联合优化动作和3D点轨迹预测，梯度信息迫使主干网络学习编码场景几何演化的因果关系。
- 这种方法确保了在训练期间学习的表示具有物理感知能力，从而在推理时（丢弃点轨迹头后）能让原始VLA做出更准确的行动决策。
Card 05
数据集与资源
数据集与资源
- 使用的数据集：LIBERO 和 RoboCasa（用于仿真评估），以及真实世界数据集（用于真实评估）。
- 模型规模与参数量：基于 OpenVLA-OFT（7B参数）和 π系列（具体参数未明确提及，但基于大型预训练VLM）等VLA模型。
- 训练资源：使用8块H200 GPU进行训练（在训练动态分析中提到）。
Card 06
评估与结果
评估与结果
- 评估环境：在LIBERO和RoboCasa仿真基准以及真实世界机器人任务上进行评估。
- 主要评估指标：任务成功率。
- 关键实验结果：Pri4R 显著提高了所有测试的SOTA VLA模型的性能。例如，在LIBERO-Long上使用OpenVLA-OFT提升了+9.8%，在RoboCasa上使用OpenVLA-OFT提升了+13.2% 平均成功率。消融研究表明，3D点轨迹作为监督信号最有效，并且同时跟踪机器人本体点和场景点至关重要。