Recursive Belief Vision Language Model

• 论文作者未明确列出其所属研究机构。根据作者姓名（Vaidehi Bagaria, Bijo Sebastian, Nirav Patel）和致谢内容，推断其可能与学术研究机构或工业研究实验室相关，但原文未直接提供单位信息。

• 论文提出了一个名为 Recursive Belief VLA (RB-VLA) 的新型视觉语言动作模型架构，旨在解决长视野、部分可观测环境下的机器人操作任务。
• 核心目标是克服现有视觉语言动作模型（VLA）中存在的短期记忆依赖、高推理延迟、以及在多阶段任务中由于感知混淆和遮挡导致的任务状态丢失问题。
• 论文主要解决在部分可观测环境中进行长视野、多阶段操作时，模型缺乏持续、与动作相关的内部状态表示，从而导致任务执行不稳定和效率低下的问题。

• 提出基于信念的VLA框架：引入一个固定大小、递归更新的信念状态，用于编码与任务相关的交互历史、系统动力学和对象状态，支持部分可观测下的因果推理。
• 实现阶段感知的长视野控制：该递归信念为扩散策略提供短期和长期的预测上下文，支持隐式的阶段估计，实现动态一致的闭环控制，替代了短观察窗口。
• 采用解耦的语义与控制系统：将语义推理（通过VLM完成）视为一次性过程（每个任务仅查询一次以提取高级意图），避免了密集的语义重复推理，显著降低了计算开销。
• 在长视野基准测试中进行了实证验证：在长视野、多阶段操作任务以及遮挡条件下，RB-VLA 大幅超越了现有的VLA方法，同时保持了恒定的内存使用和显著更低的推理延迟。
• 通过消融研究证明了信念模块是性能提升的主要驱动力，将无信念模块时的成功率从32.5%提升到了有信念模块时的77.5%。

• 系统架构：RB-VLA 由三部分组成：一个视觉语言模块（用于生成静态的意图嵌入）、一个信念估计器（递归维护信念状态）和一个基于扩散策略的控制器。
• 递归信念估计器：采用类RSSM的世界模型训练目标，使用基于Transformer的模块集成多模态观察（视觉、本体感觉、动作）的短期窗口以及先前的信念状态，生成一个紧凑的、固定维度的潜在信念状态。该信念通过预测未来状态和自我监督目标进行训练，使其能够捕捉动作条件下的动态变化。
• 创新点：主要创新在于引入并学习一个持续的内部信念表示，该表示总结了过去动作的后果和任务进度，从而在无需存储原始观察或频繁调用VLM的情况下，实现稳健的、阶段感知的控制。信念的递归特性确保了内存使用不随时间增长。

• 使用数据集：RoboSuite、LIBERO-Long、LIBERO-Object 和一个 UR5 MuJoCo 环境。共使用了40,000条模拟操作轨迹（约4千万时间步），涵盖拾放、堆叠和家庭操作等任务。
• 模型规模与参数量：

- 信念模型：使用 DINOv2 ViT-S/14 视觉编码器，包含1.5亿参数。

- VLM：基于 Qwen2.5-VL-7B 模型（保持冻结）。

- 扩散控制器：包含1.2亿参数。

• 训练资源：所有实验在 12 个 NVIDIA A100 GPU (80GB) 上使用分布式数据并行训练完成。

• 评估环境与基准：在模拟环境（RoboSuite、LIBERO-Long）和真实世界（UR5机械臂）中评估。与基线模型如 GROOT-N1、OpenVLA、π₀ 进行比较。
• 主要评估指标：任务成功率、推理延迟（每回合平均时间）、内存使用增长、信念表示质量分析。
• 关键实验结果：

- 长视野任务成功率：RB-VLA 在多物体拾放和堆叠任务中显著优于基线。例如，在遮挡下的多阶段拾放任务中，达到 77.5% 的成功率，相比 π₀（25.0%）提高了 52.5%。

- 效率提升：推理延迟相比基线（如 OpenVLA）降低了高达 5倍。内存使用保持恒定，不随观察帧数增长，而基线模型的内存使用则呈超线性增长。

- 消融研究：完整 RB-VLA（包含信念）在双物体拾放任务中成功率为 77.5%，移除信念后（仅扩散策略）成功率降至 32.5%。

- 真实世界部署：经过少量微调，在真实 UR5 机械臂上成功执行多物体拾放任务，成功率达到 68.0%。