Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning

• University of Washington (作者名单中编号为 3, 4 的机构，通讯作者所在单位)
• Stanford University (作者名单中编号为 1 的机构)
• Independent Researcher (作者名单中编号为 2 的机构)

• 提出 Recurrent-Depth VLA (RD-VLA)，一种新型的视觉-语言-动作模型，旨在解决传统模型推理时计算资源固定的问题。
• 核心创新是通过隐式的、潜在空间的迭代推理（而非显式的、输出空间的token生成）来实现推理时计算的自适应扩展，在保持恒定内存占用的同时，为机器人控制提供按需计算的能力。

• 提出 RD-VLA 架构，使用权重共享的循环变换器核心，通过循环展开实现任意的推理深度计算，并保持恒定的内存占用。
• 引入自适应计算机制，基于隐式收敛准则（如KL散度/动作均方误差）在推理时动态分配计算量，使简单任务快速退出，复杂任务获得更多计算。
• 将机器人推理过程从输出空间（token）转移到潜空间，避免了昂贵的自回归解码，实现了高达80倍的推理速度提升（相较于基于token推理的VLA模型）。
• 提出并研究了多种自适应执行策略（如基于阈值的执行、线性衰减执行），将推理深度与动作执行步长相耦合，以减轻不确定性状态下长时程动作的累积误差。

• 方法基于一个三阶段架构：Prelude、权重共享的循环核心 (Recurrent Core) 和 Coda。
• Prelude 利用交叉注意力机制，将一组学习的查询与VLM的中间层特征进行对齐，形成一个“基础”潜表示。
• 循环核心 迭代地精化一个从截断正态分布初始化的“潜草稿”。在每次迭代中，它通过输入注入策略，交叉关注VLM的最终层特征和本体感知，持续地更新潜状态。
• Coda 将最终收敛的潜状态解码为机器人动作。
• 训练时使用随机化循环和基于时间的截断反向传播，使模型能够从任意噪声初始化中学习稳定的精化过程。
• 推理时，模型通过自适应计算（基于连续迭代间动作变化的收敛准则）和自适应执行（基于推理深度动态调整执行步长）来动态分配资源。

• 使用的数据集：LIBERO 和 CALVIN 基准测试用于模拟评估。
• 主干模型：基于 Qwen2.5-0.5B 构建的视觉语言模型（来自 MiniVLA），使用 DINOv2 和 SigLIP 作为融合的视觉编码器。
• 模型规模：RD-VLA 行动头的参数规模相对较小，主干为 0.5B 参数的 VLM。
• 训练资源：文中未在摘要和实验章节明确说明具体训练所用的GPU/TPU数量，但提及使用了 TBPTT 进行高效训练。

• 评估环境：LIBERO 和 CALVIN 模拟基准，以及在真实世界的YAM双臂机器人上进行物理测试。
• 主要指标：任务成功率（LIBERO）、平均任务长度与任务5成功率（CALVIN）。
• 关键结果：

- 在 LIBERO 基准上，RD-VLA（固定12次迭代）以仅 0.5B 参数量实现了 93.0% 的平均成功率，优于所有端到端和基于token推理的基线模型。

- RD-VLA（自适应计算）实现了 92.5% 的平均成功率，同时动态调整计算迭代次数（平均约 7.9 次）。

- 性能随循环计算深度呈对数线性提升：单次迭代成功率为 8.4%，4次迭代提升至 84.1%，8次迭代达到 92.6%。

- 在 CALVIN 基准上，RD-VLA 实现了平均任务长度 3.39 和任务5成功率 45.3%，展示了强大的长时程泛化能力。

- 实现了大幅推理加速：通过潜空间推理，比先前的基于推理的VLA模型（如 ThinkAct, MolmoAct）快高达80倍。