Thinking in Text and Images: Interleaved Vision--Language Reasoning Traces for Long-Horizon Robot Manipulation

• 清华大学
• 北京理工大学
• 小米集团

• 提出一种名为 IVLR (Interleaved Vision–Language Reasoning) 的策略框架，核心是 IVLR-Trace，这是一种包含文本子目标和视觉关键帧的显式中间表示，用于长期机器人操作。
• 解决现有 Vision-Language-Action (VLA) 模型在长期任务中的问题：要么将规划隐藏在隐状态中，要么仅使用单一模态（纯文本思维链或局部视觉预测），无法同时保证因果连贯性与几何接地。
• 目标是使机器人策略能够生成并利用一种全视界的“语义-几何”轨迹，以提升长期操作任务的性能与鲁棒性。

• 提出 IVLR-Trace，一种全视界的、文本子目标与视觉关键帧交替的显式中间表示，用于统一语义逻辑与几何接地。
• 实现了一种原生多模态Transformer架构，能够在任务开始时一次性生成全局轨迹，将其缓存并作为闭环动作解码器的上下文条件。
• 引入了一个可扩展的伪轨迹构建流程，通过时序分割和视觉语言模型标注，将未结构的机器人演示数据转化为轨迹监督信号。
• 在仿真基准上验证了交错模态轨迹对长期操作任务的有效性，证明文本与视觉组件均为必需，并分析了策略在扰动和轨迹损坏下的鲁棒性。

• 基于 Show-o2 1.5B 原生多模态Transformer进行初始化和适配，统一处理文本、图像和动作。
• 采用 Universal Visual Decomposer (UVD) 将演示轨迹分割为阶段，以阶段末帧作为视觉关键帧，并使用 Qwen3-VL 等视觉语言模型生成文本描述，构建伪轨迹监督。
• 在测试时，模型首先从初始观测和指令生成完整的 IVLR-Trace，随后将该轨迹缓存；在每个控制步骤，动作解码器根据当前观测、原始指令和缓存的轨迹预测连续动作。
• 训练损失包含文本自回归损失、用于视觉关键帧生成的流匹配损失，以及用于动作预测的L1损失。

• 使用 LIBERO 仿真基准（包含 Spatial, Object, Goal, Long 四个子集）和 SimplerEnv-WidowX 基准进行评估。
• 模型参数量：1.5B，基于 Show-o2 初始化。
• 训练资源：16块 NVIDIA H200 GPU，LIBERO训练约4小时（40K步），SimplerEnv训练约6小时（60K步）。
• 推理资源：轨迹生成在单块 NVIDIA H20 GPU 上耗时约10秒，执行阶段动作解码频率为 10 Hz。

• 评估环境：LIBERO（重点测试长期序列操作）和 SimplerEnv-WidowX（测试视觉分布偏移）。
• 主要指标：任务成功率。
• 关键结果：

- 在 LIBERO 上，IVLR平均成功率达 95.5%，在关键的 LIBERO-Long 子集上达到 92.4%，显著优于其他VLA基线模型。

- 在 SimplerEnv-WidowX 上，IVLR总体成功率为 59.4%，相比 SpatialVLA 的42.7%有明显提升。

- 消融实验显示，去除轨迹后 LIBERO-Long 成功率降至 37.7%，仅文本轨迹为 62.0%，仅视觉轨迹为 68.4%，而完整交错轨迹达 92.4%，证明了两种模态的必要性。

- 压力测试表明，策略在 2cm 执行扰动和 30% 轨迹掩码下性能有中等程度下降，但仍高于无轨迹基线，显示出一定的鲁棒性。