Steerable Vision-Language-Action Policies for Embodied Reasoning and Hierarchical Control

• 加州大学伯克利分校1 (UC Berkeley)
• DeepMind3
• 其他未明确标注的机构（作者单位标记为1, 2, 3）

• 提出了一种Steerable Policies（可操纵策略），这是一种能够响应多种抽象级别指令的视觉-语言-动作（VLA）模型，旨在提升机器人策略的“可操纵性”。
• 通过改进低层VLA的可操纵性，可以更好地释放预训练视觉-语言模型（VLM） 的知识和推理能力，从而提高机器人任务的泛化性能。
• 解决了如何有效将预训练基础模型的语义和感知知识落地到机器人行为中的核心挑战，克服了传统分层方法中高层VLM与低层VLA之间指令接口（通常仅为任务级自然语言）过于单一、表达能力不足的瓶颈。

• 提出了 Steerable Policies：一种能够遵循多样化、多抽象级别的合成指令（如子任务、原子动作、像素坐标、抓取器轨迹等）的VLA模型。
• 提出了一种规模化生成合成转向指令的自动化流水线，利用基础模型从机器人轨迹数据中自动提取语义和几何特征，并生成丰富的指令标签。
• 设计了两种新颖的分层控制方法，用于更有效地利用VLM来操纵Steerable Policies：1）将VLM微调为高层具体化推理器；2）利用现成VLM的上下文学习能力来选择最优的转向抽象指令。
• 在真实世界机器人操作实验（Bridge WidowX 数据集）中广泛验证，表明所提方法显著优于现有的具体化推理VLA和基于VLM的分层基线模型，尤其在泛化任务和长视野任务上表现出色。

• 核心技术：训练一个VLA（视觉-语言-动作）模型，使其能够在行为克隆（BC）训练中接受六种不同抽象级别的“转向指令” 作为条件输入，而非单一的任务标签。
• 转向指令包括：任务级指令、子任务级指令、原子动作指令、抓取器轨迹、空间点坐标指令、以及上述类型的组合。
• 关键创新点：自动化的合成指令生成流水线。利用一系列基础模型（如Molmo、SAM2、DETR、Gemini 2.0）从机器人轨迹中提取物体、运动和几何特征，然后使用Gemini 模型为每一段轨迹子任务生成对应所有指令风格的描述。
• 分层控制方法：

- 高层具体化推理器：将VLM微调，使其根据任务和当前观察，生成思维链推理并输出转向指令。

- 上下文学习VLM：直接提示现成的强大VLM（如Gemini 3.0），结合历史观察和指令的上下文，进行场景理解、任务分解，并动态选择最合适的指令抽象级别来指导底层策略。

• 使用的主要数据集：Bridge WidowX 真实世界机器人操作数据集。
• 数据规模：通过合成指令生成流水线，将原始的38k个标准任务标签，扩展至约206k个子任务和总计近2M条转向指令。
• 基础模型：采用 Prismatic VLM 7B 架构作为策略主干，该模型基于 OpenVLA 代码库构建和训练。
• 用于特征提取和指令生成的模型：Molmo（用于物体识别）、SAM2（用于视频分割）、DETR（用于抓取器轨迹提取）、Gemini 2.0/3.0（用于生成子任务分解、转向指令和推理依据）。

• 评估环境：真实世界的Bridge WidowX机器人操作设置。
• 评估基准：遵循前人工作，测试任务涵盖分布内、动作泛化、空间泛化和语义泛化等多个维度。对于上下文学习实验，额外增加了未见过的多步骤长视野任务。
• 主要评估指标：任务成功率。
• 关键实验结果：

- 人类作为高层策略时，使用所有指令风格几乎能实现100%成功率，而限制于单一指令风格或仅使用任务级指令时，性能显著下降，证明了多风格指令的有效性和必要性。

- 微调的高层具体化推理器在Bridge任务集上，显著优于标准的OpenVLA、ECoT-Lite以及完整的具体化思维链推理（ECoT）等基线方法。

- 基于上下文学习的VLM方法在复杂多步任务上明显优于仅使用子任务指令的类SayCan基线、标准Bridge OpenVLA以及其自身的非推理消融版本。

- 定性分析显示，可操纵策略使得高层VLM能够利用其场景理解和上下文学习能力进行纠错，并动态地为不同情况选择最合适的指令抽象级别（例如，在场景杂乱时选择指向指令，在需要精确动作时选择原子动作指令）。