Differentiate-and-Inject: Enhancing VLAs via Functional Differentiation Induced by In-Parameter Structural Reasoning

• 论文作者未明确列出所属机构。从HTML原文（
  部分）看，只列出了作者姓名：Jingyi Hou, Leyu Zhou, Chenchen Jing, Jinghan Yang, Xinbo Yu, Wei He。

• 论文提出了一种名为 iSTAR 的新框架，旨在通过参数空间内的结构化任务推理来增强视觉-语言-动作（VLA）模型。
• 主要解决现有VLA模型在长视野任务中存在的任务级推理与低层控制纠缠的问题，以及依赖不稳定的、基于提示的上下文分解的问题。
• 其核心思想是功能分化：在单一VLA模型中嵌入任务级的语义结构（动态场景图），使其在执行前能显式地进行任务分解和语义推理，同时保持端到端执行。

• 提出了 iSTAR 框架，实现了参数空间内的结构化任务推理，通过将动态隐式概念图知识注入模型参数，来捕获对象关系、子任务语义和任务级依赖。
• 引入了功能分化的设计原则：将单一VLA的推理和执行功能分离，使用一个“动作前VLA模块”进行语义概念推理，另一个模块在解析的任务结构指导下生成动作，两者共享同一参数族。
• 设计了一种动态隐式概念图构建方法，包括属性门控、动态位置编码、顺序门控与融合以及隐式关系推理，以捕获任务相关结构。
• 提出了基于任务执行视频的子任务提示蒸馏与监督方法，利用强大的视觉语言模型生成子任务级语义描述作为监督，无需额外人工标注。
• 从理论上分析了在长视野和低信息场景下，结构化语义推理相较于端到端策略的优势，并给出了泛化误差边界。

• 方法基于一个预训练的VLA模型（如VIMA），通过功能分化将其分为两个角色：动作前VLA模块用于语义概念推理，动作生成VLA用于条件动作预测。
• 核心流程：从动作前VLA模块提取对象和动作中心的概念嵌入；通过动态隐式概念图模块对这些概念进行结构化推理；将结构感知的概念表示映射为子任务级文本描述（子提示）；以子提示为条件，动作生成VLA解决简化的短视野决策问题。
• 关键技术包括：概念提取、动态隐式概念图构建（包含属性门控、动态位置编码、顺序门控与融合、隐式关系推理）、子任务提示投影器以及结构学习目标。
• 创新点在于将任务级语义结构显式地注入到模型参数中，实现内部的任务解析和复用，而无需外部规划器或手写提示输入。

• 在多个标准机器人操作基准上进行评估，主要包括：VIMA-Bench、LIBERO。
• 在真实世界实验中，使用了UR3工业机器人平台。
• 模型基于现有的VLA主干：在VIMA-Bench上基于VIMA (Small, 2M参数) 实现，总参数量与VIMA (Large, 4M参数) 相当；在LIBERO上基于 OpenVLA-OFT 模型。
• 训练资源未在提供的HTML摘要部分明确说明。

• 评估环境包括仿真基准（VIMA-Bench, LIBERO）和真实世界UR3机器人平台。
• 主要评估指标为任务成功率（SR）。
• 关键实验结果：

- 在VIMA-Bench上，iSTAR在所有四个难度级别（L1-L4）上均超越了VIMA (Small)和VIMA (Large)基线以及多个消融变体，尤其在最长视野的L4级别提升显著（从59.0%提升至44.3%）。

- 在LIBERO上，iSTAR性能与最先进的VLA模型（如π0, Evo-1, OpenVLA-OFT）相当或略有提升，证明了其与强大VLA主干的无缝集成能力。

- 在真实世界实验中（包括开/关盖、堆叠、倾倒、放置、堆叠并放置等任务），iSTAR的平均成功率（84.3%）显著优于仅使用目标提示的OpenVLA-OFT基线（67.0%）和使用了子任务级提示的基线（73.0%），展示了其在任务级推理和初始状态变化下的强泛化能力。

- 消融研究表明，动态隐式概念图和子任务级监督对于提升长视野任务的性能至关重要。