VCA: Vision-Click-Action Framework for Precise Manipulation of Segmented Objects in Target Ambiguous Environments

• ROBROS Inc.

• 提出了 Vision-Click-Action (VCA) 框架，以解决传统 Vision-Language-Action (VLA) 模型因依赖语言指令而导致的目标歧义、认知负担重和精确对象识别困难等问题。
• 核心思想是让操作员通过点击机器人的二维相机视图直接、直观地选择目标物体，利用预训练的Segment Anything Model 2 (SAM2) 生成分割掩码，并以此作为控制信号来驱动机器人策略。

• 提出了基于点击交互的 Vision-Click-Action (VCA) 框架，通过直接的视觉选择取代语言指令，实现无歧义的实例级目标指定。
• 改进了 SAM2 模型，使其支持实时、动态的用户交互，能够在推理过程中任意时间点接受或重置点击提示，并持续跟踪物体。
• 设计了一个端到端的机器人控制策略，将 SAM2 生成的物体掩码、多视角RGB图像和本体感觉信息融合，使用基于 Action Chunking Transformers (ACT) 的架构预测动作序列。
• 在真实的块分类任务和汉诺塔任务上验证了框架的有效性，并系统地评估了其在视觉分布偏移下的泛化能力。

• 技术方法：整体框架由实时交互式SAM2模块和基于ACT的掩码条件控制策略组成。用户点击生成物体掩码，该掩码与多视角RGB图像和机器人本体感觉一同输入到一个Transformer编码器中。解码器使用一组固定的学习到的动作查询来预测一个固定长度的动作序列（动作块），实现闭环控制。
• 创新点与关键技术：

- 实时SAM2适配：修改了原始SAM2的离线推理流程，使其能处理无界的视频流并允许在任意帧动态添加或重置物体提示（点击），实现持续的在线交互与跟踪。

- 掩码编码与融合：使用修改后的ResNet-18对掩码进行编码，生成与图像特征空间对齐的特征图，并与多视图图像特征、CVAE潜在变量和本体感觉令牌在Transformer编码器中进行融合。

- 提示触发的执行与中断：策略被训练为在接收到有效的掩码后开始执行任务，并在接收到重置提示（空掩码）时中断当前动作并返回等待状态，实现了灵活的人机交互。

• 使用的数据集名称：未使用公开的通用数据集。实验数据通过遥操作自主收集，包含608个块分类任务演示片段和330个汉诺塔任务演示片段。
• 模型规模和参数量：策略模型的视觉编码器使用ResNet-34，掩码编码器使用ResNet-18。Transformer模型的具体参数量未明确给出。
• 训练资源：掩码生成服务器使用了NVIDIA 4070Ti GPU。训练策略模型的具体硬件资源未明确说明。

• 评估环境和基准：在配备两台6自由度协作机械臂和多个RGB相机（头部和腕部）的真实机器人系统上进行评估。主要与不包含掩码编码器的原始ACT（Vanilla ACT） 基线进行对比。
• 主要评估指标：任务成功率，以及细分的失败原因（如错误抓取、交接失败、选错目标、放置错误）。
• 关键实验结果：

- 块分类任务：VCA 达到 96% 的成功率（基线ACT为 95%），并且零次选错目标，证明了点击指定目标的精确性。

- 汉诺塔任务：VCA 达到 94% 的成功率（与基线ACT持平），表明在目标物体视觉相似度高、任务更复杂的场景下同样有效。

- 视觉分布偏移下的泛化：在引入新物体颜色、新背景（方格、格子花纹）等测试条件下，VCA表现出与基线相当的或更好的鲁棒性。例如，在块分类任务的格子花纹背景下，VCA成功率 (44%) 显著高于ACT基线 (20%)，主要改善了目标定位能力。但在物体几何形状发生极端变化（如将圆环换成方环）时，两者性能均大幅下降。