Selective Perception for Robot: Task-Aware Attention in Multimodal VLA

• 作者未明确标注所属机构，但根据作者姓名（如 Young-Chae Son, Jung-Woo Lee 等）推测可能与韩国相关研究机构有关

• 针对机器人多模态VLA模型中存在的静态融合问题，提出一种受人类主动感知启发的动态信息融合框架，以提升模型效率和鲁棒性
• 通过引入轻量级的Camera Router架构，实时分析任务提示和腕部摄像头观测，预测多个相机视图的任务相关性，并条件性地衰减低效用视图的计算
• 旨在解决机器人控制环境中多模态传感器信息冗余、计算开销大以及任务无关信息作为噪声干扰的问题

• 提出上下文感知的路由器与门控机制：一种基于腕部摄像头和语言提示输入，实时预测模态重要性的动态路由器
• 展示了长时程任务中的鲁棒性：通过基于路由器的特征融合结构整合关键模态，减轻模态间干扰，在长时程操作任务上取得了比现有方法更高的成功率
• 建立了可扩展的VLM监督流程：利用Vision-Language Models构建自动标注流水线，为路由器训练生成标注数据，无需额外数据收集成本
• 实现了端到端高效训练：路由器与基于Flow Matching的VLA策略网络集成，可在机器人微调期间与VLA模型一同训练，无需额外数据

• 核心是Camera Router架构：该模块以腕部摄像头图像和任务提示作为输入，通过注意力池化和平均池化提取特征，再经MLP和Softmax层输出对其他视图（如外部、热感、触觉摄像头）的重要性权重
• 创新技术包括动态门控：利用路由器预测的权重和学习到的缩放参数，对原始特征进行加权，强调任务相关视觉信息，衰减低重要性视图
• 采用不平衡路由学习：为解决稀疏标签的数据不平衡问题，使用Focal Loss训练路由器，聚焦于困难样本
• 引入VLM自动标注流水线：利用Qwen3-VL模型，结合历史感知提示策略，分析视频片段并自动生成摄像头激活标签，为路由器提供监督信号

• 使用自收集的机器人操作数据集：每个任务包含50条专家演示轨迹，数据包括机器人状态、动作、多模态图像和任务提示
• 视觉数据来自多传感器：腕部摄像头（Intel RealSense D435）、外部摄像头（Intel RealSense L515）、热感相机（ThermoEye TMC256B）、触觉传感器（Meta Digit）
• 模型基础为预训练的VLA策略，并采用LoRA进行微调以保持先验知识并提高训练效率
• 自动标注使用Qwen3-VL-30B-A3B-Instruct模型

• 评估环境：在三个真实世界机器人操作任务上进行测试：电池分拣（视觉+热感）、电线选择（视觉+触觉）、阀门操作（视觉+热感+触觉）
• 主要指标：子任务成功率
• 关键结果：

- 提出的方法（以腕部摄像头+提示作为路由器输入）在三个任务上的平均成功率达到83.33%，显著优于仅使用多模态输入（10%）和静态融合基线方法

- 路由器输入配置比较表明，腕部摄像头+任务提示的组合效果最佳

- 在长时程序列任务中，该方法能维持高性能，显示了其鲁棒性

- VLM自动标注的性能（83.33%平均成功率）与人工标注（86.67%）相当，验证了其有效性