一眼看懂
封面预览
针对 Vision-Language-Action (VLA) 模型在密集杂乱环境中因视觉干扰导致注意力分散和性能下降的问题，提出了分层框架…
- 针对 Vision-Language-Action (VLA) 模型在密集杂乱环境中因视觉干扰导致注意力分散和性能下降的问题，提出了分层框架…
- 该框架将高层视觉语义推理与低层高频运动控制解耦，通过显式的 场景清理 抽象层来过滤任务无关的视觉干扰。
- 实验表明，该方法在密集杂乱的真实超市货架场景中显著优于现有的单体 VLA 模型，并在长周期任务中表现出强大的鲁棒性。
Card 01
研究单位
研究单位
- 北京邮电大学
- InspireOmni AI
- 清华大学
Card 02
论文概述
论文概述
- 针对 Vision-Language-Action (VLA) 模型在密集杂乱环境中因视觉干扰导致注意力分散和性能下降的问题，提出了分层框架 HSC-VLA。
- 该框架将高层视觉语义推理与低层高频运动控制解耦，通过显式的 场景清理 抽象层来过滤任务无关的视觉干扰。
- 实验表明，该方法在密集杂乱的真实超市货架场景中显著优于现有的单体 VLA 模型，并在长周期任务中表现出强大的鲁棒性。
Card 03
核心贡献
核心贡献
- 提出了分层控制架构，将端到端的操作分解为高层符号推理和底层感觉运动执行，实现了长周期任务编排与高频响应的平衡。
- 引入了基于掩码的场景简化机制，利用 VLM 引导的分割技术系统性修剪任务无关的干扰物，将原始观测转换为以几何为核心的表征。
- 建立了感知-动作一致性协议，确保离线训练与在线推理均在经过杂波过滤的感知子空间中进行对齐，提升了零样本鲁棒性。
Card 04
方法描述
方法描述
- 高层 Brain 模块：使用冻结的 Qwen3-v1-235B-A22B-Instruct 模型作为视觉语言规划器，负责将长周期任务分解为子目标，并预测任务无关区域的边界框。
- 几何导向感知：利用 SAM/Cutie 分割模型根据预测的边界框生成像素级掩码，并通过轻量级时间更新模块在序列帧中传播掩码，以此过滤视觉输入。
- 底层 Cerebellum 模块：采用基于扩散策略 的视觉运动控制器，基于过滤后的图像、本体感知状态和当前子目标生成动作序列。
- 集成了验证与重规划机制，根据执行结果动态更新剩余计划。
Card 05
数据集与资源
数据集与资源
- 在真实超市货架环境中通过动觉示教收集了 2,100 条 专家轨迹数据。
- 涵盖单臂抓取、单臂放置和双臂协作抓取三类操作任务。
- 使用 InspireOmni O1 双臂机器人平台（包含两个 6-DoF 机械臂）进行数据采集和评估。
- 在 RoboTwin 2.0 仿真环境中进行了基准测试。
Card 06
评估与结果
评估与结果
- 评估环境：真实世界的密集杂乱超市货架场景以及 RoboTwin 2.0 仿真环境。
- 对比基线：ACT, DP, DP3, RDT, $\pi_{0}$-LoRA, $\pi_{0}$-Full FT。
- 主要结果：在高密度杂乱场景下，HSC-VLA 实现了 86.7% 的总成功率，比最佳基线模型 ($\pi_{0}$-Full FT, 34.3%) 提高了 52.4%。
- 长周期任务：在杂物整理任务中成功率达到 72%，在补货任务中达到 66%，展现了优异的长期执行稳定性。