A Pattern Language for Resilient Visual Agents

• Habtom Kahsay Gidey：第一作者，主要研究视觉代理和认知自动化
• Alexander Lenz：合著者
• Alois Knoll：合著者

论文来自软件架构与人工智能交叉领域，主要关注企业环境中的视觉代理系统设计。

• 核心问题：将多模态基础模型集成到企业生态系统中面临根本性的软件架构挑战，需要平衡 VLA 模型的高延迟和非确定性与企业控制回路所需的严格确定性和实时性能
• 研究目标：提出一种架构模式语言，将快速、确定性反射与慢速、概率性监督分离，构建能够处理 Sim2Real 差距的弹性视觉代理
• 解决思路：采用混合架构合成方案，将语义差距重新定义为 Sim2Real 差距，代理在理想化语义世界中规划，在嘈杂、部分可观察的数字现实中执行动作

• 提出四种架构设计模式：Hybrid Affordance Integration（混合可供性集成）、Adaptive Visual Anchoring（自适应视觉锚定）、Visual Hierarchy Synthesis（视觉层次合成）、Semantic Scene Graph（语义场景图）
• 构建分层参考架构：将高延迟、概率模型隔离在监督层，实现快速反射层（System 1）与慢速认知层（System 2）的解耦
• 解决四大架构冲突：时间（延迟 vs 语义）、成本（推理费用 vs 认知能力）、可靠性（确定性 vs 适应性）、可解释性（黑箱 vs 可观测性）
• 引入 amortized inference（摊余推理）概念：通过将昂贵的语义决策转化为廉价的可复用本地反射，仅在感知失败或 UI 漂移时调用昂贵的概率监督器

• 技术方法：结合行为机器人学原理，采用分层架构，参考 Kahneman 的 System 1/System 2 双过程理论和 MAPE-K（监控-分析-计划-执行-知识）控制循环
• 关键创新：

- Visual Proprioception（视觉本体感觉）：通过光流验证自身动作，如"按钮是否按下"

- Active Perception（主动感知）：执行认知动作（如滚动）来解决不确定性

- Hierarchical Control（分层控制）：快速反射层负责执行，慢速认知层负责规划和恢复

• 四模式协同工作：

- Hybrid Affordance Integration 处理多模态感知融合

- Adaptive Visual Anchoring 处理 System 1/2 的切换和模板缓存

- Visual Hierarchy Synthesis 生成层级化 UI 表示

- Semantic Scene Graph 提供可查询的世界模型用于验证

• 应用场景：面向企业遗留 ERP（如 DATEV）、专有数据库前端（如 MS Access）、VNC 或 Citrix 虚拟化桌面环境
• 参考模型：UI-TARS、CogAgent、OmniParser、ScreenAI 等 VLA 模型
• 评估方法：SAAM（Scenario-based Architecture Analysis Method）场景分析
• 测试场景：模拟"发票审批"批处理流程，包含 UI 扰动（按钮移动 50 像素、颜色变化、危险按钮陷阱）

• 评估方法：架构走查（Architectural Walkthrough），对比经典 RPA、端到端 VLA 和提出的混合架构
• 关键结果：

- 经典 RPA：开放循环执行硬编码命令，无法识别"Delete"陷阱，导致灾难性失败（违反安全性）

- 端到端 VLA：语义识别成功但每次推理约 10 秒，1000 条记录需近 3 小时（违反延迟和成本）

- 提出架构：首次失败触发 VLA 监督器更新缓存，后续 999 条记录以毫秒级速度执行，同时保证安全性

• 成本模型：Cost_avg = Cost_Reflex + (P_Drift × Cost_Supervisor)，低 P_Drift 确保平均运营开销接近零
• 质量目标：严格安全性（永不点击 Delete）和批处理延迟（<1 秒/记录）