LychSim: A Controllable and Interactive Simulation Framework for Vision Research

• 作者所属 Johns Hopkins University (Whiting School of Engineering)

• 论文提出了 LychSim，一个基于 Unreal Engine 5 构建的可控、交互式仿真框架，旨在降低计算机视觉研究中使用仿真平台的技术门槛。
• 核心目标是为视觉研究提供一个易用、高保真且闭环的仿真环境，支持合成数据生成、模型评估与鲁棒性分析，以及具身智能与机器人应用。
• 解决了现代仿真平台对计算机图形学和游戏开发专业知识依赖过重，难以被广大视觉研究者直接使用的问题。

• 提供了简化的 Python API，抽象了底层引擎复杂性，使研究者无需图形学经验即可操控高保真3D场景。
• 内置程序化数据管道，可生成具有多样 Out-of-Distribution (OOD) 视觉挑战的高保真环境，并配以丰富的 2D和3D真值标注。
• 原生集成 Model Context Protocol (MCP)，将仿真器转变为动态、闭环的交互环境，支持智能体LLM进行推理与操作。
• 为场景级程序化规则和对象级姿态对齐提供了额外标注，以支持语义对齐的3D真值和自动化场景修改。

• 系统基于 Unreal Engine 5 构建，利用其高质量的3D资产库和现代渲染引擎。
• 采用混合方法设置3D环境：从UE5 Fab资产市场获取艺术家创作的场景，并通过程序化规则和对象注释进行修改和填充，生成多样的新场景排列。
• 能够生成不同视觉复杂度的数据，包括不常见视角、严重遮挡、高密度场景等OOD场景，用于诊断模型弱点。
• 提供超越可见区域的真值标注，如对象遮挡/截断比率、遮挡关系，以及部分分割和密集点云图。

• 使用了来自 UE5 Fab Asset Marketplace 的多样化室内室外3D场景资产。
• 论文未明确提及特定公开数据集名称，主要作为数据生成引擎。
• 未报告模型参数量或具体的训练资源（如GPU/TPU数量）。
• 将公开发布完整的 C++和Python源代码、MCP服务器实现以及所有程序化规则和对象级姿态对齐数据。

• 通过三个案例研究展示框架能力：

- 作为合成数据引擎，用于VLM的评估分析（如Unreal3DSpace、PerceptualTaxonomy）和模型训练（如SAT、SIMS-V）。

- 支持基于强化学习的对抗测试器，成功识别出 Segment Anything (SAM) 模型在简单环境常见物体上的分割弱点。

- 实现 Claude Opus 4.6 和 Gemma 4 等智能体LLM进行交互式场景规划与生成，能够规划、导航、检查并修正物理上不合理的布局。

• 主要为定性展示与可行性验证，未报告定量基准对比结果。