一眼看懂
封面预览
提出了 X-World，一个动作条件的多摄像头生成式世界模型，能够在视频空间中直接模拟未来观察结果，解决端到端自动驾驶的可扩展评估问题
- 提出了 X-World，一个动作条件的多摄像头生成式世界模型，能够在视频空间中直接模拟未来观察结果，解决端到端自动驾驶的可扩展评估问题
- 给定历史多视角摄像头视频流和未来动作序列，生成对应的未来多摄像头视频流，支持流式自动回归生成
- 支持多种可控条件：自车动作、动态交通代理、静态道路元素、相机参数，以及文本提示进行全局外观控制（如天气、时间）
Card 01
研究单位
研究单位
- XPeng（ GWM Team）
Card 02
论文概述
论文概述
- 提出了 X-World，一个动作条件的多摄像头生成式世界模型，能够在视频空间中直接模拟未来观察结果，解决端到端自动驾驶的可扩展评估问题
- 给定历史多视角摄像头视频流和未来动作序列，生成对应的未来多摄像头视频流，支持流式自动回归生成
- 支持多种可控条件：自车动作、动态交通代理、静态道路元素、相机参数，以及文本提示进行全局外观控制（如天气、时间）
Card 03
核心贡献
核心贡献
- 提出首个动作条件的多摄像头世界模型，支持7个环绕摄像头（360度视野）的未来视频生成
- 设计了视图-时间自注意力机制，明确建模跨视图几何一致性和时间相干性
- 实现多种异构条件的解耦交叉注意力注入，减少条件间干扰，提高可控性
- 提出两阶段训练：Stage-I 双向 I2V 训练确保精确可控性，Stage-II 因果少步训练实现流式长视野模拟
- 构建了大规模多模态驾驶数据集，包含7路摄像头视频、动态目标轨迹、静态道路元素和视觉语言描述
Card 04
方法描述
方法描述
- 基于 WAN 2.2 5B 视频扩散模型，采用高压缩3D因果VAE（16×空间压缩、4×时间压缩）
- 模型设计包括：视图-时间自注意力（跨时间和跨视图交互）、条件注入策略（自适应层归一化处理动作和时间、加性嵌入处理相机参数、交叉注意力处理动态/静态/文本条件）
- 训练采用 Rectified Flow 目标函数，Stage-II 使用 Self-forcing 和 DMD（分布匹配蒸馏） 损失
- 支持 I2V/V2V/C2V 统一生成模式，通过控制历史输入长度L实现
Card 05
数据集与资源
数据集与资源
- 使用大规模真实驾驶数据，包含7个摄像头（front_narrow、front_fisheye、front_left、front_right、rear_left、rear_right、rear）
- 数据格式：10秒片段，12 FPS，配套动态目标轨迹、静态道路元素标注、文本场景描述
- 自动化标注：使用VLM生成四维度 captioning（宏环境、道路条件、交通基础设施、交通密度）
- 自动标签分类：环境标签（50个三级标签）、静态标签（24个）、动态标签、 ego-vehicle行为标签（21个）
- 模型参数量：约 5B 参数
Card 06
评估与结果
评估与结果
- 自车动作可控性：给定相同初始帧，改变动作序列产生对应的不同未来（如右转→左转、直行→右转、保持车道→换道）
- 动态/静态元素可控性：6秒多摄像头生成中，动态目标（绿色框）和静态道路元素（红色路面边界、青色车道线）能够保持位置和几何一致性
- 长视野生成：支持24秒多摄像头 rollout，保持时间稳定性和视图一致性，无灾难性漂移
- 跨视图一致性：动态目标在不同摄像头间保持一致的identity和运动，静态结构（车道拓扑、路面边界）在各视角下几何对齐
- 全局外观编辑：通过文本提示修改全局外观（地点、时间、天气），支持 C2V 风格迁移和数据合成
- 应用场景：闭环评估引擎（反事实测试、场景编辑）、在线RL训练的数据工厂、大规模数据合成与增强（角_case生成、海外扩展）