一眼看懂
封面预览
论文提出 X-Foresight，一个将预测性世界模型直接集成到视觉-语言-动作 (VLA) 架构中的网络，用于联合学习世界建模和实时动作控制。
- 论文提出 X-Foresight，一个将预测性世界模型直接集成到视觉-语言-动作 (VLA) 架构中的网络，用于联合学习世界建模和实时动作控制。
- 核心目标是解决自动驾驶中 VLA 模型缺乏前瞻性、无法模拟未来状态和主动避险的问题，通过预测未来视频来使模型内化物理动态和长期因果性。
- 主要挑战是视频 token 的低熵冗余导致预测易退化为平凡外推，以及瞬时动态与长期因果性在时间尺度上的矛盾。
Card 01
研究单位
研究单位
- XPeng Inc. PWM Team
Card 02
论文概述
论文概述
- 论文提出 X-Foresight，一个将预测性世界模型直接集成到视觉-语言-动作 (VLA) 架构中的网络，用于联合学习世界建模和实时动作控制。
- 核心目标是解决自动驾驶中 VLA 模型缺乏前瞻性、无法模拟未来状态和主动避险的问题，通过预测未来视频来使模型内化物理动态和长期因果性。
- 主要挑战是视频 token 的低熵冗余导致预测易退化为平凡外推，以及瞬时动态与长期因果性在时间尺度上的矛盾。
Card 03
核心贡献
核心贡献
- 引入 长视界块级自回归策略，通过预测语义上相隔较远的块而非相邻帧，避免平凡外推，同时保留块内密集帧以捕获瞬时动态，块间稀疏转移以捕获长期因果性。
- 提出 课程学习策略，从短视界预测开始，逐步扩展到长视界，稳定长视界训练并提升策略鲁棒性。
- 设计 时间重要性采样 (TIS)，一种混合采样机制，根据轨迹加速度等行为信号对安全关键的时间片段进行加权采样，集中监督于关键决策时刻。
- 将 基于扩散的多视图渲染器 集成到自回归管道中，从 LDM 预测的相机潜空间 token 解码出高保真、几何一致的环绕视图未来帧。
Card 04
方法描述
方法描述
- 系统由 大型驾驶模型 (LDM) 和 视觉渲染器 两部分组成。LDM 是一个自回归 Transformer，在统一 token 空间中联合预测未来动作、BEV 表示和相机潜 token；渲染器是一个 DiT 扩散模型，将 LDM 的预测解码为高保真多视图帧。
- 关键创新包括 块级预测 设计以解决时间困境；半因果块稀疏注意力 以实现长序列的高效训练；时间重要性采样 以优化监督信号分配。
- 训练流程分三阶段：I) LDM 预训练；II) 渲染器预训练（以真实动作为条件）；III) 渲染器对齐（冻结 LDM，将渲染器条件切换为 LDM 预测的相机 token，实现闭环一致性）。
Card 05
数据集与资源
数据集与资源
- 使用 自建工业级驾驶数据集，包含约 280,000 小时 的驾驶数据，被分割为 34M 个 长达 30 秒的片段，并从七相机多视图观察中被分词为 13.8T 个 token。
- 数据来自 七相机环绕视图系统（前鱼眼、前窄视、四个侧向、后向），提供 360 度覆盖，图像存储于 12 Hz 并下采样至 4 Hz 用于训练。
- 大规模模型训练使用 128 GPUs 或 1024 GPUs 集群。
Card 06
评估与结果
评估与结果
- 评估在自建数据集上进行，主要指标包括轨迹预测误差 (ADE, FDE)、碰撞率以及综合驾驶质量指标 (CCES 套件：合规性、舒适性、效率、安全性)。
- 在生产级对比实验中，X-Foresight 相比基线显著降低了横向/纵向 ADE (6.4%/3.6%) 和 FDE (8.8%/4.1%)。
- 碰撞率从 0.228% 降至 0.191%（相对降低 16.2%），总 CCES 指标从 3.8296 改进至 3.6535（相对降低 4.6%），尤其在安全性与合规性方面提升显著。
- 定性案例显示，模型能正确处理多出口环岛导航和红绿灯状态变化等需要长期因果推理的场景。