一眼看懂
封面预览
论文旨在解决现有大视觉-语言模型中理解与生成被视为分离问题、导致架构割裂的根本矛盾。
- 论文旨在解决现有大视觉-语言模型中理解与生成被视为分离问题、导致架构割裂的根本矛盾。
- 提出了 SenseNova-U1，一种建立在 NEO-unify 架构之上的原生统一多模态范式，将理解与生成视为单一协同过程。
- 目标是构建一个直接处理原始像素和文字输入、无需依赖预训练视觉编码器或VAE的统一模型，以实现真正的端到端统一多模态智能。
Card 01
研究单位
研究单位
- OpenSenseNova 团队
Card 02
论文概述
论文概述
- 论文旨在解决现有大视觉-语言模型中理解与生成被视为分离问题、导致架构割裂的根本矛盾。
- 提出了 SenseNova-U1，一种建立在 NEO-unify 架构之上的原生统一多模态范式，将理解与生成视为单一协同过程。
- 目标是构建一个直接处理原始像素和文字输入、无需依赖预训练视觉编码器或VAE的统一模型，以实现真正的端到端统一多模态智能。
Card 03
核心贡献
核心贡献
- 提出了 NEO-unify 原生统一架构，实现了理解与生成在单一模型中的原生协同。
- 发布了两个模型变体：SenseNova-U1-8B-MoT 和 SenseNova-U1-A3B-MoT，分别基于稠密和混合专家架构。
- 在理解任务上匹敌顶级专用VLM，同时生成任务表现优异，并支持交错生成、图像编辑等复杂场景。
- 证明了模型在视觉-语言-行动和世界建模场景中的潜力，展示了原生统一架构的扩展性。
- 提供了详尽的模型设计、数据预处理、训练流程和推理策略，以支持社区研究。
Card 04
方法描述
方法描述
- 采用近无损视觉接口，使用轻量级卷积编码层和MLP解码层，直接处理像素输入，避免使用预训练编码器或VAE。
- 核心采用原生混合Transformer架构，将理解流与生成流在单一框架内统一，共享自注意力机制但完全参数解耦。
- 训练目标联合优化用于语言的自回归交叉熵损失和用于视觉的像素空间流匹配损失。
- 引入了动态噪声尺度和噪声尺度条件，以适应不同分辨率的生成任务，确保信噪比一致。
- 采用无分类器引导策略，独立调节文本和视觉条件的影响。
Card 05
数据集与资源
数据集与资源
- 使用内部构建的理解数据（涵盖多模态理解、文本理解）和生成数据（包含文本到图像生成、图像编辑、交错图像-文本数据）。
- 模型规模：SenseNova-U1-8B-MoT 为稠密8B参数模型；SenseNova-U1-A3B-MoT 为30B参数（激活参数3B）的混合专家模型。
- 训练资源消耗：总训练令牌量约为 3.45T，训练阶段最长序列长度为 32768。
Card 06
评估与结果
评估与结果
- 评估基准：涵盖图像理解（如各种视觉问答基准）、文本理解、图像生成（如 GenEval, DPG-Bench, TIIF-Bench）、图像编辑（如 ImgEdit）及交错生成（如 OpenING, Uni-MMMU）。
- 主要评估指标：各类理解任务准确率、生成任务质量评分、编辑任务一致性及交错生成连贯性。
- 关键实验结果：SenseNova-U1 在多项理解和生成基准上达到或超越现有开源统一模型及专用模型，展示了原生统一架构的优越性能。