一眼看懂
封面预览
提出 Lngram（潜在 N-gram），一种在潜在空间中进行条件记忆检索的模块，旨在将局部静态知识的检索与 Transformer 骨干网络…
- 提出 Lngram（潜在 N-gram），一种在潜在空间中进行条件记忆检索的模块，旨在将局部静态知识的检索与 Transformer 骨干网络…
- 该模块直接从隐藏状态学习离散二进制路由符号，构建 N-gram 索引并进行精确查找，摆脱了对分词器 ID 的依赖，使其能自然扩展至非文本模态。
- 解决了标准 Transformer 中静态模式匹配消耗有效计算深度的问题，通过查找操作提前引入预测相关信息，从而提升推理性能。
Card 01
研究单位
研究单位
- 论文作者包括 Yunao Zheng、Guoyang Xia、Xiaojie Wang 和 Lei Ren
- Lei Ren 为项目负责人
- 注：提供的文本片段中未明确列出作者所属的具体研究机构名称
Card 02
论文概述
论文概述
- 提出 Lngram（潜在 N-gram），一种在潜在空间中进行条件记忆检索的模块，旨在将局部静态知识的检索与 Transformer 骨干网络的密集计算解耦。
- 该模块直接从隐藏状态学习离散二进制路由符号，构建 N-gram 索引并进行精确查找，摆脱了对分词器 ID 的依赖，使其能自然扩展至非文本模态。
- 解决了标准 Transformer 中静态模式匹配消耗有效计算深度的问题，通过查找操作提前引入预测相关信息，从而提升推理性能。
Card 03
核心贡献
核心贡献
- 提出了 Lngram 架构，通过二进制离散化、多路由符号流生成和精确 N-gram 表查找，在潜在空间实现了条件匹配机制。
- 设计了 Counterfactual Surrogate Gradient（反事实代理梯度）反向传播策略，解决了硬离散路由带来的不可微分问题，实现了与 Transformer 骨干网络的稳定联合训练。
- 在 NLP、VLM（视觉语言模型）和 VLA（视觉语言动作模型）多种设置下验证了有效性，展示了在长上下文建模和领域知识注入方面的显著优势。
- 通过 LogitLens 和 CKA 分析证明，Lngram 能使预测相关信息在中间层更早出现，有效增加了模型的计算深度。
Card 04
方法描述
方法描述
- 二进制离散化：将隐藏状态通过线性层映射为 Logits，经硬阈值二值化后打包为多路由整数符号，形成离散符号流。
- 精确 N-gram 检索：基于符号流构建精确 N-gram 地址，从路由分区的内存表中检索对应的静态向量，支持多表版本以扩展容量。
- 上下文感知读出：检索向量经投影后，利用当前隐藏状态作为动态 Query 进行门控融合，并通过短程因果卷积增强非线性，最后以残差形式加回主干网络。
- 反向传播：针对离散路由的梯度近似问题，提出了一种近似代理梯度方法，通过枚举或比较翻转比特后的检索结果差异来估计梯度，确保训练稳定。
Card 05
数据集与资源
数据集与资源
- 通用语言任务：使用 FineWeb-Edu 数据集进行预训练（35B 和 140B tokens），评估基准包括 HellaSwag、MMLU、SciQ、WinoGrande、PIQA 等。
- 长上下文建模：使用 PG-19 数据集（64k-token 文本样本）进行训练和评估。
- 领域知识注入：使用智能驾驶数据集（评估集包括 BDD 和 CNK）。
- 多模态任务：VLA 任务使用 LIBERO 基准，VLM 任务使用 SeedBench 基准。
- 模型规模：基于 DeepSeek-V2 结构的 MoE 模型（2B 和 8B 参数规模），以及 Qwen3-1.7B-Base 和 Qwen2.5-0.5b-instruct 作为骨干网络。
Card 06
评估与结果
评估与结果
- NLP 任务：在相同参数预算下，MoE+Lngram 在平均指标上优于 MoE 和 MoE+Engram 基线，2B 模型平均提升 1.41 个百分点，并在数据与参数扩展实验中保持优势。
- 长上下文：在长达 64k 的上下文中，Lngram 增强的模型困惑度（PPL）始终低于基线，证明其在保持全局建模能力的同时提供了有效的局部先验。
- 领域注入：仅训练 Lngram 模块即可显著提升特定领域性能（如 BDD 准确率提升 5.14），联合训练策略优于全参数微调。
- 多模态任务：在 LIBERO 基准上 VLA 模型成功率提升，在 SeedBench 上 VLM 模型平均分从 60.5 提升至 61.2，验证了跨模态通用性。
- 机制分析：LogitLens KL 散度分析显示 Lngram 模型的预测信息在中间层更接近最终状态，CKA 相似度分析显示表征更早与深层对齐，验证了有效深度的提升。