# DeepSeek V4 技术报告里漏掉了 Engram，一个能明显拉高长文本记忆分数的查表模块

> 原标题：DeepSeek V4最大的遗憾

- 来源：量子位 · 公众号
- 发布时间：2026-05-03T03:16:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/13243
- 原文：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247888140&idx=1&sn=f57cc7f01fd2b460196ea80daa29e893

## 摘要

DeepSeek V4 的技术报告列了一堆新组件，但没提 Engram。这个模块是 DeepSeek 和北大在 1 月开源的，做法是在 Transformer 的第 2 到第 15 层之间插入查表模块。在 27B 规模的测试里，它把 MMLU 拉高了 3.4 分，多查询大海捞针准确率干到了 97.0%。

## 推荐理由

DeepSeek V4 技术报告未收录与北大 1 月开源的 Engram 查表模块，该模块在 27B 规模测试中把 MMLU 拉高 3.4 分，多查询大海捞针准确率达 97.0%。

## 锐评

技术报告里漏掉 Engram 这件事，比 Engram 本身更值得琢磨。27B 规模上 MMLU 涨 3.4 分、多查询大海捞针 97.0%，插在第 2 到 15 层之间做查表，这种改动放在任何一篇论文里都是主推的卖点，V4 报告里却一个字没提。要么是 V4 用了别的路子把它替掉了，要么就是这套查表模块在更大规模上没跑出同样的收益。反正 1 月就开源的东西，到 V4 报告里连个引用都没有，我只能理解为它没进 V4 的最终方案。
