跳到正文
量子位 · 公众号

DeepSeek V4 技术报告里漏掉了 Engram,一个能明显拉高长文本记忆分数的查表模块

DeepSeek V4最大的遗憾

DeepSeek V4 的技术报告列了一堆新组件,但没提 Engram。这个模块是 DeepSeek 和北大在 1 月开源的,做法是在 Transformer 的第 2 到第 15 层之间插入查表模块。在 27B 规模的测试里,它把 MMLU 拉高了 3.4 分,多查询大海捞针准确率干到了 97.0%。

推荐理由:DeepSeek V4 技术报告未收录与北大 1 月开源的 Engram 查表模块,该模块在 27B 规模测试中把 MMLU 拉高 3.4 分,多查询大海捞针准确率达 97.0%。

读原文 ↗导出 Markdown