DeepSeek Engram:把静态知识搬出 GPU 显存,用查表给推理腾出算力
把知识搬出 GPU:DeepSeek Engram 与模型的第二条稀疏轴
DeepSeek 在 V4.1 Flash 技术报告中披露,将 196B 参数划给名为 Engram 的条件记忆模块,这批参数不做矩阵乘,只存放在主机内存中按需查表读取。
推荐理由:DeepSeek 在 V4.1 Flash 中把 196B 参数划给 Engram 条件记忆模块,参数不做矩阵乘、存放在主机内存按需查表,为理解稀疏容量如何在计算与记忆间切分提供了具体案例。