Sebastian Raschka 梳理了 Gemma 4 到 DeepSeek V4 的架构变化,重点在省显存和长上下文
LLM近期重大架构进化一览:从Gemma 4到DeepSeek V4
这篇文章是机器之心翻译的 Sebastian Raschka 博客,盘点了几款新模型的架构改动,核心都在想办法降低长上下文的显存开销。Gemma 4 的 E2B 方案在 128K 上下文、bfloat16 精度下,KV 缓存能省大约 2.7GB,这个数字挺实在的。
推荐理由:Sebastian Raschka 梳理了 Gemma 4 到 DeepSeek V4 几款新模型的架构改动,主线是降低长上下文显存开销,其中 Gemma 4 的 E2B 方案在 128K 上下文下 KV 缓存可省约 2.7GB。