# Sebastian Raschka 梳理了 Gemma 4 到 DeepSeek V4 的架构变化，重点在省显存和长上下文

> 原标题：LLM近期重大架构进化一览：从Gemma 4到DeepSeek V4

- 来源：机器之心 · 公众号
- 发布时间：2026-05-19T04:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/23926
- 原文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651033888&idx=2&sn=0260ac498ecbedb37e83dc0d5288b029

## 摘要

这篇文章是机器之心翻译的 Sebastian Raschka 博客，盘点了几款新模型的架构改动，核心都在想办法降低长上下文的显存开销。Gemma 4 的 E2B 方案在 128K 上下文、bfloat16 精度下，KV 缓存能省大约 2.7GB，这个数字挺实在的。

## 推荐理由

Sebastian Raschka 梳理了 Gemma 4 到 DeepSeek V4 几款新模型的架构改动，主线是降低长上下文显存开销，其中 Gemma 4 的 E2B 方案在 128K 上下文下 KV 缓存可省约 2.7GB。

## 锐评

128K 上下文省 2.7GB KV 缓存，这个数能直接进预算表。长上下文现在卡的是显存账单，谁把这块压下来谁就便宜，Gemma 4 这个量级放到一张卡上，能多塞的并发不是小数目。Raschka 的梳理我一般会看，但这篇是二手编译，架构细节得回去翻原博客，别拿转述当依据。
