跳到正文
r/LocalLLaMA

用 LiteRT 跑 Gemma 4 E4B,文字生成比 Q4 GGUF 快 2.4 倍,图片处理几乎没变

Using Gemma 4 E4B with the LiteRT engine - ~2.4x speedup over Q4 GGUF in text generation, image processing roughly the same

有人在 RTX 4060 Ti 16GB 上实测了 Gemma 4 E4B 模型。用 LiteRT 引擎跑文字生成,平均每秒能出 157.2 个 token,而用 llama.cpp 的 Q4 GGUF 格式只有 66.3 tok/s,快了大约 2.4 倍。

推荐理由:作者在 RTX 4060 Ti 上实测 Gemma 4 E4B,LiteRT 文字生成达 157.2 tok/s,约为 llama.cpp Q4 GGUF 的 2.4 倍,图片处理两者接近。

读原文 ↗导出 Markdown