# 用 LiteRT 跑 Gemma 4 E4B，文字生成比 Q4 GGUF 快 2.4 倍，图片处理几乎没变

> 原标题：Using Gemma 4 E4B with the LiteRT engine - ~2.4x speedup over Q4 GGUF in text generation, image processing roughly the same

- 来源：r/LocalLLaMA
- 发布时间：2026-06-02T17:46:39.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/32885
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tuygn6/using_gemma_4_e4b_with_the_litert_engine_24x/

## 摘要

有人在 RTX 4060 Ti 16GB 上实测了 Gemma 4 E4B 模型。用 LiteRT 引擎跑文字生成，平均每秒能出 157.2 个 token，而用 llama.cpp 的 Q4 GGUF 格式只有 66.3 tok/s，快了大约 2.4 倍。

## 推荐理由

作者在 RTX 4060 Ti 上实测 Gemma 4 E4B，LiteRT 文字生成达 157.2 tok/s，约为 llama.cpp Q4 GGUF 的 2.4 倍，图片处理两者接近。

## 锐评

2.4 倍这个差距，感觉 LiteRT 在 4060 Ti 上把 llama.cpp 按着打了。66 到 157 tok/s，本地跑 4B 模型从勉强能用变成挺顺手，这个量级差不是调参能补的。图片处理几乎没变倒是正常，视觉那块本来就吃显存带宽，换引擎救不了。

只有单卡单次测试，没提功耗和精度，我持保留态度，但方向值得跟。本地推理的瓶颈早就不在模型本身，在 runtime。
