跳到正文
r/LocalLLaMA

Gemma 4 26B 在单张 RTX 5090 上跑到每秒 600 token

Gemma 4 26B Hits 600 Tok/s on One RTX 5090

chain-77 用 vLLM 0.19.2rc1 测了 Gemma 4 26B,开了 DFlash 投机解码后,单张 RTX 5090 的输出吞吐从每秒 228 token 跳到 578 token。测试条件是输入 256 token、输出 1024 token、并发数 1、投机 token 数设为 13。

推荐理由:chain-77 在单张 RTX 5090 上用 vLLM 0.19.2rc1 测 Gemma 4 26B,开启 DFlash 投机解码后输出吞吐从每秒 228 token 升至 578 token,并给出并发数与投机 token 数等可复现参数。

读原文 ↗导出 Markdown