# Gemma 4 26B 在单张 RTX 5090 上跑到每秒 600 token

> 原标题：Gemma 4 26B Hits 600 Tok/s on One RTX 5090

- 来源：r/LocalLLaMA
- 发布时间：2026-05-08T14:13:52.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/16412
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1t796qe/gemma_4_26b_hits_600_toks_on_one_rtx_5090/

## 摘要

chain-77 用 vLLM 0.19.2rc1 测了 Gemma 4 26B，开了 DFlash 投机解码后，单张 RTX 5090 的输出吞吐从每秒 228 token 跳到 578 token。测试条件是输入 256 token、输出 1024 token、并发数 1、投机 token 数设为 13。

## 推荐理由

chain-77 在单张 RTX 5090 上用 vLLM 0.19.2rc1 测 Gemma 4 26B，开启 DFlash 投机解码后输出吞吐从每秒 228 token 升至 578 token，并给出并发数与投机 token 数等可复现参数。

## 锐评

一张 5090 把 26B 的输出从 228 拉到 578 token/s，这个幅度比换卡划算。DFlash 投机解码加 13 个投机 token，本质是拿算力换串行步数，消费级卡上这买卖做得过。条件是并发 1、输入 256 输出 1024，真实 agent 场景并发一上来这数字会掉，但单路能到 578 已经够本地跑起来了。vLLM 版本和参数都给了，能复现，我信这个数。
