跳到正文
r/LocalLLaMA

单张3090跑Qwen 27B,每秒95个token,上下文拉到26万

95+ TPS through 100K generated for qwen3.8 27b, 262K ctx, on a single 3090

Reddit用户发帖说用一张RTX 3090跑Qwen 27B模型,生成了10万个token,吞吐量超过95 token/秒,上下文窗口开到262K。这个速度意味着本地跑长文本生成已经接近可用了——10万字级别的输出不用等太久。但帖子正文被Reddit屏蔽了,看不到具体用了什么量化、什么推理框架,也没法确认这是真实跑分还是某种优化后的极限测试。如果是真...

读原文 ↗导出 Markdown