跳到正文
r/LocalLLaMA

PFlash:在 RTX 3090 上跑 128K 上下文,预填充比 llama.cpp 快 10 倍

PFlash: 10x prefill speedup over llama.cpp at 128K on a RTX 3090

PFlash 让 Qwen3.6-27B 的 Q4_K_M 量化模型在单张 RTX 3090 上处理 12.8 万 token 的输入时,首 token 延迟从 llama.cpp 冷启动的 248.4 秒压到 24.8 秒。做法是用一个 Qwen3-0.6B 小模型当“打分员”,挑出最重要的 5% 文本片段喂给大模型,省掉了大量无关计算。

推荐理由:PFlash 用 Qwen3-0.6B 小模型挑出 5% 关键片段喂给大模型,把 RTX 3090 上 12.8 万 token 输入的首 token 延迟从 248.4 秒降到 24.8 秒。

读原文 ↗导出 Markdown