PFlash：在 RTX 3090 上跑 128K 上下文，预填充比 llama.cpp 快 10 倍

PFlash: 10x prefill speedup over llama.cpp at 128K on a RTX 3090

PFlash 让 Qwen3.6-27B 的 Q4_K_M 量化模型在单张 RTX 3090 上处理 12.8 万 token 的输入时，首 token 延迟从 llama.cpp 冷启动的 248.4 秒压到 24.8 秒。做法是用一个 Qwen3-0.6B 小模型当“打分员”，挑出最重要的 5% 文本片段喂给大模型，省掉了大量无关计算。整个方案用 ...

推荐理由：HKR 三项都踩中了，但这是单条 Reddit 帖子，质量验证只给了单针 NIAH 32K–128K 全通过，RULER 和多针结果没放出来，所以先放在 featured 门槛上。