# PFlash：在 RTX 3090 上跑 128K 上下文，预填充比 llama.cpp 快 10 倍

> 原标题：PFlash: 10x prefill speedup over llama.cpp at 128K on a RTX 3090

- 来源：r/LocalLLaMA
- 发布时间：2026-05-01T14:53:57.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/12769
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1t0vp3w/pflash_10x_prefill_speedup_over_llamacpp_at_128k/

## 摘要

PFlash 让 Qwen3.6-27B 的 Q4_K_M 量化模型在单张 RTX 3090 上处理 12.8 万 token 的输入时，首 token 延迟从 llama.cpp 冷启动的 248.4 秒压到 24.8 秒。做法是用一个 Qwen3-0.6B 小模型当“打分员”，挑出最重要的 5% 文本片段喂给大模型，省掉了大量无关计算。

## 推荐理由

PFlash 用 Qwen3-0.6B 小模型挑出 5% 关键片段喂给大模型，把 RTX 3090 上 12.8 万 token 输入的首 token 延迟从 248.4 秒降到 24.8 秒。

## 锐评

248 秒压到 24.8 秒，这个量级值得看一眼。做法是拿 0.6B 小模型挑 5% 片段喂大模型，省掉的计算量摆在那，10 倍不算玄学。

问题在验证只放了单针 NIAH，32K 到 128K 全过，RULER 和多针一个没给。挑片段这个动作赌的是答案落在打分高的那 5% 里，单针检索天然满足，多针和长文推理就未必。真跑长 context 的都清楚，召回掉一点后面全白搭。
