BeeLlama.cpp：用 DFlash 和 TurboQuant 让 Qwen 3.6 27B 在单张 3090 上跑 20 万上下文，速度翻倍

BeeLlama.cpp: advanced DFlash & TurboQuant with support of reasoning and vision. Qwen 3.6 27B Q5 with 200k context on 3090, 2-3x faster than baseline (peak 135 tps!)

Anbeeld 发了一个 llama.cpp 的分支 BeeLlama.cpp，主要加了 DFlash（一种省显存的注意力机制）和 TurboQuant（更快的量化方案），还支持推理和视觉任务。标题里说在单张 RTX 3090 或 4090 上跑 Qwen 3.6 27B 的 Q5 量化版，能塞进 20 万 token 的上下文，速度比原版快 2 到 ...

推荐理由：我会先打个折：这些数字来自 Reddit 标题和摘要，没有独立复现，135 tps 的峰值在什么输入长度、什么 batch 下跑的也没说清楚。但就算打个七折，单张 3090 把 27B 模型塞进 200k 上下文还能跑到可用的速度，对个人开发者和小团队确实省钱。BeeLlama.cpp 看起来是在 llama.cpp 上做了 DFlash 和 TurboQuant 的工程优化，正文没披露具体技术细节和稳定性测试，这点先别太激动。整体算一次值得关注的本地推理更新，所以放在低位的 featured。