跳到正文
r/LocalLLaMA

有人复现了 TurboQuant,结果跟论文对不上

Implemented TurboQuant and results don’t fully match paper

一位 Reddit 用户自己实现了 TurboQuant 这篇 KV 缓存量化方法,发现 PROD 变体在 4-bit 下跟原始精度结果的相关性大约 95.8%,远低于论文宣称的 99% 以上。作者还做了一个简单模拟,注意力质量的 top-1 准确率掉到了 67% 左右,说明量化后模型在“该关注哪个 token”这件事上退化明显。核心矛盾在于:论文用相...

推荐理由:这是 Reddit 上的单次复现,不是正式论文或官方发布,但 95.8% 的相关性和约 67% 的 top-1 准确率这两个数字挺具体,对正在掂量 KV cache 量化方案的人有参考价值。我会先打个折,因为样本量和测试条件正文没披露,结论不能直接当定论。

读原文 ↗导出 Markdown