跳到正文
r/LocalLLaMA

有人复现了 TurboQuant,结果跟论文对不上

Implemented TurboQuant and results don’t fully match paper

一位 Reddit 用户自己实现了 TurboQuant 这篇 KV 缓存量化方法,发现 PROD 变体在 4-bit 下跟原始精度结果的相关性大约 95.8%,远低于论文宣称的 99% 以上。作者还做了一个简单模拟,注意力质量的 top-1 准确率掉到了 67% 左右,说明量化后模型在“该关注哪个 token”这件事上退化明显。

推荐理由:一位 Reddit 用户自行复现 TurboQuant 的 KV 缓存量化方法,测得 4-bit 下 PROD 变体与原始精度的相关性约 95.8%,低于论文宣称的 99% 以上。

读原文 ↗导出 Markdown