# 有人复现了 TurboQuant，结果跟论文对不上

> 原标题：Implemented TurboQuant and results don’t fully match paper

- 来源：r/LocalLLaMA
- 发布时间：2026-05-02T20:05:02.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/12999
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1t208qv/implemented_turboquant_and_results_dont_fully/

## 摘要

一位 Reddit 用户自己实现了 TurboQuant 这篇 KV 缓存量化方法，发现 PROD 变体在 4-bit 下跟原始精度结果的相关性大约 95.8%，远低于论文宣称的 99% 以上。作者还做了一个简单模拟，注意力质量的 top-1 准确率掉到了 67% 左右，说明量化后模型在“该关注哪个 token”这件事上退化明显。

## 推荐理由

一位 Reddit 用户自行复现 TurboQuant 的 KV 缓存量化方法，测得 4-bit 下 PROD 变体与原始精度的相关性约 95.8%，低于论文宣称的 99% 以上。

## 锐评

95.8% 和 99% 差得不是一点，top-1 掉到 67% 才是要命的地方。KV 量化省显存，代价是模型挑不准该看哪个 token，长 context 里这种退化会一层层放大。单次复现、测试条件没公开，我不会拿它当定论，但论文里那种 99% 以上的说法以后得留个心眼。想上 KV 量化的，先在自己的任务上跑一遍，别只看论文那张表。
