# TurboQuant 走读：把 AI 向量压到每个数 2–4 比特，还不怎么掉精度

> 原标题：TurboQuant: A First-Principles Walkthrough

- 来源：Hacker News 首页
- 发布时间：2026-04-27T01:54:32.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/10089
- 原文：https://arkaung.github.io/interactive-turboquant/

## 摘要

这篇交互式文章把 TurboQuant 的核心思路拆了一遍。它要解决的是怎么把模型里的高维向量（比如 KV 缓存、嵌入向量）压到每个坐标只占 2 到 4 个比特。做法很取巧：先给向量随机转个方向，转完之后每个坐标的数值分布就固定了，近似一个钟形曲线。接着用一套提前算好的通用码本去套所有输入，省掉了给每组数据单独算缩放因子的开销，也不需要训练或校准。

## 推荐理由

TurboQuant 把高维向量压到每坐标 2 至 4 比特，靠随机旋转固定坐标分布并用通用码本免去逐组缩放，无需训练或校准。

## 锐评

2 到 4 比特压 KV 缓存，这个方向比压权重更值钱。权重压完省的是显存，KV 缓存压完省的是并发数，长 context 场景里后者才是账单大头。它这套随机旋转加固定码本，省掉了每组数据算缩放因子，校准这一步整个拿掉，部署上少一层麻烦。

只有一篇走读，没有大规模验证数据，2 比特下精度掉多少、decode 时解压开销多大，都还没数。思路我认，能不能上生产得看实测。
