TurboQuant 走读:把 AI 向量压到每个数 2–4 比特,还不怎么掉精度
TurboQuant: A First-Principles Walkthrough
这篇交互式文章把 TurboQuant 的核心思路拆了一遍。它要解决的是怎么把模型里的高维向量(比如 KV 缓存、嵌入向量)压到每个坐标只占 2 到 4 个比特。做法很取巧:先给向量随机转个方向,转完之后每个坐标的数值分布就固定了,近似一个钟形曲线。接着用一套提前算好的通用码本去套所有输入,省掉了给每组数据单独算缩放因子的开销,也不需要训练或校准。
推荐理由:TurboQuant 把高维向量压到每坐标 2 至 4 比特,靠随机旋转固定坐标分布并用通用码本免去逐组缩放,无需训练或校准。