# Together AI 把 2-bit KV Cache 压缩真的跑在了线上服务里

> 原标题：超越TurboQuant：Together AI把2-bit KV Cache推向真实服务

- 来源：量子位 · 公众号
- 发布时间：2026-06-04T08:26:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/34436
- 原文：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247895048&idx=3&sn=c800a6ca1334742600bae6a37295cb19

## 摘要

Together AI 和悉尼大学、UIUC 搞了个叫 OSCAR 的 2-bit KV Cache 压缩方案，每个 KV 元素实际只占约 2.28 bit，在 Qwen3-4B-Thinking 上跑分 71.86，比 TurboQuant 高出 40.1 分。简单说就是把模型推理时占显存的大头——键值缓存——压到极低精度，还尽量不丢性能。

## 推荐理由

Together AI 与悉尼大学、UIUC 将 2-bit KV Cache 压缩方案 OSCAR 用于线上服务，每个 KV 元素约占 2.28 bit，在 Qwen3-4B-Thinking 上跑分 71.86，比 TurboQuant 高 40.1 分。

## 锐评

2-bit KV Cache 能跑线上，这个比论文里刷分有意思。KV cache 是推理显存的大头，压到 2.28 bit，同样一张卡能塞下更多并发或者更长 context，省下来的都是真金白银。71.86 对 TurboQuant 高 40 分这个差距有点大，我倾向于信，Together 自己就在卖推理服务，跑不动的东西不会往线上放。后面放不放 kernel 和量化细节，我等着看。
