# TogetherAI 搞了个真 2-bit 的 KV 缓存压缩方案 OSCAR，长上下文推理能跑更快

> 原标题：超越TurboQuant，面向长上下文推理的真2-bit KV Quantization算法问世

- 来源：机器之心 · 公众号
- 发布时间：2026-05-29T04:04:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/30501
- 原文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651035616&idx=3&sn=77117cdc692cf9180e0a36a494e98f6c

## 摘要

TogetherAI 和合作方发布了 OSCAR，一个把 KV 缓存压到平均每个值只占 2.28 比特的压缩系统，已经接进了 SGLang 推理框架。在 10 万 token 的长上下文场景里，解码速度最高能到原来的 3 倍；在固定显存预算下，整个任务吞吐量最高能到 7 倍。正文没披露具体模型和测试硬件，也没说精度损失有多大，这点先别太激动。

## 推荐理由

TogetherAI 发布 OSCAR，把 KV 缓存压到平均每值 2.28 比特并接入 SGLang，10 万 token 场景解码最高提速 3 倍，固定显存下吞吐最高 7 倍。

## 锐评

2.28 比特这个数挺唬人，KV 缓存压到这份上还能接进 SGLang，工程上应该是真跑通了。10 万 token 解码 3 倍、吞吐 7 倍，对跑长上下文的团队就是直接省钱，显存省下来能多塞并发。

精度损失没给，这种压缩最怕长文里细节悄悄丢，跑 benchmark 看不出来，上线才翻车。反正等有人复现出精度对比再动手也不迟。
