Together AI 把 2-bit KV Cache 压缩真的跑在了线上服务里

超越TurboQuant：Together AI把2-bit KV Cache推向真实服务

Together AI 和悉尼大学、UIUC 搞了个叫 OSCAR 的 2-bit KV Cache 压缩方案，每个 KV 元素实际只占约 2.28 bit，在 Qwen3-4B-Thinking 上跑分 71.86，比 TurboQuant 高出 40.1 分。简单说就是把模型推理时占显存的大头——键值缓存——压到极低精度，还尽量不丢性能。正文没披露...

推荐理由：HKR 三项都站得住：OSCAR 把 2-bit KV Cache 从纸面推到线上，还给了实打实的分数和对比。不过话题本身还是底层推理优化，放 featured 比放头条更合适，做推理基建的人会点进去看。