Together AI 把 2-bit KV Cache 压缩真的跑在了线上服务里
超越TurboQuant:Together AI把2-bit KV Cache推向真实服务
Together AI 和悉尼大学、UIUC 搞了个叫 OSCAR 的 2-bit KV Cache 压缩方案,每个 KV 元素实际只占约 2.28 bit,在 Qwen3-4B-Thinking 上跑分 71.86,比 TurboQuant 高出 40.1 分。简单说就是把模型推理时占显存的大头——键值缓存——压到极低精度,还尽量不丢性能。
推荐理由:Together AI 与悉尼大学、UIUC 将 2-bit KV Cache 压缩方案 OSCAR 用于线上服务,每个 KV 元素约占 2.28 bit,在 Qwen3-4B-Thinking 上跑分 71.86,比 TurboQuant 高 40.1 分。