TogetherAI 搞了个真 2-bit 的 KV 缓存压缩方案 OSCAR,长上下文推理能跑更快
超越TurboQuant,面向长上下文推理的真2-bit KV Quantization算法问世
TogetherAI 和合作方发布了 OSCAR,一个把 KV 缓存压到平均每个值只占 2.28 比特的压缩系统,已经接进了 SGLang 推理框架。在 10 万 token 的长上下文场景里,解码速度最高能到原来的 3 倍;在固定显存预算下,整个任务吞吐量最高能到 7 倍。正文没披露具体模型和测试硬件,也没说精度损失有多大,这点先别太激动。
推荐理由:TogetherAI 发布 OSCAR,把 KV 缓存压到平均每值 2.28 比特并接入 SGLang,10 万 token 场景解码最高提速 3 倍,固定显存下吞吐最高 7 倍。