TogetherAI 搞了个真 2-bit 的 KV 缓存压缩方案 OSCAR，长上下文推理能跑更快

超越TurboQuant，面向长上下文推理的真2-bit KV Quantization算法问世

TogetherAI 和合作方发布了 OSCAR，一个把 KV 缓存压到平均每个值只占 2.28 比特的压缩系统，已经接进了 SGLang 推理框架。在 10 万 token 的长上下文场景里，解码速度最高能到原来的 3 倍；在固定显存预算下，整个任务吞吐量最高能到 7 倍。正文没披露具体模型和测试硬件，也没说精度损失有多大，这点先别太激动。

推荐理由：我会先打个折：这是推理优化层的专项工作，不是模型发布，受众偏工程。但 100k 上下文 decode 约 3 倍加速、吞吐约 7 倍这两个数够硬，对跑长上下文推理的团队有直接参考价值。正文没披露精度损失的具体对比，这点先别太激动。整体值得放进 featured，让做推理部署的人看到。