跳到正文
r/LocalLLaMA

Moonshot 说 Kimi Linear 能让 KV 缓存跨数据中心传输,实测吞吐量提升 1.54 倍、首 token 延迟降 64%

Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter

Moonshot 提出一种叫“预填充即服务”的玩法,把大模型推理拆成预填充和解码两个阶段,分别跑在不同数据中心甚至不同硬件上。核心靠的是他们 Kimi Linear 模型,KV 缓存体积小到可以跨机房传。用放大 20 倍的模型测,吞吐量提到 1.54 倍,P90 首 token 延迟降了 64%。

推荐理由:Moonshot 把大模型推理的预填充与解码拆到不同数据中心,靠 Kimi Linear 压缩 KV 缓存实现跨机房传输,并给出吞吐量提升 1.54 倍、P90 首 token 延迟降 64% 的实测结果。

读原文 ↗导出 Markdown