Moonshot 说 Kimi Linear 能让 KV 缓存跨数据中心传输，实测吞吐量提升 1.54 倍、首 token 延迟降 64%

Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter

Moonshot 提出一种叫“预填充即服务”的玩法，把大模型推理拆成预填充和解码两个阶段，分别跑在不同数据中心甚至不同硬件上。核心靠的是他们 Kimi Linear 模型，KV 缓存体积小到可以跨机房传。用放大 20 倍的模型测，吞吐量提到 1.54 倍，P90 首 token 延迟降了 64%。不过帖子本身被 Reddit 安全策略挡了，正文没披露具...

推荐理由：HKR 三项都站得住：跨数据中心传 KV Cache 这个点够新，文章也拿出了 1.54 倍吞吐和 P90 TTFT 降 64% 的具体数字，预填充与解码解耦的机制也交代了。我只给 80 分，因为目前还是二手摘要，成本基准、确切规模和复现细节正文都没披露，得等 arXiv 论文出来再看。