# Moonshot 说 Kimi Linear 能让 KV 缓存跨数据中心传输，实测吞吐量提升 1.54 倍、首 token 延迟降 64%

> 原标题：Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter

- 来源：r/LocalLLaMA
- 发布时间：2026-04-18T16:20:57.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/6317
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1sp216x/prefillasaservice_kvcache_of_nextgeneration/

## 摘要

Moonshot 提出一种叫“预填充即服务”的玩法，把大模型推理拆成预填充和解码两个阶段，分别跑在不同数据中心甚至不同硬件上。核心靠的是他们 Kimi Linear 模型，KV 缓存体积小到可以跨机房传。用放大 20 倍的模型测，吞吐量提到 1.54 倍，P90 首 token 延迟降了 64%。

## 推荐理由

Moonshot 把大模型推理的预填充与解码拆到不同数据中心，靠 Kimi Linear 压缩 KV 缓存实现跨机房传输，并给出吞吐量提升 1.54 倍、P90 首 token 延迟降 64% 的实测结果。

## 锐评

KV 缓存能跨机房传，这个方向比那 1.54 倍吞吐有意思。预填充和解码拆到不同数据中心，算力就能按阶段摆到最便宜的地方，前提是缓存小到传得动，Kimi Linear 卖的就是这个。20 倍放大的模型测出来的数，跟线上真实负载差得远，跨机房带宽和传输延迟的账也没算。我暂时不会为这个改架构。
