跳到正文
Computing Life · Share · 鸭哥调研

大模型推理为何采用 PD 分离,Cloudflare 又如何因此泄露用户代码

为什么大模型推理都在做 PD 分离,而它又如何漏出了别人的代码

PD 分离通过拆开预填充与解码改善推理性能,但 Cloudflare 的 GLM-5.3 部署因异常请求处理漏洞发生跨租户缓存泄露。Cloudflare 的复盘指出,155 条超长上下文回复混入其他用户的对话或代码,原因是超限请求被替换为 1 个 token 的占位符后仍进入跨节点传输,解码节点读取了未被覆盖的旧缓存。

推荐理由:Cloudflare 在泄露修复中加入传输数量校验与延迟显存回收,将跨节点异常退出时的数据覆盖和页面归属纳入安全检查。

读原文 ↗导出 Markdown