# MemStitch：一个给 vLLM 用的零拷贝上下文桥接网关，多智能体场景下首 token 延迟最多降 25 倍

> 原标题：Show HN: MemStitch – Zero-copy context bridging for vLLM (25x TTFT speedup)

- 来源：Hacker News 首页
- 发布时间：2026-07-14T01:04:02.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/44134
- 原文：https://github.com/DaqulaLin/MemStitch

## 摘要

DaqulaLin 开源了 MemStitch，一个架在 vLLM 前面的网关。它利用 PagedAttention 直接在显存里拼接不同请求的 KV 缓存，让多智能体协作时不用反复做预填充，首 token 延迟最多能降 25 倍，显存占用也省了 40% 以上。不过正文没披露测试用的模型和 GPU 配置，25 倍这个数字先打个折看，等具体环境信息出来再说。

## 推荐理由

MemStitch 在 vLLM 显存层直接拼接不同请求的 KV 缓存，省去多智能体协作中的重复预填充，首 token 延迟最多降 25 倍、显存占用省四成以上。

## 锐评

25 倍这个数字我不信，没给模型和 GPU 配置的 benchmark 我当营销看。但机制是对的，多智能体协作最亏的就是每个 agent 把共享的 context 重新预填充一遍，token 白烧。MemStitch 直接在显存里拼 KV 缓存，绕开这层重复计算，方向比 prompt 层面那些拼接方案干净。显存省 40% 如果站得住，对跑多 agent 的团队就是实打实的成本下降。
