Claude API 提示预缓存:先预热系统提示,再让真实请求直接命中缓存,首 token 生成更快
API提示预缓存加速首令牌生成
一个减少长提示首 token 延迟的实用技巧。在用户请求到达前,先单独发一次系统提示给 Claude,让它把提示写进缓存,但跳过输出。等真实请求进来时,缓存已经热好,直接命中,省掉重复处理长提示的时间。正文没披露具体提速多少,但思路很直接,适合系统提示固定、用户提示多变的场景。
推荐理由:Claude API 支持在真实请求到达前先单独发送系统提示写入缓存并跳过输出,让后续请求直接命中缓存,减少长提示的首 token 延迟。