OpenAI API 自动缓存重复的提示词前缀，费用直接打五折

Prompt Caching in the API

OpenAI 给 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini 的 API 加上了自动提示词缓存。只要你的请求里有一段超过 1024 个 token 的前缀最近被用过，系统就会自动命中缓存，这部分输入 token 的价格直接减半。缓存从 1024 token 起步，按 128 token 的粒度往上加。不过这个缓存不是...

推荐理由：OpenAI 这次没发新模型，但给 API 加了自动提示缓存，复用前缀就能省一半输入费用。我会先打个折：缓存不是永久的，空闲 5-10 分钟就可能被清，最长活不过 1 小时，所以别把它当长期存储。真正有用的地方是 cached_tokens 这个返回字段，能直接看命中率，团队可以据此优化公共前缀设计。对跑长上下文、固定系统提示或大批量推理的团队，这是近期最直接的成本优化手段，值得马上测一下自己的复用率。