OpenAI API 自动缓存重复的提示词前缀,费用直接打五折
OpenAI 给 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini 的 API 加上了自动提示词缓存。只要你的请求里有一段超过 1024 个 token 的前缀最近被用过,系统就会自动命中缓存,这部分输入 token 的价格直接减半。缓存从 1024 token 起步,按 128 token 的粒度往上加。
推荐理由:OpenAI 为 GPT-4o、o1 等模型的 API 加入自动提示词缓存,超过 1024 token 的重复前缀可让输入费用减半,长上下文与固定系统提示场景的成本结构随之改变。