# OpenAI API 自动缓存重复的提示词前缀，费用直接打五折

> 原标题：Prompt Caching in the API

- 来源：OpenAI News
- 发布时间：2024-10-01T10:03:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/700
- 原文：https://openai.com/index/api-prompt-caching

## 摘要

OpenAI 给 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini 的 API 加上了自动提示词缓存。只要你的请求里有一段超过 1024 个 token 的前缀最近被用过，系统就会自动命中缓存，这部分输入 token 的价格直接减半。缓存从 1024 token 起步，按 128 token 的粒度往上加。

## 推荐理由

OpenAI 为 GPT-4o、o1 等模型的 API 加入自动提示词缓存，超过 1024 token 的重复前缀可让输入费用减半，长上下文与固定系统提示场景的成本结构随之改变。

## 锐评

自动缓存对跑固定 system prompt 的团队就是白捡一半输入费。1024 token 起步、128 的粒度，盯的就是长上下文、大批量推理那批调用，短 prompt 的小项目吃不到。

缓存空闲 5 到 10 分钟就可能被清，最长活不过 1 小时，当存储用会踩坑。返回里的 cached_tokens 能直接看命中率，命中低就改前缀结构，比换模型省钱快。
