热点事件历史事件
OpenAI 为 GPT-6 增加提示词缓存诊断工具和手动控制功能
1 篇报道1 个报道来源7 天前更新
先了解这件事
报道摘要
GPT-6 的提示词缓存现在默认命中率更高,只要 30 分钟内复用相同的前缀内容就能拿到折扣。新上线的仪表盘可以看缓存的命中率走势,诊断工具能告诉你哪次没命中是因为工具定义变了、具体浪费了多少 token(比如一次 tools_changed 就丢了 5,629 个 token)。开发者现在可以手动设缓存断点、在不破坏缓存的前提下调整推理强度,还能提前...
摘自 AI HOT 精选
报道时间线
沿着报道,了解事件的不同侧面。
9月23日
- AI HOT 精选精选OpenAI 给 GPT-6 的提示词缓存加了命中率仪表盘和诊断工具,默认就能省更多钱
GPT-6 的提示词缓存现在默认命中率更高,只要 30 分钟内复用相同的前缀内容就能拿到折扣。新上线的仪表盘可以看缓存的命中率走势,诊断工具能告诉你哪次没命中是因为工具定义变了、具体浪费了多少 token(比如一次 tools_changed 就丢了 5,629 个 token)。开发者现在可以手动设缓存断点、在不破坏缓存的前提下调整推理强度,还能提前...