跳到正文
热点事件历史事件

OpenAI 为 GPT-6 增加提示词缓存诊断工具和手动控制功能

1 篇报道1 个报道来源7 天前更新

先了解这件事

报道摘要

GPT-6 的提示词缓存现在默认命中率更高,只要 30 分钟内复用相同的前缀内容就能拿到折扣。新上线的仪表盘可以看缓存的命中率走势,诊断工具能告诉你哪次没命中是因为工具定义变了、具体浪费了多少 token(比如一次 tools_changed 就丢了 5,629 个 token)。开发者现在可以手动设缓存断点、在不破坏缓存的前提下调整推理强度,还能提前...

摘自 AI HOT 精选

报道时间线

沿着报道,了解事件的不同侧面。

9月23日
  1. AI HOT 精选精选
    OpenAI 给 GPT-6 的提示词缓存加了命中率仪表盘和诊断工具,默认就能省更多钱

    GPT-6 的提示词缓存现在默认命中率更高,只要 30 分钟内复用相同的前缀内容就能拿到折扣。新上线的仪表盘可以看缓存的命中率走势,诊断工具能告诉你哪次没命中是因为工具定义变了、具体浪费了多少 token(比如一次 tools_changed 就丢了 5,629 个 token)。开发者现在可以手动设缓存断点、在不破坏缓存的前提下调整推理强度,还能提前...