OpenAI 拿了 66 亿美元新融资，估值推到 1570 亿美元
OpenAI 宣布完成 66 亿美元融资，投后估值 1570 亿美元。钱会花在前沿 AI 研究、增加算力和继续做产品工具上。现在 ChatGPT 每周有超过 2.5 亿人在用。正文没披露具体投资人名单、持股条款，也没说算力具体会扩到多大规模。
推荐理由：OpenAI 完成 66 亿美元融资，投后估值 1570 亿美元，资金投向前沿研究、算力和产品工具，ChatGPT 周活已超 2.5 亿。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 461–463 条 · 共 463 条2024年10月2日星期三
2024年10月1日星期二
OpenAI API 自动缓存重复的提示词前缀，费用直接打五折
OpenAI 给 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini 的 API 加上了自动提示词缓存。只要你的请求里有一段超过 1024 个 token 的前缀最近被用过，系统就会自动命中缓存，这部分输入 token 的价格直接减半。缓存从 1024 token 起步，按 128 token 的粒度往上加。
推荐理由：OpenAI 为 GPT-4o、o1 等模型的 API 加入自动提示词缓存，超过 1024 token 的重复前缀可让输入费用减半，长上下文与固定系统提示场景的成本结构随之改变。
2024年8月6日星期二
OpenAI 给 API 加了“结构化输出”，让模型按你给的 JSON 模板回话
OpenAI 在 2024 年 8 月 6 日上线了 Structured Outputs 功能，模型能严格按开发者提供的 JSON Schema 输出，不再只是生成合法 JSON 就完事。新模型 gpt-4o-2024-08-06 在复杂 schema 测试里拿了 100% 的准确率，而老模型 gpt-4-0613 不到 40%。
推荐理由：OpenAI 上线 Structured Outputs，让模型严格按开发者给的 JSON Schema 输出，新模型在复杂 schema 测试中准确率 100%，旧模型不到 40%。