跳到正文

#产品更新

今日 0 条

2024年10月1日星期二

OpenAI News

OpenAI API 自动缓存重复的提示词前缀,费用直接打五折

OpenAI 给 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini 的 API 加上了自动提示词缓存。只要你的请求里有一段超过 1024 个 token 的前缀最近被用过,系统就会自动命中缓存,这部分输入 token 的价格直接减半。缓存从 1024 token 起步,按 128 token 的粒度往上加。不过这个缓存不是...

推荐理由:OpenAI 这次没发新模型,但给 API 加了自动提示缓存,复用前缀就能省一半输入费用。我会先打个折:缓存不是永久的,空闲 5-10 分钟就可能被清,最长活不过 1 小时,所以别把它当长期存储。真正有用的地方是 cached_tokens 这个返回字段,能直接看命中率,团队可以据此优化公共前缀设计。对跑长上下文、固定系统提示或大批量推理的团队,这是近期最直接的成本优化手段,值得马上测一下自己的复用率。

2024年9月26日星期四

OpenAI News

OpenAI 把内容审核接口升级成多模态了,现在能同时看文字和图片

OpenAI 在 9 月 26 日上线了新的审核模型 omni-moderation-latest,基于 GPT-4o,所有开发者都能免费用。它最大的变化是能审图片了,覆盖暴力、自残、色情这 6 个子类,不过色情类里涉及未成年人的图片暂时还审不了。文字审核新增了“违法”和“违法/暴力”两个类别,比如“怎么偷东西”这种教人干坏事的提示词会被抓出来。多语言...

推荐理由:OpenAI 官方开发者产品更新,HKR 里 K 和 R 都站得住:新模型加了风险类别、图像子类,还给出 40 种语言平均提升 42% 的具体数字,多语言审核能力明显增强。R 也成立,因为审核和合规直接卡应用上线的脖子,免费开放意味着团队可以零成本试用。H 偏弱,就是个功能迭代,没什么戏剧性,所以整体放在 featured 的低位。

2024年9月12日星期四

OpenAI News

OpenAI 推出 o1-mini,一个专攻数理和编程、成本比 o1-preview 低 80% 的推理模型

o1-mini 是 OpenAI 在 2024 年 9 月 12 日发布的小号推理模型,先开放给 Tier 5 API 用户和付费 ChatGPT 用户。它最大的卖点是便宜:API 调用成本只有 o1-preview 的两成。性能上,它专攻 STEM 推理,在 AIME 数学竞赛里拿到 70.0% 的正确率(约 11/15 题,全美前 500 名水平)...

推荐理由:OpenAI 发了一个实打实的模型,不是概念稿,所以必须写。钩子在于便宜 80% 还能接近 o1 的推理分,数字够硬(AIME 70.0%、Codeforces 1650),而且它明确告诉你:STEM 行,非 STEM 只跟小模型差不多,开发者看完就知道该不该切过去。

2024年8月20日星期二

OpenAI News

OpenAI 开放 GPT-4o 微调,训练费每百万 token 25 美元,9 月 23 日前每天送 100 万免费额度

OpenAI 把 GPT-4o 的微调权限开放给所有付费开发者了。训练价格是每百万 token 25 美元,用微调后的模型跑推理,输入每百万 token 3.75 美元,输出每百万 token 15 美元。到 9 月 23 日为止,每个组织每天能免费拿到 100 万训练 token。官方说,几十条样本就能让模型在特定任务上听话不少,比如调整回答风格、遵...

推荐理由:OpenAI 这次给 GPT-4o 开放微调,不是画饼,是直接上线了。我会先打个折:免费额度只到 9 月 23 号,每天 100 万 token,够你跑个小实验但别指望白嫖大项目。训练每百万 token 25 美元,推理输入 3.75、输出 15,价格不算低,但比从头训模型省事太多。真正值得盯的是两个外部团队的成绩——Cosine 在 SWE-bench Verified 上刷到 43.8%,Distyl 在 BIRD-SQL 上拿到 71.83%,说明微调后的 GPT-4o 在代码和 SQL 场景确实能打。正文没披露这两个微调具体用了多少数据、什...

2024年8月6日星期二

OpenAI News

OpenAI 给 API 加了“结构化输出”,让模型按你给的 JSON 模板回话

OpenAI 在 2024 年 8 月 6 日上线了 Structured Outputs 功能,模型能严格按开发者提供的 JSON Schema 输出,不再只是生成合法 JSON 就完事。新模型 gpt-4o-2024-08-06 在复杂 schema 测试里拿了 100% 的准确率,而老模型 gpt-4-0613 不到 40%。用法上,在函数调用里...

推荐理由:我会先打个折,这不是新模型发布或公司级大事件,但把 JSON 模式从“输出合法 JSON”升级到“严格匹配你的 schema”,并且给出 100% 对不到 40% 的评测对比,对天天跟解析错误搏斗的开发者来说太解渴了。约束解码加模型训练这套组合拳,比旧版 JSON mode 靠谱得多,直接拉高了工具调用的下限。84 分给的是一个高价值的 API 能力更新,不是行业地震,但够实用。

2024年7月25日星期四

OpenAI News

OpenAI 发布 SearchGPT 原型,把实时搜索塞进聊天框里

OpenAI 在 7 月 25 号开始小范围测试 SearchGPT,一个临时上线的 AI 搜索原型。它直接用对话形式返回带实时信息的答案,每条信息都附有内联的出处标注,侧边栏还会列出更多来源链接,方便你点进去核实。这个原型目前只开放给一小部分用户和出版商试用,目的是收集反馈。官方明确说这只是个过渡产品,未来会把好用的功能整合进 ChatGPT 里。正...

推荐理由:我会先打个折:正文没披露模型名、规模、商用时间,所以没法往 90 以上打。但 OpenAI 拿一个带实时网页回答和出版商参与的独立搜索原型出来测试,当天就该写。它用文内引用和侧边栏来源链接解决了一部分可信度问题,连续追问也让搜索更像对话,这些点从业者会关心。不过别太激动,它只是个临时原型,最终要融进 ChatGPT,现在更像 OpenAI 在试探搜索边界和出版商关系。

2024年7月23日星期二

Hugging Face 博客

Llama 3.1 发布:405B、70B、8B 三个尺寸,主打多语言和长上下文

Meta 在 Hugging Face 上放出了 Llama 3.1,一共三个尺寸:8B、70B 和 405B。8B 适合在消费级显卡上跑,70B 给大规模 AI 应用,405B 主要用来做合成数据、让模型当裁判或者蒸馏小模型。每个尺寸都有基础版和指令微调版。这次还多了两个安全模型:Prompt Guard 是个小分类器,用来检测提示注入和越狱攻击;L...

推荐理由:Meta 的 Llama 3.1 是开源阵营的旗舰更新,标题已经把三个参数规模和两个关键能力点出来了。我会先打个折:正文没披露上下文窗口到底多长、支持哪些语种、许可是不是真开放可商用,也没给任何基准跑分,所以信息缺口不小。真正值得盯的是 405B 能不能免费用、长上下文推理实际要烧多少钱。这些没公布之前,分数先卡在 85-94 这个区间的低位。

2024年7月18日星期四

OpenAI News

OpenAI 发布 GPT-4o mini,比 GPT-3.5 便宜六成,API 里首次用上指令层级防越狱

OpenAI 在 7 月 18 日推出了 GPT-4o mini,直接替换掉 ChatGPT 里的 GPT-3.5。价格是输入每百万 token 0.15 美元、输出 0.6 美元,比 GPT-3.5 Turbo 便宜了超过 60%。模型跑分还行,MMLU 82 分、HumanEval 87.2 分,都压过 Gemini Flash 和 Claude ...

推荐理由:这不是小修小补,GPT-4o mini 带着新定价、长上下文、明确的基准成绩和一套新的安全机制出来,直接替掉 GPT-3.5,对开发者的钱包和安全方案都有实际影响。HKR 三项全中,放在 P1 没问题。

OpenAI News

OpenAI 给企业版 ChatGPT 加了合规 API 和自动管人工具

OpenAI 在 2024 年 7 月 18 日推出了企业合规 API,让公司能导出带时间戳的对话、文件、GPT 配置、记忆和用户记录,主要给金融、医疗、法律这些强监管行业做审计和归档用。同时接入了 Forcepoint、Microsoft Purview、Netskope 等八家第三方合规厂商,方便做数据防泄漏和法务留存。用户管理方面,SCIM 自动...

推荐理由:OpenAI 给 ChatGPT Enterprise 加了合规 API、8 个第三方合规集成和 SCIM 用户管理,主要解决企业审计和账号管控的落地问题。我会先打个折:文章没展开“Expanded GPT controls”的具体细节,这部分只能先当占位。能确认的是,API 可以导出带时间戳的对话、文件、GPT 配置、记忆和用户记录,对接了 Okta、Microsoft Entra ID、Google Workspace 和 Ping,对需要过合规审计的团队来说,省了自己拼积木的功夫。

2024年5月13日星期一

OpenAI News

OpenAI 把 GPT-4o 和更多工具开放给免费用户了

OpenAI 宣布免费版 ChatGPT 也能用上最新的旗舰模型 GPT-4o,同时还会逐步解锁联网搜索、数据分析画图表、上传文件、聊照片、用 GPTs 商店和记忆功能。GPT-4o 在文字、语音和图片理解上都比前代更快,但免费用户有使用次数限制,用完了会自动切回 GPT-3.5。付费的 Plus 用户消息额度是免费用户的 5 倍,还能抢先体验新的实时...

推荐理由:这条消息分量很重,OpenAI 把 GPT-4o 塞进免费套餐,等于重新划了免费 AI 工具的天花板。我会先打个折,因为正文是空的,工具清单、配额、地区、上线节奏全都没披露,实际落地效果还得看后续细节。但光是这个信号就够从业者紧张一阵了,所以分数给到 90,没拉满是因为信息缺口太大。

2024年4月24日星期三

OpenAI News

GPT-4 API 全面开放,旧版补全模型半年后下线

OpenAI 宣布 GPT-4 API 向所有付费开发者开放,同时给旧版 Completions API 模型判了死缓:2024 年 1 月 4 日起,ada、babbage、curie、davinci 等老模型将彻底停用,用户需要迁移到新的替代模型上。官方推荐大家转向 Chat Completions API,说现在 97% 的 GPT API 用量...

推荐理由:这是一次有分量的 OpenAI 平台更新,HKR 的 K 和 R 都很扎实:GPT-4 API 全面开放叠加 Completions 旧模型弃用,对开发者是立刻要面对的事。没给 p1 是因为正文是空的,开放范围、截止日期、受影响模型名单全没披露,实际影响还得等细节。

2024年2月13日星期二

OpenAI News

ChatGPT 加上了记忆功能,能跨对话记住你的偏好,你也可以随时关掉或让它忘掉

OpenAI 给 ChatGPT 加了一个记忆功能,不再每次对话都像第一次见面。它会记住你主动告诉它的事,也会自己从聊天里抓取细节,比如你喜欢的会议纪要格式、你开的咖啡店、你家小孩喜欢水母。这些记忆会跨对话保留,用越多越懂你。控制权在你手里:可以在设置里关掉整个记忆,也可以直接对话让它忘掉某件事,或者用临时对话模式完全不记。正文提到免费和付费用户都在小...

推荐理由:OpenAI 官方发了个标题,说 ChatGPT 要有记忆和新控制项,但正文是空的。我会先打个折:记忆能让 ChatGPT 记住你的偏好和上下文,用久了会更顺手,这点挺抓人。可真正该盯的是控制机制——用户能不能随时关掉、能不能按会话或按话题设权限,这些全没披露。没有这些信息,标题里的“新控制项”还只是一句口号,产品影响暂时没法判断。

2023年9月25日星期一

OpenAI News

ChatGPT 现在能看、能听、能说话了

OpenAI 给 ChatGPT 加了语音和图片功能。语音部分,你对着手机说话它能回你,背后用了一个新的文字转语音模型,拿几秒真人录音就能合成很像人的声音,还接入了自家的 Whisper 做语音识别。图片部分,你可以拍照或截图发给它,让它看图说话,底层是 GPT-3.5 和 GPT-4 的多模态版本。这两个功能会先推给 Plus 和 Enterpris...

推荐理由:这是一次实打实的 OpenAI 产品更新:标题确认了视觉输入、语音输入和语音输出,所以 HKR 三项都踩中了。正文没给版本、推送范围、延迟和定价,我会先打个折,停在 88 分而不是拉满。别被标题骗了,真正要盯的是语音延迟、视觉理解边界和调用入口。