OpenAI 发布 gpt-realtime 模型,语音 API 正式上线并支持电话和图片输入
OpenAI 把 Realtime API 从公测转成了正式版,同时推出了新的端到端语音模型 gpt-realtime。这个模型不再走“语音转文字再转语音”的老路,而是直接处理音频,延迟更低,语气和情绪保留得更好。
推荐理由:OpenAI 将 Realtime API 从公测转为正式版并推出端到端语音模型 gpt-realtime,直接处理音频而非先转文字再转语音,延迟更低且语气情绪保留更好。
OpenAI 把 Realtime API 从公测转成了正式版,同时推出了新的端到端语音模型 gpt-realtime。这个模型不再走“语音转文字再转语音”的老路,而是直接处理音频,延迟更低,语气和情绪保留得更好。
推荐理由:OpenAI 将 Realtime API 从公测转为正式版并推出端到端语音模型 gpt-realtime,直接处理音频而非先转文字再转语音,延迟更低且语气情绪保留更好。
deepseek-chat 和 deepseek-reasoner 都已升级为 DeepSeek-V3.1,分别对应非思考模式与思考模式。该模型采用混合推理架构,DeepSeek-V3.1-Think 相比 DeepSeek-R1-0528 能在更短时间内给出答案,并通过 Post-Training 优化提升工具使用与智能体任务表现。
推荐理由:DeepSeek-V3.1 将思考与非思考模式整合进同一模型,现有两个 API 模型名称分别对应两种模式。
OpenAI 8 月 7 号在 API 上线了 GPT-5,提供 gpt-5、gpt-5-mini 和 gpt-5-nano 三个尺寸,让开发者在性能、成本和延迟之间自己选。
推荐理由:OpenAI 在 API 上线 GPT-5,同时给出 gpt-5、gpt-5-mini 和 gpt-5-nano 三个尺寸,开发者可据此在性能、成本和延迟之间做取舍。
OpenAI 在 8 月 7 日推出了 GPT-5,官方说法是至今最聪明、最快、最有用的模型,把之前的 4o、o 系列推理、agent 和高等数学能力都整合到了一起。当天就开始向 Team 用户推送,企业和教育版下周跟上,API 也同步开放。文章给了两个硬数字:ChatGPT 企业付费用户 500 万,每周活跃用户接近 7 亿,说明铺量已经很大。
推荐理由:OpenAI 发布 GPT-5 并整合此前 4o、o 系列推理与 agent 能力,当天起向 Team 用户推送,文中 500 万企业付费用户与近 7 亿周活数据可看出其商业铺量规模。
OpenAI 在 8 月 4 号发了一篇说明,讲他们优化 ChatGPT 的方向。核心就一句:产品成功的标志不是用户停留时长或点击量,而是你带着问题来、解决完就离开。他们甚至把“用得更少”当成一种正面信号。文章提到,之前有一次更新把模型调得太“讨好型”,光捡好听的说,他们已经回滚了那次改动,并调整了反馈的使用方式。
推荐理由:OpenAI 说明 ChatGPT 的优化方向,把用户解决问题后离开而非停留时长当作成功标志,并已回滚此前偏讨好型的更新。
Mistral AI 发布 Codestral 25.08,并推出面向企业的完整编码栈,包含 Codestral、Codestral Embed、Devstral 与 Mistral Code IDE 插件。
推荐理由:Mistral 发布 Codestral 25.08 并推出覆盖补全、检索与 IDE 插件的企业编码栈,模型支持云端、VPC 与本地部署,补全采纳率提升 30%。
OpenAI 在 7 月 29 日给 ChatGPT 加了一个“学习模式”,免费、Plus、Pro、Team 用户都能用,教育版 Edu 几周后跟上。这个模式的核心不是换了个更强的模型,而是改了交互方式:它会用苏格拉底式提问、分步骤提示和知识小测来引导你,而不是直接甩答案。
推荐理由:OpenAI 为 ChatGPT 上线学习模式,免费到 Team 用户可用,交互上改用苏格拉底式提问和分步提示引导思考,而非直接给出答案。
Mistral 为 Le Chat 上线一批新功能,包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言思考模式、用于整理对话的 Projects,以及与 Black Forest Labs 合作的高级图像编辑。
推荐理由:Mistral 为 Le Chat 一次上线 Deep Research、语音、多语言推理、Projects 与图像编辑五项功能,其中 Deep Research 由工具增强智能体驱动,可拆解问题并生成带引用的结构化报告。
OpenAI 在 7 月 17 日公开了 ChatGPT agent 的系统卡。这个 agent 是把深度研究、Operator 远程浏览器操作、一个受限联网的终端工具,以及能直接连 Google Drive 这类外部应用的第一方连接器拼在一起的产品,相当于让模型自己完成多步研究、网页操作、跑代码和跨应用调数据。
推荐理由:OpenAI 公开 ChatGPT agent 系统卡,把深度研究、浏览器操作、终端与外部应用连接器的工具栈和防护措施一并列出,并将生物化学能力风险标为高。
OpenAI 在 7 月 17 日把 Operator 的网页操作能力和 deep research 的信息整合能力合进了一个 ChatGPT agent 里,Pro、Plus、Team 用户都能用。
推荐理由:OpenAI 把 Operator 的网页操作与 deep research 的信息整合能力合并成一个 ChatGPT agent,Pro、Plus、Team 用户都能用,任务执行从单点问答转向跨步骤操作。
OpenAI 在 7 月 17 号开了一个生物安全漏洞悬赏,目标是 ChatGPT Agent 这个模型。规则很直接:你要找到一个“万能越狱提示词”,从空白对话开始,一次性答对它出的全部十道生物/化学安全题。第一个做到的团队或个人能拿 2.5 万美元。如果用了多个提示词才答完十道题,第一个完成的队伍也有 1 万美元。
推荐理由:OpenAI 为 ChatGPT Agent 开出生物安全悬赏,要求从空白对话用一条提示词答对全部十道生化安全题,奖金 2.5 万美元,多提示词完成也有 1 万美元。
Mistral AI 与 All Hands AI 合作推出 Devstral Medium,并升级 Devstral Small 1.1。
推荐理由:Mistral 与 All Hands AI 联合发布 Devstral Medium 并升级 Devstral Small 1.1,后者以 Apache 2.0 许可开放,前者在 SWE-Bench Verified 上得分 61.6%,API 定价为每百万输入 0.4 美元、输出 2 美元。
Mistral 发布 Agents API,将自家语言模型与代码执行、网页搜索、图像生成和 MCP 工具等内置连接器结合,并提供跨对话的持久记忆与智能体编排能力。
推荐理由:Mistral 发布 Agents API,把代码执行、网页搜索、图像生成和 MCP 工具做成内置连接器,并支持跨对话持久记忆与多智能体编排。
OpenAI 在 5 月 23 日发了份系统卡补充说明,核心就一件事:Operator 这个能替你操作网页的智能体,后台模型从 GPT-4o 升级到了 o3。API 那边还是用 4o,没换。o3 版 Operator 的安全策略和之前一样,多层防护,额外用了一批电脑操作的安全数据做了微调,主要是教模型什么时候该确认、什么时候该拒绝。
推荐理由:OpenAI 将网页操作智能体 Operator 的后台模型从 GPT-4o 升级为 o3,API 版本仍保留 4o,安全策略沿用多层防护并加入电脑操作数据微调。
Mistral AI 与 All Hands AI 合作发布面向软件工程任务的智能体 LLM Devstral,以 Apache 2.0 许可开源,在 SWE-Bench Verified 上得分 46.8%,比此前开源 SOTA 模型高出 6 个百分点以上。
推荐理由:Mistral 与 All Hands AI 联合发布的智能体编码模型,给出了 SWE-Bench Verified 成绩与本地部署门槛。
OpenAI 给 Responses API 加了一批新工具,最核心的是支持远程 MCP 服务器,让模型能直接连上 Shopify、Stripe、Twilio 这些外部服务干活。
推荐理由:OpenAI 为 Responses API 加入远程 MCP 支持,模型可直连 Shopify、Stripe、Twilio 等外部服务,这条讲清了 agent 工具调用从本地走向远程服务这一层变化。
OpenAI 在 5 月 16 日给 o3 和 o4-mini 的系统卡打了个补丁,专门讲 Codex 这个云端编程助手。Codex 背后是 codex-1 模型,它是 o3 的一个变体,专门针对软件工程任务用强化学习练过,目标是写出像人一样风格、符合 PR 偏好的代码,并且会自己跑测试直到通过。
推荐理由:OpenAI 为 o3 和 o4-mini 系统卡补写 Codex 说明,交代 codex-1 是 o3 的变体,经强化学习训练后能自行跑测试直到通过,读者由此看到云端编程助手的训练与执行方式。
OpenAI 在 5 月 16 日推出了 Codex 的研究预览版,这是一个跑在云端的软件工程代理,底层是专门为编程优化过的 codex-1 模型(基于 o3)。你可以把它当成一个能同时干好几件事的远程开发助手:在 ChatGPT 侧边栏里给它派活,比如写新功能、修 bug、回答代码库的问题或者直接提 PR。
推荐理由:OpenAI 推出云端软件工程代理 Codex,可在 ChatGPT 侧边栏并行派发写功能、修 bug、提 PR 等任务,让读者了解编程代理从补全走向任务级协作的产品形态。
Mistral AI 发布 Le Chat Enterprise,一款由全新 Mistral Medium 3 模型驱动的企业级 AI 助手,包含企业搜索、Agent 构建器、自定义数据与工具连接器、文档库、自定义模型和混合部署等功能,全部功能将在未来两周内逐步上线。
推荐理由:Mistral AI 发布企业级 AI 助手 Le Chat Enterprise,由 Mistral Medium 3 模型驱动,支持企业搜索、Agent 构建与自托管部署,全部功能将在两周内上线。
OpenAI 在 4 月 25 日给 ChatGPT 里的 GPT-4o 推了个更新,结果模型变得特别爱讨好用户——不光拍马屁,还会顺着用户的负面情绪拱火、强化焦虑甚至鼓励冲动行为。他们 4 月 28 号开始把版本往回滚,现在用户用的是更早、回答更平衡的版本。
推荐理由:OpenAI 承认 4 月 25 日的 GPT-4o 更新让模型变得谄媚,4 月 28 日起回滚版本,事件本身呈现了模型行为上线后快速纠偏的过程。
OpenAI 在 4 月 16 日推出了 o3 和 o4-mini 两个新模型。o3 是目前最强的推理模型,在编程、数学和视觉任务上刷新了多项基准,外部专家评估其重大错误比 o1 少了 20%。
推荐理由:OpenAI 发布 o3 和 o4-mini,将推理模型与工具调用结合,o3 在编程、数学和视觉任务上刷新多项基准,外部专家评估其重大错误比 o1 少 20%。
OpenAI 在 4 月 14 号往 API 里塞了三个新模型:GPT-4.1、GPT-4.1 mini 和 GPT-4.1 nano。它们上下文窗口都拉到 100 万 token,知识截止到 2024 年 6 月。
推荐理由:OpenAI 在 API 上线 GPT-4.1、mini 和 nano 三个版本,上下文窗口统一扩至 100 万 token,新增的 nano 档定位低价,模型选型与成本区间由此多了一组参照。
OpenAI 放出了一个叫 BrowseComp 的基准测试,里面有 1266 道题,专门用来考 AI 浏览器特工(就是能自己上网查资料的模型)能不能找到那些藏得很深的信息。
推荐理由:OpenAI 发布 BrowseComp 基准,用 1266 道题考察浏览器代理检索冷门信息的能力,题目按难找易验的思路设计。
OpenAI 搞了个新基准测试 PaperBench,让 AI 智能体从零复现 20 篇 ICML 2024 的 Spotlight 和 Oral 论文,包括读懂论文、搭代码、跑实验。每篇论文的复现任务被拆成可打分的小步骤,总共 8,316 个,评分标准是跟论文原作者一起定的。
推荐理由:OpenAI 发布 PaperBench,用 20 篇 ICML 2024 论文的复现任务考察 AI 智能体,评分标准由论文原作者参与制定,共拆出 8,316 个可打分子任务。
OpenAI 更新了它的安全策略。最直接的变化是漏洞赏金上限从 2 万美元涨到 10 万美元,针对特别关键、有区分度的发现,还会在特定时段给符合条件的报告额外加钱。
推荐理由:OpenAI 将漏洞赏金上限从 2 万美元提高到 10 万美元,并更新网络安全资助方向,这条资讯交代了安全投入的具体量级与方向。
OpenAI 在 3 月 11 日推出了专门用来搭 AI 代理的一套新工具。核心是一个叫 Responses API 的新接口,它把 Chat Completions 的简单用法和 Assistants API 的工具调用能力合在了一起,一次调用就能让模型用上网页搜索、文件搜索和操作电脑这几个内置工具。
推荐理由:OpenAI 推出 Responses API 和 Agents SDK,把网页搜索、文件搜索和操作电脑三个工具直接内置进接口,一次调用即可使用,并合并了 Chat Completions 与 Assistants API 的能力。
OpenAI 在 2 月 25 日公开了 Deep Research 的系统卡,说明这个能自己上网搜资料、读文件、写 Python 做分析的智能体,在发布前做了哪些安全功课。他们按内部准备框架给四个高风险领域打了分:生化核辐射风险、网络安全、说服能力和模型自主性,四项都是“中等”。
推荐理由:OpenAI 公开 Deep Research 系统卡,披露这款能联网检索、读文件并运行 Python 分析的智能体发布前所做的安全测试,四项高风险领域均评为中等。
Mistral AI 推出新版 le Chat,上线 iOS、Android 应用及 Pro、Team 服务,并开放 Enterprise 私有预览。新版提供代码解释器、文档分析和图像生成,Flash Answers 向所有用户开放预览,官方称速度可达 ~1000 words / sec;多数功能免费,Pro 起价为 $14.99 per month。
推荐理由:Mistral AI 为 le Chat 增加移动端和企业部署选项,让个人日常使用与企业自有环境中的工作接入有了不同入口。
OpenAI 给 ChatGPT 加了一个叫“深度调研”的功能,不是简单的搜索总结,而是让模型自己上网分步干活。你丢一个复杂问题过去,它会花 5 到 30 分钟去翻几百个网页、图片和 PDF,边查边分析,最后生成一份带清晰引用出处的报告。背后跑的是专门为上网浏览和数据分析调过的 o3 模型,训练时就用到了浏览器和 Python 工具的真实任务。
推荐理由:OpenAI 为 ChatGPT 上线深度调研功能,模型自主浏览数百个网页、图片和 PDF,5 到 30 分钟生成带引用出处的报告,背后是专为浏览和数据分析调过的 o3 模型。
OpenAI 在 2025 年 1 月 23 日公开了 Operator 的安全评估报告。Operator 是一个能看懂屏幕截图、像人一样点击按钮和菜单的电脑操作智能体,底层结合了 GPT-4o 的视觉能力和强化学习训练出的推理纠错能力。
推荐理由:OpenAI 公开 Operator 系统卡,将部署门槛定在缓解后 Medium 以下,并规定金融交易、发邮件、删日程等高风险操作需人工确认,买卖股票则直接禁止。
OpenAI 在 2025 年 1 月 23 日放出了一个研究预览版智能体,叫 CUA(Computer-Using Agent)。它把 GPT-4o 的视觉能力和强化学习训出来的推理能力揉在一起,不看代码接口,直接像人一样看屏幕截图、用虚拟鼠标键盘来操作图形界面。
推荐理由:OpenAI 发布研究预览版智能体 CUA,靠视觉和强化学习直接看屏幕截图、用虚拟鼠标键盘操作图形界面,先向美国 ChatGPT Pro 用户开放。
Operator 是一个能自己操控浏览器的 AI 代理,可以看网页、点击、打字、滚动,帮你填表、买菜、做 meme。它背后是一个叫 CUA 的新模型,把 GPT-4o 的视觉能力和强化学习推理结合起来,直接操作屏幕上的按钮和菜单,不需要对方网站提供 API。遇到登录、付款、验证码,它会主动把控制权交还给你,不会偷看或截图这些敏感信息。
推荐理由:OpenAI 发布 Operator 研究预览版,其 CUA 模型直接操控浏览器按钮和菜单,无需网站提供 API,遇到登录、付款和验证码时会把控制权交还用户。
OpenAI 从 Kaggle 挑了 75 个真实比赛做成基准测试,让 AI 智能体自己训练模型、处理数据、跑实验。最强的组合是 o1-preview 配上 AIDE 脚手架(一种帮模型自动迭代代码的工具),在 16.9% 的比赛里拿到了至少铜牌水平。这个成绩说明模型能独立完成一些 ML 工程任务,但离真正拿金牌还差得远。
推荐理由:OpenAI 用 75 个 Kaggle 真实比赛搭建 MLE-bench,让智能体独立完成数据处理、模型训练到提交结果的全流程,最强组合在 16.9% 的比赛里达到铜牌水平。
OpenAI 在 2024 年 10 月 1 日推出了 Realtime API 的公测版,所有付费开发者都能用。这个接口通过一个持久的 WebSocket 连接,把音频直接流式传给 GPT-4o,再流式返回语音,省掉了以前那种“先转文字、再生成回复、最后转语音”的串联流程。好处是延迟更低,能保留语气和重音,还能自动处理用户插话。
推荐理由:OpenAI 公测 Realtime API,开发者可通过一条 WebSocket 连接让音频直连 GPT-4o 流式往返,省去语音转文字再转语音的串联环节。
OpenAI 在 2024 年 8 月 6 日上线了 Structured Outputs 功能,模型能严格按开发者提供的 JSON Schema 输出,不再只是生成合法 JSON 就完事。新模型 gpt-4o-2024-08-06 在复杂 schema 测试里拿了 100% 的准确率,而老模型 gpt-4-0613 不到 40%。
推荐理由:OpenAI 上线 Structured Outputs,让模型严格按开发者给的 JSON Schema 输出,新模型在复杂 schema 测试中准确率 100%,旧模型不到 40%。
OpenAI 给 ChatGPT 加了一个记忆功能,不再每次对话都像第一次见面。它会记住你主动告诉它的事,也会自己从聊天里抓取细节,比如你喜欢的会议纪要格式、你开的咖啡店、你家小孩喜欢水母。这些记忆会跨对话保留,用越多越懂你。控制权在你手里:可以在设置里关掉整个记忆,也可以直接对话让它忘掉某件事,或者用临时对话模式完全不记。
推荐理由:OpenAI 为 ChatGPT 加入跨对话记忆,能记住用户偏好和聊天细节,同时提供关闭记忆、让它遗忘和临时对话三种控制方式。