#语音

今日 0 条

9月25日星期五

Google DeepMind9/25 00:20

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在原生实时对话模型上加入近实时视频生成，实现带唇形同步、自然表情和流畅轮次切换的动态视觉形象。

推荐理由：原文给出 Live Avatar 的实时视频对话能力、异步工具调用与 97 语言支持，可据此判断企业级多模态交互的落地形态。

6月9日星期二

Google DeepMind6/9 23:16

Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型

Google DeepMind 发布 Gemini 3.5 Live Translate，一款支持 70 多种语言的近实时语音到语音翻译音频模型，可自动检测语言并保留说话人的语调、节奏和音高。

推荐理由：原文给出模型的语言覆盖、实时翻译机制与多产品上线节奏，可据此判断语音翻译的可用边界。

5月7日星期四

OpenAI News5/7 18:00

OpenAI 在 API 里上线了三款实时语音模型，能边听边推理、翻译和转写

OpenAI 这次发了三个新模型：GPT‑Realtime‑2 是带 GPT‑5 级推理能力的语音模型，能处理更复杂的请求，说话中间可以插话、改主意，它还能边想边回一句“我查一下”，同时调用多个工具；GPT‑Realtime‑Translate 做实时翻译，支持 70 多种输入语言转 13 种输出语言，语速跟得上说话人；GPT‑Realtime‑Whi...

推荐理由：OpenAI 官方放出了语音 API 更新，方向明确但信息不全。能推理、翻译、转写，听着挺全，可没给价格、没给延迟、没给上下文限制，我会先打个折。如果是真的省钱又低延迟，那对语音应用开发者是直接利好；现在只能说方向对了，落地还得等更多参数。

锐评

OpenAI 这次把 GPT-5 级别的推理塞进了语音模型 GPT-Realtime-2，让它能边听边想、中途插话、同时调用多个工具，不再是简单的“你问我答”。另外两个模型分别做实时翻译和流式转写：翻译支持 70 多种输入语言转 13 种输出语言，号称能跟上说话人的语速；转写模型则是在说话过程中同步出文字。

从场景看，这三个模型瞄准的是让语音从“对话”变成“干活”——比如 Zillow 用它直接搜房、约看房时间，或者旅行 App 主动播报延误和换乘路线。但整篇公告没提最关键的东西：每分钟多少钱、能扛多少并发、端到端延迟到底多少毫秒。这些数字直接决定开发者能不能用在客服或实时会议里。另外，翻译只支持 13 种输出语言，覆盖面有限，多语种互译场景还缺一块。

整体方向是对的，但没报价没压测的发布，更像技术预告而非可投产的 API。

4月30日星期四

Google DeepMind4/30 20:14

Google DeepMind 发布 AI co-clinician 医疗研究计划

Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中，该系统 97 例无关键错误，医生更偏好其回答而非主流证据综合工具；在 140 项问诊技能评估中，它在 68 项达到或超过初级保健医生水平，但专家医生在识别危险信号和关键体格检查上整体仍更优。

推荐理由：Google DeepMind 公开 AI co-clinician 研究计划与多模态问诊评测，可了解医疗智能体当前能力边界。

4月16日星期四

Google DeepMind4/16 00:03

Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

Google DeepMind 发布 Gemini 3.1 Flash TTS，一款主打可控性与表现力的文本转语音模型，已在 Gemini API、Google AI Studio、Vertex AI 和 Google Vids 中开放预览。

推荐理由：原文给出新语音模型的音频标签控制方式、Elo 分数与多平台开放入口，可据此判断语音生成的可控性变化。

4月3日星期五

X · @OpenAI4/3 00:56

ChatGPT 上车了，现在能在 CarPlay 里用语音模式

OpenAI 把 ChatGPT 的语音模式搬进了 CarPlay，iPhone 用户升级到 iOS 26.4 以上就能在车里用。正文没提支持哪些国家、哪些车型，也没说功能有没有阉割，比如能不能连续对话、能不能读长文章。这次动作的重点是把对话入口塞进驾驶界面，不是发了新模型。

推荐理由：这次更新更像是一次分发渠道的扩展，而不是模型本身有什么变化。ChatGPT 出现在 CarPlay 里，意味着它开始抢占车载语音交互的位置，这点比功能细节更值得关注。不过正文没披露地区、车型和功能限制，实际落地范围还得再观察，先别太激动。

3月24日星期二

Mistral AI3/24 00:00

Mistral AI 发布 4B 参数语音合成模型 Voxtral TTS

Mistral AI 发布首个文本转语音模型 Voxtral TTS，4B 参数，支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言，具备情感表达与零样本跨语言音色适配能力。

推荐理由：原文给出 4B 参数、9 种语言、70ms 延迟与定价，读者可据此判断企业语音智能体的成本与选型空间。

2月5日星期四

Mistral AI2/5 00:00

Mistral 发布 Voxtral Transcribe 2 语音转写模型家族

Mistral 发布 Voxtral Transcribe 2，包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文字模型。

推荐理由：原文给出两款语音转写模型的延迟、价格与开源许可，可据此判断实时语音应用的选型空间。

2025年9月30日星期二

OpenAI News9/30 08:00

OpenAI 发布 Sora 2 系统卡，视频生成模型能同时出画面和声音了

OpenAI 在 9 月 30 日公布了 Sora 2 的系统卡，说这个新模型在物理规律、画面真实度、音画同步和风格控制上都比上一代强，能更准地跟着用户的指令走。这次发布先走邀请制，在 sora.com 和独立的 iOS App 上小范围开放。安全方面，上线初期禁止上传视频，也禁止上传带真人照片的图片，对涉及未成年人的内容有更严的审核门槛。正文没提 A...

推荐理由：这条落在 78–84 分档。H 来自 Sora 2 加独立 App 的钩子；K 来自明确的上线限制和安全规则；R 来自竞争和肖像滥用风险。没给更高分是因为价格、评测分数、上下文长度和 API 时间点正文全都没披露，我会先打个折。

锐评

OpenAI 这次放出的 Sora 2 系统卡，更像一份安全说明书，而不是性能评测。它承认新模型在物理规律、画面真实度、音画同步和风格控制上比上一代强，但正文没披露任何基准测试的量化对比，所以“强多少”完全不清楚。我会先打个折：没跑分就喊“最先进”，听听就好。

安全限制倒是写得比较实。上线初期禁止上传视频，也禁止上传带真人照片的图片，对未成年内容审核更严。这说明 OpenAI 自己也知道，视频生成一旦能用人脸和真实片段，滥用风险会跳升。他们用内部红队做了对抗测试，但没提外部独立审计，这点先别太激动。

目前只走邀请制，在 sora.com 和独立 iOS App 上小范围开放，API 时间表和定价都没说。如果你在评估落地成本或延迟，这篇系统卡给不了任何答案。还缺第三方 benchmark、生成延迟数据和具体的安全失败率统计。

OpenAI News9/30 08:00

OpenAI 发布 Sora 2，能生成带同步对白和音效的视频，还做了一个社交 App

OpenAI 在 9 月 30 日发布了视频生成模型 Sora 2，同时上线了一个叫 Sora 的 iOS 社交 App。Sora 2 比上一代更遵守物理规律，比如投篮不进会弹框而不是球直接瞬移进筐，也能生成同步的人物对白和环境音效。App 里有个“角色”功能，你录一段视频和音频验证身份后，就能把自己的形象和声音放进任何生成的场景里。OpenAI 说这...

推荐理由：我会先打个折，因为价格和时长这些关键限制都没披露，没法判断实际可用性。但这条消息值得立刻写：OpenAI 在同一天发了 Sora 2 模型和独立的 Sora App，产品形态直接从技术演示跳到了带推荐流的社交应用。模型能同步出视频、对白和音效，还有个“characters”功能，用一次性录像验明正身再把真人形象注入视频——这点先别太激动，正文没讲清楚隐私和滥用防护细节。真正该盯的是分发方式变了，OpenAI 开始用消费级产品逻辑铺视频生成，而不是只给开发者或研究者玩。

锐评

OpenAI 把 Sora 2 做成了一个带社交功能的 iOS App，核心卖点是“角色”功能：你录一段视频和声音验证身份后，就能把自己的形象放进任何生成的场景里。这比单纯秀模型参数更直接，等于把视频生成从 demo 变成了一个能玩的消费品。技术上，Sora 2 在物理模拟上进步明显，比如能正确表现浮力、弹跳和物体刚性，不再是“为了完成指令而扭曲现实”。OpenAI 自己把它比作视频生成的 GPT-3.5 时刻，这个说法可以参考，但别全信——模型依然会犯错，只是错得更像“物理世界里的失误”而非画面穿帮。

目前最大的信息缺口是商业条件：正文完全没提订阅价格、免费额度、生成排队时长，也没说哪些地区能用。App 里加了青少年限制和家长控制，说明他们对内容安全和沉迷问题有预案，但实际执行效果未知。另外，社交 feed 的推荐算法会不会变成又一个刷不停的时间黑洞，这点也没展开。整体看，产品思路比上一代清晰，但值不值得用，得等价格和实际体验出来再判断。

2025年8月28日星期四

OpenAI News8/28 18:00

OpenAI 发布 gpt-realtime 模型，语音 API 正式上线并支持电话和图片输入

OpenAI 把 Realtime API 从公测转成了正式版，同时推出了新的端到端语音模型 gpt-realtime。这个模型不再走“语音转文字再转语音”的老路，而是直接处理音频，延迟更低，语气和情绪保留得更好。新模型在听懂复杂指令和调用工具上进步明显：Big Bench Audio 推理得分从去年 12 月版的 65.6% 提到了 82.8%，Mu...

推荐理由：这不是小修小补，是 OpenAI 把语音模型、工具链和电话接口一次补齐的版本。gpt-realtime 的基准分涨了十几到二十个百分点，虽然 MultiChallenge 的 30.5% 说明复杂场景还吃力，但配合 MCP 远程服务器和 SIP 通话，语音代理终于能跑通完整业务闭环了。我会先打个折——正文没给延迟和并发数据，实际部署成本还得自己测，但方向是对的，所以给到 p1。

锐评

OpenAI 这次发布的 gpt-realtime 模型，核心变化是不再把你说的话先转成文字、生成回复再念出来，而是直接处理音频。好处是反应快，能保留笑声、语气这些非语言信息，听起来更像人在聊天。官方给了两个基准分：Big Bench Audio 推理从去年底的 65.6% 提到了 82.8%，另一个 MultiChallenge 从 20.6% 提到了 30.5%。分数涨了不少，但要注意这些都是内部评测，没有第三方验证，而且 30.5% 这个绝对分数说明在复杂音频任务上离“好用”还有距离。

这次 API 正式版还加了三个实用功能：支持远程 MCP 服务器（让模型能连外部工具干活）、能看懂图片、以及通过 SIP 协议直接接打电话。这意味着开发者可以把语音助手直接塞进客服系统或业务流程里，不用再自己拼装一堆组件。Zillow 的 AI 负责人说新模型能处理多步骤请求，比如按生活方式筛房源，听起来挺美好，但正文没披露实际部署后的延迟数据和用户留存率，也没提在嘈杂环境下的表现。

价格和可用性部分正文没展开，只提了会单独定价。如果你打算用在生产环境，建议先拿自己的场景测一下工具调用准确率和打断恢复能力，别只看基准分就上头。

2025年7月17日星期四

Mistral AI7/17 20:00

Mistral 为 Le Chat 推出 Deep Research、语音模式等新功能

Mistral 为 Le Chat 上线一批新功能，包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言思考模式、用于整理对话的 Projects，以及与 Black Forest Labs 合作的高级图像编辑。

推荐理由：Mistral 官方一次性公布 Le Chat 五项新功能，读者可据此了解其研究、语音与图像编辑能力的组合方式。

2025年7月15日星期二

Mistral AI7/15 20:00

Mistral 发布 Voxtral 语音理解模型，24B 与 3B 双版本开源

Mistral 发布 Voxtral 语音理解模型，提供 24B 和 3B 两个版本，均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文，可处理最长 30 分钟转写或 40 分钟理解，具备内置问答与摘要、多语言识别和语音函数调用能力，并保留 Mistral Small 3.1 的文本能力。

推荐理由：Mistral 开源两款语音理解模型，给出 32k 上下文、函数调用等能力与低于同类 API 一半的定价，便于评估语音方案选型。

2025年3月21日星期五

OpenAI News3/21 18:00

OpenAI 和 MIT 合作研究：跟 ChatGPT 聊感情的人很少，但重度语音用户里有一小撮人把它当朋友

OpenAI 和 MIT 媒体实验室联手做了两项研究，想搞清楚人跟 ChatGPT 聊感情会不会影响心理健康。一项是观察性分析，扫了近 4000 万条对话记录，发现绝大多数人压根不跟 ChatGPT 谈情说爱，带情感色彩的互动非常罕见。另一项是持续四周的随机对照试验，找了近 1000 名参与者。结果显示，即便在重度用户里，高频率的情感交流也只集中在极少...

推荐理由：OpenAI 和 MIT 用两项研究摸 ChatGPT 的情感使用底牌，一项分析近 4000 万次交互，另一项让近 1000 人连续 4 周参与随机对照试验。正文确认情感性互动在平台上属少数场景，但真正危险的是分层看：平均值会淹没小样本高情感依赖用户，这点先别太激动，等完整量化结果出来再下判断。

锐评

OpenAI 和 MIT 媒体实验室合作，想搞清楚跟 ChatGPT 聊感情到底会不会影响心理健康。他们做了两件事：一是偷偷扫了近 4000 万条对话记录（说是为了保护隐私没让人看），发现带情感色彩的互动非常罕见，绝大多数人就是拿它当工具用。二是找了近 1000 人做了四周的随机对照试验，结果显示，即便在重度用户里，高频的情感交流也只集中在极少数开了高级语音模式的人身上。

这个结论挺有意思，它把“AI 让人孤独”的恐慌往回拉了拉，指出问题不在平台平均值，而在特定小群体。但正文没披露具体的心理健康量化结果，比如那部分重度用户的孤独感或依赖程度到底变了多少，只说“模型和用户行为都会影响结果”。这点先别太激动，等他们把 RCT 的完整数据放出来再说。研究本身是开了个头，但信息缺口还很大，尤其是不同性格、不同使用方式的人长期会怎样，现在完全不知道。

2025年3月20日星期四

OpenAI News3/20 19:00

OpenAI 发了三款新语音模型：两个听写，一个会学语气说话

OpenAI 在 3 月 20 日往 API 里塞了三个新音频模型：gpt-4o-transcribe 和 gpt-4o-mini-transcribe 负责把语音转成文字，gpt-4o-mini-tts 负责把文字念出来。听写模型在 FLEURS 等多语言基准上跑分比 Whisper v2、v3 都低，低的是词错率，说明在口音重、环境吵、语速快的时候...

推荐理由：OpenAI 在 API 里发了三个音频模型，给了具体的基准和机制细节，所以 HKR 三项都过了，featured 没问题。分数我维持 84，没往上加，因为正文没披露价格、延迟，基准对比也只给了 FLEURS 一个点，信息还不够全。

锐评

这次更新核心就两件事：一是把语音转文字（STT）的准确率拉上去了，二是让文字转语音（TTS）能听懂人设指令，比如“用同情的客服语气说话”。

STT 这边，gpt-4o-transcribe 和 mini 版在 FLEURS 等多语言基准上，词错率（WER）比 Whisper v2、v3 都低。WER 越低越好，说明在口音重、环境吵、语速快的场景下，转录更靠谱。技术底子靠的是强化学习和大规模多风格音频数据的“中期训练”，不是简单微调。但正文没给具体 WER 数值，只放了对比图，也没提不同语言间的表现差异有多大。

TTS 这边，gpt-4o-mini-tts 首次允许开发者用文字描述想要的说话风格，不再只能选固定音色。这是个实用进步，能让客服、有声书等场景的语音更自然。不过，正文明确说目前只开放“受监控的预设合成声音”，意味着风格可控，但音色库还是锁死的，不能克隆真人声音。

最大的信息缺口是成本和延迟。API 已经可用，但整篇文章没提每分钟转录或合成多少钱，也没说端到端延迟能压到多少毫秒。对做实时语音 agent 的人来说，这两项比准确率更致命。另外，这些模型目前只在 API 里，没进 ChatGPT 产品端，所以普通用户还用不上。

2024年10月1日星期二

OpenAI News10/1 18:05

OpenAI 发布 Realtime API 公测版，让开发者直接调用 GPT-4o 做低延迟语音对话

OpenAI 在 2024 年 10 月 1 日推出了 Realtime API 的公测版，所有付费开发者都能用。这个接口通过一个持久的 WebSocket 连接，把音频直接流式传给 GPT-4o，再流式返回语音，省掉了以前那种“先转文字、再生成回复、最后转语音”的串联流程。好处是延迟更低，能保留语气和重音，还能自动处理用户插话。API 支持函数调用，...

推荐理由：OpenAI 把语音交互从多模型拼接改成一条 WebSocket 直连 GPT-4o，延迟和打断处理都内建了，还给了函数调用和明确定价。对做实时语音 agent 的开发者来说，这是可以直接动手试的东西，不是概念稿。我会先打个折：公测阶段稳定性、实际延迟和成本还没大规模验证，但信息量和可操作性已经足够当天写。

锐评

这条更新对做语音产品的开发者来说，是把之前要拼三个模型（语音识别、文本生成、语音合成）的活，简化成调一个接口。好处是延迟更低，能保留语气和重音，还能自动处理用户插话，这些在以前的串联方案里很难做好。

价格方面，文本输入每百万 token 收 5 美元，音频输入每百万 token 收 100 美元，差距有 20 倍。如果你做的不是必须实时对话的场景，OpenAI 自己也说可以用 Chat Completions API 的音频模式，成本会低很多。另外，正文提到后续会出缓存定价，文本能降到 2.5 美元，音频降到 20 美元，但具体什么时候上线没说。

目前缺的信息是：这个 API 在不同语言、带口音或嘈杂环境下的表现怎么样，以及大规模商用时的并发限制和实际延迟数据。这些对判断它能不能直接上生产环境很关键。

2024年8月8日星期四

OpenAI News8/8 08:00

GPT-4o 系统卡：语音响应快过人类，但声音安全是最大隐患

OpenAI 在 8 月 8 号发了 GPT-4o 的系统卡，把安全底牌摊开来看。这个模型能直接吃文本、音频、图片和视频，输出也一样，最快 232 毫秒就能回话，平均 320 毫秒，跟人聊天反应速度差不多。API 价格比 GPT-4 Turbo 便宜一半。在 OpenAI 自己的安全框架里，网络安全、生物威胁、模型自主性三项风险都是低，说服力这项擦边踩...

推荐理由：这不是一篇例行公事的发布。它把 preparedness 四类风险评级、232 毫秒语音延迟和明确的部署门槛都摆出来了。HKR 三项全中，但本质是安全披露而非新模型或重大产品发布，所以放在 featured 而不是 p1。

锐评

OpenAI 这次把 GPT-4o 的安全测试结果摊开来讲，最值得关注的是语音能力带来的新风险。模型能直接吃文本、音频、图片和视频，回话最快 232 毫秒，平均 320 毫秒，确实跟人聊天反应速度差不多。API 价格比 GPT-4 Turbo 便宜一半，这点挺省钱。

在 OpenAI 自己的安全框架里，网络安全、生物威胁、模型自主性三项风险都是低，但说服力这项擦边踩到了中风险线。他们定了个硬规矩：只有缓解后风险在中或以下的模型才能上线。语音这块是重点，系统卡里点名了未经授权的语音生成、说话人识别、以及根据声音瞎猜敏感特征这几个问题。

不过，正文没披露具体用什么数据训练，也没说缓解措施到底砍掉了多少风险。外部红队测试的细节也有限。这些缺口让安全结论打了折扣，先别太激动。

2023年9月25日星期一

OpenAI News9/25 15:00

ChatGPT 现在能看、能听、能说话了

OpenAI 给 ChatGPT 加了语音和图片功能。语音部分，你对着手机说话它能回你，背后用了一个新的文字转语音模型，拿几秒真人录音就能合成很像人的声音，还接入了自家的 Whisper 做语音识别。图片部分，你可以拍照或截图发给它，让它看图说话，底层是 GPT-3.5 和 GPT-4 的多模态版本。这两个功能会先推给 Plus 和 Enterpris...

推荐理由：这是一次实打实的 OpenAI 产品更新：标题确认了视觉输入、语音输入和语音输出，所以 HKR 三项都踩中了。正文没给版本、推送范围、延迟和定价，我会先打个折，停在 88 分而不是拉满。别被标题骗了，真正要盯的是语音延迟、视觉理解边界和调用入口。

锐评

OpenAI 给 ChatGPT 加了嘴和眼睛。语音部分，你对着手机说话它能回你，背后用了一个新的文字转语音模型，拿几秒真人录音就能合成很像人的声音，还接入了自家的 Whisper 做语音识别。图片部分，你可以拍照或截图发给它，让它看图说话，底层是 GPT-3.5 和 GPT-4 的多模态版本。这两个功能会先推给 Plus 和 Enterprise 用户，语音在 iOS 和 Android 上，图片全平台都有。

这篇公告更像产品预告，不是技术报告。它没提语音交互的延迟有多高，也没说图片理解在多轮对话里会不会翻车。最关键的是，它完全没提 API 什么时候能用，开发者现在只能干等。另外，语音合成只靠几秒样本就能模仿真人，安全风险怎么控，正文只说“逐步开放”，具体措施没展开。如果是真的省钱省事，那确实方便，但实际体验还得等上手再说。