跳到正文

#语音

今日 2 条

今天 · 11月17日星期二 · 2 条

OpenAI News

Holiday Extras 如何用 dots 主动生成报告并协助日常工作

Holiday Extras 员工使用 dots 主动生成产品上线报告、提醒潜在问题,并通过语音讨论即将举行的会议。AI 创新副总裁 Liam Thompson 的 dot 从 Google BigQuery 获取数据后主动提交报告;同事 David Lee 的 dot 在 API 密钥需要停用时检索邮件,列出可能受影响的人。

Google 博客 · Gemini

Gemini 应用上线 66 种地区口音语音

Gemini 应用在 Android 和 iOS 端上线 66 种新地区语音,覆盖美式英语、英式英语、印度英语、印地语、巴西葡萄牙语、印尼语和韩语等,每种语言都提供定制选项。这些语音针对自然语调和日常清晰度调校,而非夸张口音,用户选定的语音可在 Gemini Live、语言练习和聊天朗读中全局沿用。用户可通过 Gemini Live 的三点菜单或应用设置中的语音选项预览并选择。

11月12日星期四

OpenAI News

JioStar 首席架构师谈 5 亿用户规模下的 AI 内容发现

JioStar 用 OpenAI API 在 JioHotstar 中构建了对话式视频与板球数据发现助手,支持超过 15 种语言,由小团队约八周完成上线。该平台服务超 5 亿用户,曾支撑 7250 万并发直播体育观众,超 60% 用户偏好语音而非文字输入。团队将准确性、延迟与成本视为三方权衡,并强调评估体系与领域专家在投产中的关键作用。

Google 博客 · Gemini

Google 将 Gemini 应用带到 Apple CarPlay,支持免手持语音对话

Google 今天起向全球 iOS Gemini 用户推出 Apple CarPlay 支持,覆盖 Gemini Live 支持的所有语言。用户可在车载屏幕开启或继续语音对话,通过 Gmail 和 Google Calendar 查询日程、了解未读邮件及总结邮件长线程,对话记录会自动同步至 iPhone 上的 Gemini 应用。

11月6日星期五

OpenAI News

Cult.fit 如何用 Codex 开发内部工具并改善运营

Cult.fit 将 Codex 从工程部门推广到跨职能团队,近几个月非工程团队已构建 20+ 个内部应用。公司用 Codex 重建内部仪表盘功能,节省 $100,000+ 年度软件费用,并通过接入现有客服平台的 AI 智能体将客服成本降低 50%+。其 AI Trainer 还通过 OpenAI API 集成 GPT Realtime,以双向语音提供训练指导并支持记录锻炼。

10月27日星期二

Google 博客 · Gemini

15 名大学生分享他们最爱的 Gemini 功能

Google 邀请 15 名 Google Student Ambassadors 分享他们最常用的 Gemini 功能,涵盖 Study notebooks、Gemini Live、Guided Learning、学习指南生成、自定义测验、无限上传、Audio Overviews、Nano Banana 图像生成和 Chrome 中的 Gemini。

10月23日星期五

OpenAI News

用 OpenAI Decisions API 构建响应更快的应用

OpenAI 正式开放基于 GPT‑6 Luna 的 Decisions API,处理限定答案的决策时,比通过 Responses API 使用 GPT‑6 Luna 最多快 10x。

推荐理由:OpenAI 将限定答案的分类与路由决策交给专用 API,让应用工作流中的高频小决策减少延迟与成本累积。

10月21日星期三

Mistral AI

Mistral AI 发布 Voxtral 3 语音模型系列及语音智能体 SDK

Mistral AI 发布 Voxtral 3 语音识别与语音生成模型系列,并推出整合听取、推理、工具调用和发声的实时语音智能体 SDK。转录支持 50+ 种语言,实时转录延迟低于 500ms;语音生成支持 35+ 种语言和 50+ 种方言,可按上下文调整情绪、语速和重音。

推荐理由:Mistral 将语音识别、推理、工具调用和语音生成整合为流式管线,各阶段模型可独立替换,减少更换语言或声音时重写智能体的需求。

10月16日星期五

OpenAI News

Localiza 如何围绕生成式 AI 重组工作

巴西出行平台 Localiza 将生成式 AI 视为新的计算界面而非单纯生产力工具,围绕三大支柱重组业务:规模化实验、自然语言客户入口和 AI 原生产品。2026 年 3 月,它成为巴西首个、也是拉美首批将应用直接集成进 ChatGPT 的出行平台,用户可在对话中浏览租车、订阅和二手车选项。

10月2日星期五

Google 博客 · Gemini

Google 推出 Gemini Live Guided Vision,为 Android 用户提供无障碍视觉辅助

Google 推出 Gemini Live 的 Guided Vision 功能,通过实时视觉描述和语音取景提示,为盲人、低视力用户及需要视觉辅助的人提供帮助。

推荐理由:Google 为 Gemini Live 加入实时视觉描述与取景语音提示,让盲人和低视力用户能通过对话获取日常视觉信息。

9月25日星期五

Google DeepMind

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,实现带唇形同步、自然表情和流畅轮次切换的动态视觉形象。

推荐理由:Gemini 3.8 Live 在实时对话模型上加入近实时视频生成,支持唇形同步与97种语言切换,并可在对话中异步调用工具,展示了企业级多模态交互的当前形态。

9月24日星期四

Google 博客 · Gemini

Google 推出 Gemini 3.8 Live with Live Avatar,已在 Gemini Enterprise 提供

Google 推出 Gemini 3.8 Live with Live Avatar,将近实时视频生成与原生实时对话结合,即日起在 Gemini Enterprise 提供。它可同时处理视觉和音频输入,在持续对话时异步调用工具,并支持在 97 种语言间切换时同步调整口型与表情。企业可使用预设形象或通过参考图像定制形象,定制创建目前仅向企业许可名单开放,生成的音频和视频嵌入 SynthID 水印。

推荐理由:Google 将实时语音对话与动态虚拟形象结合,并支持在持续交谈时后台调用工具,让企业客服和交互式引导无需为取数中断对话。

6月9日星期二

Google DeepMind

Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型

Google DeepMind 发布 Gemini 3.5 Live Translate,一款支持 70 多种语言的近实时语音到语音翻译音频模型,可自动检测语言并保留说话人的语调、节奏和音高。

推荐理由:Gemini 3.5 Live Translate 支持 70 多种语言的连续语音到语音翻译,并保留说话人的语调、节奏和音高,与逐句等待的系统形成对比。

5月7日星期四

OpenAI News

OpenAI 在 API 里上线了三款实时语音模型,能边听边推理、翻译和转写

OpenAI 这次发了三个新模型:GPT‑Realtime‑2 是带 GPT‑5 级推理能力的语音模型,能处理更复杂的请求,说话中间可以插话、改主意,它还能边想边回一句“我查一下”,同时调用多个工具;GPT‑Realtime‑Translate 做实时翻译,支持 70 多种输入语言转 13 种输出语言,语速跟得上说话人。

推荐理由:OpenAI 在 API 上线三款实时语音模型,GPT‑Realtime‑2 支持边推理边调用多个工具,GPT‑Realtime‑Translate 覆盖 70 多种输入语言转 13 种输出语言。

4月30日星期四

Google DeepMind

Google DeepMind 发布 AI co-clinician 医疗研究计划

Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非主流证据综合工具;在 140 项问诊技能评估中,它在 68 项达到或超过初级保健医生水平,但专家医生在识别危险信号和关键体格检查上整体仍更优。

推荐理由:Google DeepMind 公布 AI co-clinician 研究计划,在 98 个真实初级保健查询的盲评中 97 例无关键错误,医生更偏好其回答而非主流证据综合工具。

4月16日星期四

Google DeepMind

Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性与表现力的文本转语音模型,已在 Gemini API、Google AI Studio、Vertex AI 和 Google Vids 中开放预览。

推荐理由:Gemini 3.1 Flash TTS 在 Gemini API、AI Studio、Vertex AI 和 Google Vids 开放预览,支持 70 多种语言,并可通过音频标签控制语音风格与节奏。

4月3日星期五

X · @OpenAI

ChatGPT 上车了,现在能在 CarPlay 里用语音模式

OpenAI 把 ChatGPT 的语音模式搬进了 CarPlay,iPhone 用户升级到 iOS 26.4 以上就能在车里用。正文没提支持哪些国家、哪些车型,也没说功能有没有阉割,比如能不能连续对话、能不能读长文章。这次动作的重点是把对话入口塞进驾驶界面,不是发了新模型。

推荐理由:OpenAI 把 ChatGPT 语音模式接入 CarPlay,iPhone 用户升级 iOS 26.4 以上即可在车内使用,这次动作的重点是把对话入口放进驾驶界面,而非发布新模型。

3月24日星期二

Mistral AI

Mistral AI 发布 4B 参数语音合成模型 Voxtral TTS

Mistral AI 发布首个文本转语音模型 Voxtral TTS,4B 参数,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言,具备情感表达与零样本跨语言音色适配能力。

推荐理由:Mistral AI 推出 4B 参数语音合成模型 Voxtral TTS,覆盖 9 种语言并支持零样本跨语言音色适配,其与 ElevenLabs 的对比评测提供了多语言语音质量的一个参照。

2月5日星期四

Mistral AI

Mistral 发布 Voxtral Transcribe 2 语音转写模型家族

Mistral 发布 Voxtral Transcribe 2,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文字模型。

推荐理由:Mistral 发布 Voxtral Transcribe 2,其中实时转写模型 Realtime 以 Apache 2.0 开源,延迟可配置到 200 毫秒以内,并支持 13 种语言。

2025年9月30日星期二

OpenAI News

OpenAI 发布 Sora 2 系统卡,视频生成模型能同时出画面和声音了

OpenAI 在 9 月 30 日公布了 Sora 2 的系统卡,说这个新模型在物理规律、画面真实度、音画同步和风格控制上都比上一代强,能更准地跟着用户的指令走。这次发布先走邀请制,在 sora.com 和独立的 iOS App 上小范围开放。安全方面,上线初期禁止上传视频,也禁止上传带真人照片的图片,对涉及未成年人的内容有更严的审核门槛。

推荐理由:OpenAI 公布 Sora 2 系统卡,新模型在物理规律、画面真实度和音画同步上较上一代有提升,并交代了邀请制上线与初期禁止上传真人素材的限制。

OpenAI News

OpenAI 发布 Sora 2,能生成带同步对白和音效的视频,还做了一个社交 App

OpenAI 在 9 月 30 日发布了视频生成模型 Sora 2,同时上线了一个叫 Sora 的 iOS 社交 App。Sora 2 比上一代更遵守物理规律,比如投篮不进会弹框而不是球直接瞬移进筐,也能生成同步的人物对白和环境音效。App 里有个“角色”功能,你录一段视频和音频验证身份后,就能把自己的形象和声音放进任何生成的场景里。

推荐理由:OpenAI 同日发布视频模型 Sora 2 与同名 iOS 社交应用,模型可生成同步对白与环境音效,App 支持验证身份后把本人形象和声音放进生成场景。

2025年8月28日星期四

OpenAI News

OpenAI 发布 gpt-realtime 模型,语音 API 正式上线并支持电话和图片输入

OpenAI 把 Realtime API 从公测转成了正式版,同时推出了新的端到端语音模型 gpt-realtime。这个模型不再走“语音转文字再转语音”的老路,而是直接处理音频,延迟更低,语气和情绪保留得更好。

推荐理由:OpenAI 将 Realtime API 从公测转为正式版并推出端到端语音模型 gpt-realtime,直接处理音频而非先转文字再转语音,延迟更低且语气情绪保留更好。

2025年7月17日星期四

Mistral AI

Mistral 为 Le Chat 推出 Deep Research、语音模式等新功能

Mistral 为 Le Chat 上线一批新功能,包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言思考模式、用于整理对话的 Projects,以及与 Black Forest Labs 合作的高级图像编辑。

推荐理由:Mistral 为 Le Chat 一次上线 Deep Research、语音、多语言推理、Projects 与图像编辑五项功能,其中 Deep Research 由工具增强智能体驱动,可拆解问题并生成带引用的结构化报告。

2025年7月15日星期二

Mistral AI

Mistral 发布 Voxtral 语音理解模型,24B 与 3B 双版本开源

Mistral 发布 Voxtral 语音理解模型,提供 24B 和 3B 两个版本,均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文,可处理最长 30 分钟转写或 40 分钟理解,具备内置问答与摘要、多语言识别和语音函数调用能力,并保留 Mistral Small 3.1 的文本能力。

推荐理由:Mistral 开源两款语音理解模型,给出 32k 上下文、函数调用等能力与低于同类 API 一半的定价,便于评估语音方案选型。

2025年3月21日星期五

OpenAI News

OpenAI 和 MIT 合作研究:跟 ChatGPT 聊感情的人很少,但重度语音用户里有一小撮人把它当朋友

OpenAI 和 MIT 媒体实验室联手做了两项研究,想搞清楚人跟 ChatGPT 聊感情会不会影响心理健康。一项是观察性分析,扫了近 4000 万条对话记录,发现绝大多数人压根不跟 ChatGPT 谈情说爱,带情感色彩的互动非常罕见。另一项是持续四周的随机对照试验,找了近 1000 名参与者。

推荐理由:OpenAI 与 MIT 用近 4000 万条对话的观察分析和近 1000 人四周随机对照试验,考察 ChatGPT 情感使用与心理健康的关系,并区分出少数高情感依赖的语音用户。

2025年3月20日星期四

OpenAI News

OpenAI 发了三款新语音模型:两个听写,一个会学语气说话

OpenAI 在 3 月 20 日往 API 里塞了三个新音频模型:gpt-4o-transcribe 和 gpt-4o-mini-transcribe 负责把语音转成文字,gpt-4o-mini-tts 负责把文字念出来。

推荐理由:OpenAI 在 API 上线三款音频模型,两款负责语音转文字,一款负责文字转语音并支持学习语气,语音接口的分工由此更细。

2024年10月1日星期二

OpenAI News

OpenAI 发布 Realtime API 公测版,让开发者直接调用 GPT-4o 做低延迟语音对话

OpenAI 在 2024 年 10 月 1 日推出了 Realtime API 的公测版,所有付费开发者都能用。这个接口通过一个持久的 WebSocket 连接,把音频直接流式传给 GPT-4o,再流式返回语音,省掉了以前那种“先转文字、再生成回复、最后转语音”的串联流程。好处是延迟更低,能保留语气和重音,还能自动处理用户插话。

推荐理由:OpenAI 公测 Realtime API,开发者可通过一条 WebSocket 连接让音频直连 GPT-4o 流式往返,省去语音转文字再转语音的串联环节。

2024年8月8日星期四

OpenAI News

GPT-4o 系统卡:语音响应快过人类,但声音安全是最大隐患

OpenAI 在 8 月 8 号发了 GPT-4o 的系统卡,把安全底牌摊开来看。这个模型能直接吃文本、音频、图片和视频,输出也一样,最快 232 毫秒就能回话,平均 320 毫秒,跟人聊天反应速度差不多。API 价格比 GPT-4 Turbo 便宜一半。

推荐理由:OpenAI 发布 GPT-4o 系统卡,公开语音延迟最快 232 毫秒、平均 320 毫秒,并披露声音安全风险,为理解多模态模型的能力与安全边界提供官方依据。

2023年9月25日星期一

OpenAI News

ChatGPT 现在能看、能听、能说话了

OpenAI 给 ChatGPT 加了语音和图片功能。语音部分,你对着手机说话它能回你,背后用了一个新的文字转语音模型,拿几秒真人录音就能合成很像人的声音,还接入了自家的 Whisper 做语音识别。图片部分,你可以拍照或截图发给它,让它看图说话,底层是 GPT-3.5 和 GPT-4 的多模态版本。

推荐理由:OpenAI 为 ChatGPT 加入语音对话与图片理解,语音合成用几秒真人录音即可生成相似声音,图片部分基于 GPT-3.5 和 GPT-4 的多模态版本。