跳到正文

语音与音频

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

125 条精选相关主题多模态AI 视频产品更新

最新精选

第 21–40 条 · 共 125 条

7月24日星期五

AI HOT 精选

Claude 语音模式现在能跑 Opus 和 Sonnet 了,还能在说话时直接调你的 Gmail 和 Slack

Anthropic 把 Claude 的语音模式升级了,现在背后可以调用 Opus 和 Sonnet 这两个更强的模型来处理复杂问题,不再是以前那种轻量版。你还能在语音对话里直接让它操作已连接的工具,比如搜 Gmail 邮件或查 Slack 消息,不用切回文字界面。多语言支持也加上了,但官方没列出具体支持哪些语言。

推荐理由:Anthropic 将 Claude 语音模式接入 Opus 和 Sonnet,并支持在语音对话中调用 Gmail、Slack 等已连接工具,多语言支持同步加入。

AI HOT 精选

ChatGPT 桌面版能靠语音指挥多个智能体干活了

OpenAI 给 macOS 和 Windows 的 ChatGPT 桌面应用加上了语音控制,你可以直接说话让 ChatGPT Work 或 Codex 里的多个智能体协同工作。背后是 GPT-Live 在跑,能同时听、说、协调任务。今天起 Plus、Pro、Business、Edu 和 Enterprise 用户都能用。

推荐理由:OpenAI 为 macOS 和 Windows 的 ChatGPT 桌面版加入语音控制,付费用户可说话指挥 Work 或 Codex 中的多个智能体协同,交互方式从键盘扩展到语音。

The Verge · AI

Claude 的语音模式现在支持 Opus 和 Sonnet,还能读你的 Gmail 和 Slack

Anthropic 把语音模式从 Haiku 扩展到了 Opus 和 Sonnet,三个模型现在都能用语音交互了。更实际的变化是,语音模式可以接入 Gmail、Slack 这类应用,直接读出你的邮件和消息。不过正文没提延迟和准确率数据,实际体验好不好用,建议等上手测试再说。

推荐理由:Anthropic 将语音模式从 Haiku 扩展到 Opus 和 Sonnet,并接入 Gmail、Slack 直接读出邮件和消息,语音交互的模型覆盖与可接入应用范围由此扩大。

TechCrunch · AI

Claude 语音模式升级:能选 Opus/Sonnet/Haiku 模型,还能直接操作你的 Gmail 和 Slack

Anthropic 给 Claude 的语音模式换了底模,现在你可以手动选 Opus、Sonnet 或 Haiku,默认会沿用你上次文字聊天用的模型。官方说这能撑住更长的对话,比如帮你打磨沟通方式、过一遍客户提案、或者脑暴市场调研。

推荐理由:Anthropic 让 Claude 语音模式支持手动选择 Opus、Sonnet 或 Haiku,并默认沿用上次文字聊天所用模型,可用于打磨沟通方式、过客户提案等更长对话场景。

7月9日星期四

Ben's Bites

SpaceXAI 和 Cursor 联手训出 Grok 4.5,成本只有 Opus 的六分之一

SpaceXAI 和 Cursor 一起训了个新模型 Grok 4.5,性能大概卡在 Opus 4.7 和 4.8 之间,但按 token 算钱的话,比 Opus 便宜 6 倍,比 GPT-5.5 便宜 3 倍。现在 Cursor 里能用,API 也开放了。

推荐理由:SpaceXAI 与 Cursor 联合训练的 Grok 4.5 已上线 Cursor 并开放 API,性能介于 Opus 4.7 和 4.8 之间,按 token 计费比 Opus 便宜 6 倍。

6月24日星期三

AI HOT 精选

ChatGPT 语音能边听边说了,新模型 Bidi 1 开始灰度测试

部分用户已经在 ChatGPT 网页版和 App 的模型选择器里看到了 Bidi 1,和标准语音、高级语音并列,选中后语音气泡会变黄。它最大的变化是支持全双工:模型在说话的同时还能继续听你讲话,中途打断也能立刻响应。测试里有人让它从 1 数到 10,数到一半打断说“倒数”,它马上照做。OpenAI 还没正式公布上线时间,有媒体猜本周可能会扩大测试范围。

推荐理由:OpenAI 在 ChatGPT 网页版和 App 灰度测试双向语音模型 Bidi 1,模型说话时仍能持续收音并即时响应打断,与现有标准语音、高级语音形成对照。

6月18日星期四

AI HOT 精选

火山引擎把豆包实时语音模型 3.0 的 API 放出来了,现在还在邀测

这个模型叫 Seeduplex,是个原生全双工端到端语音模型,意思是它能一边听一边说,不用等你说完再反应。官方给了三个卖点:指令跟得准、抗干扰、会自己判断什么时候该接话。比如多人聊天时它能安静待着,只有聊到指定话题才插嘴;还能在对话里直接调用工具帮你订日历、发邮件。抗干扰方面,误回复和误打断都少了很多。

推荐理由:火山引擎开放豆包实时语音模型3.0的API邀测,该模型为原生全双工端到端架构,能边听边说并自主判断接话时机,还支持在对话中调用工具。

AI HOT 精选

Google 把 Gemini 塞进了一台 99 美元的音箱,想让你跟它聊天而不是下指令

Google Home Speaker 是第一款围绕 Gemini 做的音箱,99.99 美元,现在就能预订,本月发货。它支持说话中途改口、不用反复唤醒就能接着聊,内置了 10 种新声音。我会先打个折:这些听起来像连续对话的能力,其实分两层。

推荐理由:Google 推出 99.99 美元的 Home Speaker,是第一款围绕 Gemini 打造的音箱,支持说话中途改口和免重复唤醒的连续对话。

6月15日星期一

彭博科技

新 Siri 能救苹果的 AI 困局吗?彭博上手后列出 7 个改进点

彭博的 Mark Gurman 提前用上了新版 Siri,总结了 7 个实际改进:响应更快、能看懂屏幕内容、可以跨 App 操作、声音更自然等。但核心问题没变——Siri 还是把复杂请求丢给 ChatGPT,自己只处理简单指令。

推荐理由:彭博记者 Mark Gurman 提前上手新版 Siri,列出响应速度、屏幕理解、跨 App 操作等 7 项实际改进,也指出复杂请求仍转交 ChatGPT 处理。

6月10日星期三

AI HOT 精选

Google Gemini 3.5 实时翻译开放公测,支持 70 多种语言、2000 个语言对

Google 把 Gemini 3.5 的实时翻译功能放出来了,现在通过 Gemini API 就能用。它做的是语音到语音的低延迟翻译,覆盖 70 多种语言,能组合出 2000 个语言对,冷门小语种也包含在内。开发者可以把它接进实时对话、客服、直播或跨国会议里。

推荐理由:Google 将 Gemini 3.5 实时语音翻译开放公测,覆盖 70 多种语言、可组合出 2000 个语言对,开发者能通过 API 接入实时对话、客服、直播和跨国会议场景。

6月9日星期二

AI HOT 精选

Google 放出 Gemini 3.5 Live Translate,话没说完就开始翻,支持 70 多种语言

Google 发了 Gemini 3.5 Live Translate,一个实时语音转语音翻译模型。它不等对方把整句话讲完,边听边翻,用流式更新把结果推出来,延迟压到几秒,还能保留原声的语速、音高和语调。

推荐理由:Google 发布 Gemini 3.5 Live Translate,支持 70 多种语言,不等整句讲完就边听边翻,延迟压到几秒并保留原声语速、音高和语调。

Google DeepMind

Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型

Google DeepMind 发布 Gemini 3.5 Live Translate,一款支持 70 多种语言的近实时语音到语音翻译音频模型,可自动检测语言并保留说话人的语调、节奏和音高。

推荐理由:Gemini 3.5 Live Translate 支持 70 多种语言的连续语音到语音翻译,并保留说话人的语调、节奏和音高,与逐句等待的系统形成对比。

AI HOT 精选

Gemma 4 12B 发布:一个模型直接看懂图文和音频,不用外挂编码器

Google DeepMind 开源了 Gemma 4 12B,一个 120 亿参数的多模态模型。它最大的变化是去掉了传统的独立视觉/音频编码器,把所有输入统一交给 Transformer 处理,架构更简单。模型能直接听懂语音,不再需要先转文字。官方说它用 Apache 2.0 协议开源,在 16GB 显存或统一内存的笔记本上就能跑。

推荐理由:Google DeepMind 开源 Gemma 4 12B,去掉独立视觉和音频编码器,统一由 Transformer 处理图文语音,16GB 显存即可运行。

6月8日星期一

AI HOT 精选

面壁智能开源 VoxCPM2 语音模型,200 万小时数据训练,支持 30 种语言和 9 种方言

OpenBMB 把 VoxCPM2 的技术报告和模型都放出来了,Apache 2.0 协议。这是个 20 亿参数的语音生成模型,用超过 200 万小时的多语言语音数据训练,能说 30 种语言和 9 种中文方言。它主要干三件事:按自然语言指令设计语音、可控地克隆声音,以及高保真地延续一段语音。

推荐理由:面壁智能以 Apache 2.0 协议开源 20 亿参数的 VoxCPM2,训练数据超过 200 万小时,覆盖 30 种语言和 9 种中文方言,语音设计、克隆与延续三类能力一并公开。

6月6日星期六

r/LocalLLaMA

开源模型这周炸了:25+ 个开放权重模型一口气放出,覆盖文本、图像、语音

Victor M 在 X 上整理了一份清单,过去一周有超过 25 个开放权重的模型发布,几乎覆盖了所有模态。其中最扎眼的是 NVIDIA 的 Nemotron 3 Ultra,一个 550B 参数的混合架构(Mamba-MoE),每次推理只激活 55B 参数,上下文窗口能塞进 100 万个 token。

推荐理由:过去一周开放权重模型发布超过 25 个,覆盖文本、图像、语音等模态,其中 NVIDIA 的 Nemotron 3 Ultra 以 550B 参数、55B 激活和 100 万 token 上下文,展示了混合架构的当前规模。

r/LocalLLaMA

RedNote 开源 dots.tts:一个 20 亿参数的语音合成模型,支持 48kHz 和零样本声音克隆

RedNote 放出了一个叫 dots.tts 的语音合成模型,参数量 20 亿,用 Apache 2.0 协议开源。它走的是全连续架构,文字直接映射到语音,跳过了传统的音素流水线,合成采样率能到 48kHz。零样本声音克隆也支持,给一段参考音频就能模仿说话。

推荐理由:RedNote 以 Apache 2.0 协议开源 20 亿参数的 dots.tts,采用文字直接映射语音的全连续架构,支持 48kHz 输出和零样本声音克隆。

AI HOT 精选

Google AI 本周连发六弹:笔记本能跑的多模态模型、帮你读论文的科研助手、还有开源实时音乐模型

Google AI 这周一口气更新了六样东西。Nano Banana 2 和 Pro 版正式上线,走 Gemini 企业平台、API 和 AI Studio 就能用。Co-Scientist 是一个多智能体系统,专门帮科研人员自动生成和优化新假设,相当于有个助手帮你读文献、想点子。

推荐理由:Google AI 一周内上线 Nano Banana 2 与 Pro、多智能体科研助手 Co-Scientist 等六项更新,覆盖多模态生成与科研假设优化,可快速了解其产品线的最新布局。

6月5日星期五

AI HOT 精选

Google 开源了实时音乐模型 MRT2,在 MacBook 上延迟不到 200 毫秒

Google AI for Developers 放出了一个叫 Magenta RealTime 2(MRT2)的实时音乐模型,权重开放,推理引擎也开源了。你可以用 MIDI 键盘弹、打字给提示词,甚至用手势控制它来生成音乐。它在 MacBook 上原生跑,延迟压到了 200 毫秒以内,这个速度对实时演奏来说基本跟手。

推荐理由:Google 开源 Magenta RealTime 2 的权重与推理引擎,支持 MIDI、提示词和手势生成音乐,在 MacBook 上原生运行延迟低于 200 毫秒。

AI HOT 精选

Boson AI 与 LMSYS 发布基于 SGLang-Omni 的 Higgs Audio v3 TTS 端到端服务

Higgs Audio v3 TTS 是 Boson AI 的语音合成模型,参数量大约 4B,底层用了 Qwen3-4B。它支持 100 种语言,在内部测试集上词错率/字错率能压到个位数。这个模型专门为语音助手那种边说边生成的场景设计,不等句子结束就能开始合成,后续文本到了还能保持声音、情绪和节奏连贯。

推荐理由:Boson AI 与 LMSYS 把 4B 参数的 Higgs Audio v3 TTS 接入 SGLang-Omni 做端到端服务,支持 100 种语言,并针对语音助手边说边生成的流式场景优化声音与情绪连贯性。

6月4日星期四

机器之心 · 公众号

谷歌放出 Gemma 4 12B,120 亿参数模型能在 16G 显存的笔记本上跑

谷歌发了 Gemma 4 系列的新成员,一个 120 亿参数的中等尺寸模型。它主打本地运行,16GB 显存或统一内存的笔记本就能带起来。架构上没走传统多模态那套编码器路线,直接原生支持音频输入,还带了一个叫 MTP 的推测解码模块来压延迟。模型用 Apache 2.0 协议开源。

推荐理由:谷歌发布 120 亿参数的 Gemma 4 新成员,16GB 显存笔记本即可本地运行,并原生支持音频输入,为关注本地部署的开发者提供了新的开源选项。