跳到正文

语音与音频

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

125 条精选相关主题多模态AI 视频产品更新

最新精选

第 61–80 条 · 共 125 条

5月21日星期四

The Verge · AI

Spotify 要给付费用户上线 AI 混音和翻唱功能,环球音乐已签授权

Spotify 和环球音乐刚谈成一笔授权,Premium 用户能付费让 AI 把平台上的歌生成混音版或翻唱版。艺人可以选择不参加,参加的能从这些 AI 版本里分到版税。去年 10 月 Spotify 就说过要和几大唱片公司搞“负责任的 AI 产品”,这次算是第一个落地的。正文没披露具体定价、上线时间,也没说 AI 模型是谁家的、生成质量到什么程度。

推荐理由:Spotify 与环球音乐达成授权,让付费用户生成 AI 混音和翻唱,艺人可退出并参与版税分成,这是其去年提出的负责任 AI 产品方向下第一个落地的消费级功能。

FT · 科技

Spotify 和环球音乐签了授权,要在 App 里给重度乐迷推 AI 生成的付费音乐

Spotify 跟环球音乐集团谈成了一笔授权,打算在 Spotify 应用内加一个付费的 AI 音乐生成功能,主要瞄准那些花钱不手软的重度乐迷。目前正文被付费墙挡住,看不到具体定价、上线时间、支持哪些国家,也没提用的是什么模型。

推荐理由:Spotify 与环球音乐达成授权,将在应用内上线面向高消费乐迷的付费 AI 音乐生成功能,把生成能力直接做成订阅内的付费产品。

5月20日星期三

AI HOT 精选

Stability AI 发布 Stability Audio 3.0,能生成超过 6 分钟的专业歌曲

Stability AI 发了四个新音频模型,最小的两个(4.59 亿参数)能在手机或电脑本地跑,生成两分钟以内的声音和音乐。中型(14 亿参数)和大型(27 亿参数)模型能把完整歌曲拉到 6 分 20 秒,比上一代翻了一倍多。小号和中号模型已经开源,大号模型只走 API 和付费托管,年收入超 100 万美元的公司必须买商业授权。

推荐理由:Stability AI 发布四款音频模型,最小的两款可在本地运行,中大型模型把生成时长拉到 6 分 20 秒,比上一代翻倍,小号和中号已开源。

TechCrunch · AI

Stability AI 发了新音频模型,最长能生成六分多钟的歌

Stability AI 推出了 Stable Audio 3.0 系列,一共四个模型。最小的两个(4.59 亿参数)能在设备本地跑,生成两分钟的音乐或音效;中等(14 亿参数)和大杯(27 亿参数)模型则能生成 6 分 20 秒的完整曲子,比 2024 年的 2.0 版长了一倍多。小、中杯模型都开放权重,可以随便用和改。

推荐理由:Stability AI 发布 Stable Audio 3.0 系列四个模型,其中两个能生成 6 分 20 秒的完整曲子,时长比 2.0 版翻了一倍多,另两个小模型可在本地运行并开放权重。

AI HOT 精选

Gemini Omni 能拿你的脸和声音做数字分身,以后拍视频不用真人出镜了

Gemini Omni 上线了一个新功能,你可以用自己的长相和声音创建一个数字分身。建好之后,这个分身就能替你出镜生成视频,不用每次都重新上传照片。正文没提这个功能要不要钱、在哪些地区能用、什么时候正式上线,我会先打个折观望。

推荐理由:Gemini Omni 支持用户用个人形象和声音创建数字分身,建好后可反复用于生成出镜视频,省去每次重新上传照片的步骤。

TechCrunch · AI

Gmail 现在能直接语音问收件箱了,Google I/O 2026 上演示了用 Gemini 翻找邮件细节

Google 给 Gmail 的 AI 收件箱加上了语音对话搜索,你可以直接开口让 Gemini 帮你从邮件堆里挖出具体信息。目前正文没披露这个功能会推给哪些用户、支持什么语言、要不要额外付费、响应有多快,也没说背后是用什么检索机制把邮件捞出来的。

推荐理由:Google 在 Gmail 中加入语音对话搜索,用户开口就能让 Gemini 从邮件里找出具体信息,这条资讯交代了该功能的基本形态。

TechCrunch · AI

Google 学 Meta 做音频眼镜,在 I/O 2026 上发了款靠语音交互的智能眼镜

Google 在 I/O 大会上宣布和 Warby Parker、Gentle Monster 合作,推出新的“音频眼镜”。这副眼镜没有屏幕,主要靠语音指令来操作 Google 自家的应用和服务,包括调用 Gemini 助手。它会同时支持 Android 和 iOS,设计上有三星参与,预计今年晚些时候上市。

推荐理由:Google 在 I/O 2026 上宣布与 Warby Parker、Gentle Monster 合作推出无屏幕音频眼镜,靠语音调用 Gemini,并同时支持 Android 和 iOS,是观察大厂把 AI 助手装进可穿戴设备的一种路径。

The Verge · AI

Gmail 要能语音对话了:对着收件箱直接问,它帮你翻邮件找答案

Google 给 Gmail 加了一个叫 Gmail Live 的语音功能,点搜索栏图标就能直接开口问收件箱里的内容。发布会上员工现场演示,问了孩子学校的活动和自己去底特律的行程,Gmail 直接从邮件里抓出了学校展示活动的日期地点和行程信息。正文没披露这个功能什么时候上线、支持哪些语言,也没说离线能不能用。

推荐理由:Google 给 Gmail 加入 Gmail Live 语音功能,在搜索栏开口提问就能从邮件里找出学校活动日期和底特律行程,演示展示了收件箱检索从关键词输入转向对话式提问。

TechCrunch · AI

谷歌发布 Gemini Omni:用文字、图片和音频就能直接生成视频

谷歌推出了新的多模态模型 Gemini Omni,能把文字、图片、音频和视频作为输入,通过对话直接生成或编辑视频。首发版本叫 Omni Flash,主打跨模态推理,也就是模型能同时理解不同格式的信息并据此产出视频。但文章没公布具体上线时间、价格、上下文长度限制、跑分成绩,也没说 API 什么时候开放。

推荐理由:谷歌推出多模态模型 Gemini Omni,可把文字、图片、音频和视频作为输入,通过对话直接生成或编辑视频,首发版本 Omni Flash 主打跨模态推理。

AI HOT 精选

谷歌发布 Antigravity 2.0,用 93 个并行子智能体 12 小时搭出一个操作系统

谷歌在 I/O 大会上放出了 Antigravity 2.0 平台,已经对全球用户开放。现场演示里,他们让智能体从零构建了一个能跑起来的操作系统,只用了 12 小时。具体做法是同时跑 93 个子智能体,总共调了超过 1.5 万次模型、处理了 26 亿个 token,最后算下来 API 成本不到 1000 美元。

推荐理由:谷歌在 I/O 演示中用 93 个并行子智能体、1.5 万次模型调用和 26 亿 token,12 小时从零构建出可运行的操作系统,API 成本不到 1000 美元。

AI HOT 精选

谷歌发布 Gemini Omni 模型,任意输入都能生成任意输出,一句话就能改视频

谷歌在 I/O 2026 大会上推出了 Gemini Omni,这是 Gemini 家族目前能力最全的版本,能同时处理文字、图片、音频和视频,并直接生成这些格式的内容。现场演示了对话式视频编辑,用户说句话就能换掉视频里的角色或背景。

推荐理由:谷歌在 I/O 2026 发布 Gemini Omni,可跨文字、图片、音频、视频互转,现场演示了用一句话替换视频角色或背景的对话式编辑。

r/LocalLLaMA

6GB 显卡跑本地会议纪要的下限测试:Qwen3.5 0.8B 用 57 秒出结果,Granite 4 350M 快但会瞎编

一位用户在 RTX 3060 笔记本(6GB 显存)上拿 VoiceFlow 1.6.0 测了两款小模型,看谁能在本地把一段 4 分钟的会议转成纪要。Qwen3.5 0.8B 在 16K 上下文窗口下花了 57 秒完成总结,结果可用。

推荐理由:用户在 6GB 显存的 RTX 3060 笔记本上实测两款小模型,Qwen3.5 0.8B 用 57 秒完成 4 分钟会议总结,Granite 4 350M 虽快却会编造内容。

5月19日星期二

r/LocalLLaMA

有人租了 21 款 GPU 跑同一个 5GB 显存的小 TTS 模型,实测速度差距

一位 Reddit 用户为了测 OmniVoice 这个小 TTS 模型,在 vast.ai 上租了 21 款不同的 GPU。模型跑起来显存峰值大概 5GB,不算大。测试用 xRT 作为音频生成速度的指标,每张卡都跑了 3 次带参考音频的声音克隆取平均。

推荐理由:一位 Reddit 用户在 vast.ai 租用 21 款 GPU,对峰值显存约 5GB 的 OmniVoice 小模型做声音克隆速度测试,每张卡跑 3 次取平均,为自建语音合成环境的人提供显卡选择参考。

5月15日星期五

AI HOT 精选

xAI 把 Grok 订阅接入了 Nous Research 的开源智能体 Hermes

现在你可以用 Grok 的付费账号,直接在 Hermes Agent 里跑 Grok 4.3 的文字聊天和推理、用语音合成让智能体出声回复,还能让智能体调用 Grok Imagine 生成图片和视频。

推荐理由:xAI 将 Grok 付费订阅接入 Nous Research 的开源智能体 Hermes,用户可在其中使用 Grok 4.3 的文字推理、语音合成以及 Grok Imagine 的图像视频生成。

AI HOT 精选

Arm 和 Google 联手,让手机本地跑音频模型快了 2 倍多

Arm 的新指令集 SME2 把矩阵计算单元直接塞进了 CPU,不用再纠结是忍受 CPU 慢还是外挂专用加速器。

推荐理由:Arm 与 Google AI Edge 用 SME2 指令集把矩阵计算单元放进 CPU,手机本地音频模型推理提速 2 倍多、内存占用降为四分之一,端侧推理管线与硬件指令的配合方式由此有了具体样本。

5月13日星期三

AI HOT 精选

谷歌在 Android Show 2026 上发了新助理 Android Intelligence,能跨 App 自动干活

谷歌这次推的 Android Intelligence 是一个系统级智能助理,主打跨安卓应用的多步骤自动化任务,比如你让它订咖啡、回消息、填表,它可以自己切 App 完成。Chrome 里的 Gemini 也加了浏览器操作能力,能直接帮你操作网页。另外还有语音笔记转文字功能叫 Rambler,以及可以自定义的生成式 UI 小组件。

推荐理由:谷歌在 Android Show 2026 发布系统级助理 Android Intelligence,可跨应用完成订咖啡、回消息、填表等多步骤任务,Chrome 中的 Gemini 也具备网页操作能力。

TechCrunch · AI

Google 把 Gemini 塞进 Gboard 语音输入,做听写的小公司要头疼了

Google 开始在 Gboard 键盘里用 Gemini 模型做语音转文字,首批只推给三星 Galaxy 和 Pixel 手机。正文没提支持哪些语言、要不要联网、怎么收费,也没说具体哪天全面推送。对专门做听写工具的创业公司来说,系统自带且模型更强的免费方案一旦铺开,付费墙就很难立住了。

推荐理由:Google 把 Gemini 语音转文字放进 Gboard,先推给三星 Galaxy 和 Pixel 手机,系统自带方案一旦铺开,专做听写工具的创业公司靠付费订阅立足会更难。

5月12日星期二

TechCrunch · AI

AI 语音公司 Vapi 拿下亚马逊 Ring 订单后估值冲到 5 亿美元,从 40 多家对手中胜出

Vapi 做的是让 AI 接打电话的语音平台。亚马逊旗下的 Ring 在评估了 40 多个方案后选了它,用来处理客户支持和销售电话。公司说从 2025 年初到现在,企业业务规模翻了十倍,最新一轮融资后估值达到 5 亿美元。不过正文没披露具体营收数字和 Ring 这笔单子的金额,所以这个十倍增长是从多小的基数算起的,得打个折看。

推荐理由:亚马逊旗下 Ring 在评估 40 多个方案后选用 Vapi 处理客服和销售电话,这条资讯交代了语音 AI 平台进入大客户采购流程的经过与 5 亿美元估值。

新智元 · 公众号

OpenAI 发布 GPT-Realtime-2,一个号称 GPT-5 级推理能力的实时音频模型

OpenAI 推出了 GPT-Realtime-2,官方把它叫做“GPT-5 级推理音频模型”。同时发布的还有 Realtime-Translate 和 Realtime-Whisper 两个配套工具。新模型支持 128K 上下文窗口,提供五档推理强度可选,API 定价是每百万输入 token 32 美元、输出 token 64 美元。

推荐理由:OpenAI 发布 GPT-Realtime-2 实时音频模型,支持 128K 上下文和五档推理强度,并公布每百万输入 32 美元、输出 64 美元的 API 定价,为语音 agent 的成本核算提供了具体依据。

Latent Space

Thinking Machines 发布原生交互模型:2760 亿参数,120 亿激活,实时语音不再靠外挂

Thinking Machines 终于又冒泡了,这次直接扔了个新模型 TML-Interaction-Small。总参数 2760 亿,是个 MoE 架构,实际干活时只激活 120 亿参数。它最狠的地方是把实时语音交互做进了模型骨子里,不再像以前那样给大语言模型外挂语音识别和合成模块。

推荐理由:Thinking Machines 发布 TML-Interaction-Small,2760 亿总参数、120 亿激活的 MoE 架构,把实时语音交互直接做进模型,不再外挂语音识别与合成模块。