跳到正文

语音与音频

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

125 条精选相关主题多模态AI 视频产品更新

最新精选

第 1–20 条 · 共 125 条

10月29日星期四

The Decoder

Nvidia 发布开放语音模型 Nemotron 3.5 Transcribe,整合转录、翻译与说话人识别

Nvidia 发布开放语音模型 Nemotron 3.5 Transcribe,通过文本指令整合转录、翻译、说话人识别及音频问答。

推荐理由:Nvidia 用以合成语音为主的数据微调医疗转录模型,将错误率从 23.8% 降至 11.8%,同时记录了通用英语准确率的损失。

10月23日星期五

OpenAI News

用 OpenAI Decisions API 构建响应更快的应用

OpenAI 正式开放基于 GPT‑6 Luna 的 Decisions API,处理限定答案的决策时,比通过 Responses API 使用 GPT‑6 Luna 最多快 10x。

推荐理由:OpenAI 将限定答案的分类与路由决策交给专用 API,让应用工作流中的高频小决策减少延迟与成本累积。

10月21日星期三

Mistral AI

Mistral AI 发布 Voxtral 3 语音模型系列及语音智能体 SDK

Mistral AI 发布 Voxtral 3 语音识别与语音生成模型系列,并推出整合听取、推理、工具调用和发声的实时语音智能体 SDK。转录支持 50+ 种语言,实时转录延迟低于 500ms;语音生成支持 35+ 种语言和 50+ 种方言,可按上下文调整情绪、语速和重音。

推荐理由:Mistral 将语音识别、推理、工具调用和语音生成整合为流式管线,各阶段模型可独立替换,减少更换语言或声音时重写智能体的需求。

10月15日星期四

AI HOT · 产品

xAI 发布 Grok Voice 3.0,语音智能体 API 价格保持不变

xAI 发布语音到语音模型 Grok Voice 3.0,今日通过 Voice Agent API 开放,延迟低于一秒。它在 Artificial Analysis 的 Speech-to-Speech Index 中以 86.9 排名第一,在 τ-Voice 中达到 71.6%,表现与 GPT-Live-1 (Astra) 相近、延迟低 40%。

推荐理由:xAI 的 Grok Voice 3.0 在客服通话测试中达到与 GPT-Live-1 相近的表现,同时将延迟降低了 40%。

10月13日星期二

Hacker News 首页

Apple HomeView 内置 Siri AI,支持个性化助手与智能家居控制

Apple HomeView 内置由 Apple Intelligence 驱动的 Siri AI,结合个人上下文、知识问答和智能家居控制提供家庭助手体验。设备配备 A18 芯片和 7-inch Liquid Retina 显示屏,可识别最多六位用户;访问个人内容需配对的 iPhone 或 iPad 连接同一 Wi-Fi、近期已解锁,并通过人脸识别。

推荐理由:Apple HomeView 将个性化助手接入家庭共享设备,通过人脸识别与配对设备访问条件,将个人内容与访客可用功能分开。

10月9日星期五

Simon Willison

Simon Willison 如何用 Codex 语音模式构建博客新闻通讯索引

Simon Willison 几乎全程用 Codex 语音模式构建博客 Newsletters 索引,随后通过键盘提示和代码审查完成部署。他在做饭时使用 ChatGPT 桌面应用的 Codex 标签页与 GPT-6 Astra High 交谈,约半小时内完成 Django 数据模型、四种导入、归档页面和搜索集成,再花半小时修正私有 GitHub 仓库的 API 导入及页面展示。

推荐理由:Simon Willison 用 Codex 语音模式完成博客功能主体,再用键盘审查和修正导入代码,将语音开发与细节处理分开。

10月2日星期五

Google 博客 · Gemini

Google 推出 Gemini Live Guided Vision,为 Android 用户提供无障碍视觉辅助

Google 推出 Gemini Live 的 Guided Vision 功能,通过实时视觉描述和语音取景提示,为盲人、低视力用户及需要视觉辅助的人提供帮助。

推荐理由:Google 为 Gemini Live 加入实时视觉描述与取景语音提示,让盲人和低视力用户能通过对话获取日常视觉信息。

9月30日星期三

AI HOT · 模型

ElevenLabs 发布高表现力语音模型 Eleven v4 及低延迟 Turbo 版

ElevenLabs 发布文本转语音模型 Eleven v4 和低延迟版本 Eleven v4 Turbo,增强情绪表达、说话人一致性与多说话人对话能力。两款模型支持超过 90 种语言,Instant Voice Clones 仅需 10 秒音频;Turbo 的推理延迟中位数约为 100ms,从请求到可听语音的时间中位数约为 150ms。

推荐理由:ElevenLabs 将情绪控制与低延迟语音结合进 Eleven v4 Turbo,让语音智能体在快速响应时也能保留更自然的表达。

9月25日星期五

Google DeepMind

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,实现带唇形同步、自然表情和流畅轮次切换的动态视觉形象。

推荐理由:Gemini 3.8 Live 在实时对话模型上加入近实时视频生成,支持唇形同步与97种语言切换,并可在对话中异步调用工具,展示了企业级多模态交互的当前形态。

TechCrunch · AI

谷歌开始测试让 Gemini 替你打电话给商家,目前仅限美国 Pixel 11 用户

Google 开始测试名为 Call for Me 的新功能,让 Gemini 代替用户给商家打电话。该功能首批面向美国付费订阅 Gemini 的 Pixel 11 用户,并需使用 Google Phone 应用 Android 测试版。

推荐理由:谷歌开始测试 Call for Me,让 Gemini 代用户致电商家,首批仅限美国付费订阅的 Pixel 11 用户,需搭配测试版电话应用。

9月24日星期四

Google 博客 · Gemini

Google 推出 Gemini 3.8 Live with Live Avatar,已在 Gemini Enterprise 提供

Google 推出 Gemini 3.8 Live with Live Avatar,将近实时视频生成与原生实时对话结合,即日起在 Gemini Enterprise 提供。它可同时处理视觉和音频输入,在持续对话时异步调用工具,并支持在 97 种语言间切换时同步调整口型与表情。企业可使用预设形象或通过参考图像定制形象,定制创建目前仅向企业许可名单开放,生成的音频和视频嵌入 SynthID 水印。

推荐理由:Google 将实时语音对话与动态虚拟形象结合,并支持在持续交谈时后台调用工具,让企业客服和交互式引导无需为取数中断对话。

Latent Space

Meta Connect 2026:Muse 助手登陆眼镜,支持语音和视频,还多了个叫 Charm 的新硬件

Meta 在 Connect 2026 上把个人智能体 Muse 作为硬件加智能体战略的核心,发布新眼镜并预告但未发布新前沿模型。Muse 新增语音与实时视频能力,可后台处理任务,并将以唤醒词登陆所有 Meta 眼镜;Muse Mail 为每个 Muse 分配独立邮箱,Mac 版支持 computer use。

推荐理由:Meta 在 Connect 2026 上把 Muse 助手接入眼镜,新增语音与实时视频能力,并预告独立邮箱与 Mac 端操控,展示其硬件加智能体的落地路径。

The Verge · AI

Meta 亮出 Muse Charm:一个不带表带的 AI 小屏设备,靠指纹唤醒语音

Meta 在 Connect 大会结尾快速展示了一款叫 Muse Charm 的独立 AI 硬件,专门跑自家的 Muse 智能体。它长得像一块摘掉表带的厚智能手表,配了根挂绳。右上角有指纹传感器,按下去就能直接说话下指令,不用掏手机解锁。正面至少开了三个麦克风孔,还塞了一颗小摄像头。正文没公布价格、续航和上市时间,目前只是露个脸。

推荐理由:Meta 在 Connect 大会结尾展示了独立 AI 硬件 Muse Charm,指纹一按即可直接对 Muse 智能体说话,省去解锁手机这一步,这是继 Ray-Ban 智能眼镜后 Meta 对 AI 硬件形态的又一次尝试。

The Verge · AI

Meta 要把 Muse AI 助手塞进智能眼镜,喊名字就能唤醒

Muse 上线才两周,Meta 就说正在把它往智能眼镜里搬,包括 Connect 大会上新发布的款式。用法很简单:喊一声 Muse,就能让它带着你做运动、记吃了什么,或者帮你看看眼前的东西值不值得买。眼镜还会加一个听力增强功能,Meta 说已经过了 FDA 认证,给轻度到中度听损的成年人用。不过正文没提什么时候上线,也没说哪些型号能用上 Muse。

推荐理由:Meta 宣布正把上线两周的 Muse 助手接入智能眼镜,用户喊名字就能让它带练、记餐或比价,眼镜同时加入面向轻中度听损成人的听力增强功能。

AI HOT 精选

GPT Voice 能帮你发邮件、查日历、调 Slack 了,还进了 ChatGPT Work

Greg Brockman 宣布 GPT Voice 获得重大升级,现在可以使用邮箱、日历、Slack 等工具,由 GPT-6 Astra、Sol 和 Luna 驱动。语音功能已登陆网页端和移动端的 ChatGPT Work,用户可仅通过语音在浏览器中创建文档、演示文稿、网站和表格或处理复杂任务,今日起在全球最新版应用中推出。

推荐理由:Greg Brockman 宣布 GPT Voice 升级后可调用邮箱、日历和 Slack,并登陆 ChatGPT Work,语音由此从对话延伸到实际办公操作。

AI HOT 精选

ChatGPT Voice 现在能直接操作你的邮箱、日历和 Slack,说是由 GPT-6 的几个模型驱动

OpenAI 宣布 ChatGPT Voice 升级,可使用邮件、日历和 Slack 等插件,并由 GPT-6 Astra、Sol、Luna 驱动。语音现已支持 ChatGPT Work 的 web 和移动端,可在浏览器中仅通过说话创建 docs、decks、sites 和 spreadsheets 或处理复杂任务。当天起在全球最新版应用中推出。

推荐理由:OpenAI 将语音接入邮件、日历和 Slack 插件,并称由三个 GPT-6 模型驱动,语音在 ChatGPT Work 网页和移动端可仅靠说话生成文档、演示、站点和表格。

AI HOT 精选

ChatGPT 语音版接入邮件、日历和 Slack,底层换成了 GPT-6 系列模型

OpenAI 宣布 ChatGPT Voice 更新,即日起在最新版应用全球推送。语音功能现可使用邮件、日历和 Slack 等插件,并由 GPT-6 Astra、Sol 和 Luna 模型驱动。语音还可在网页和移动端的 ChatGPT Work 中使用,仅通过说话即可在浏览器中创建文档、演示文稿、网站和表格,或处理复杂任务。

推荐理由:ChatGPT 语音接入邮件、日历和 Slack 插件,并由 GPT-6 系列模型驱动,办公场景下的语音操作从对话延伸到跨应用任务处理。

8月10日星期一

Hacker News 首页

Kinney Drugs 因数百起投诉叫停 AI 电话助手

连锁药店 Kinney Drugs 上线三个月的 AI 电话助手 Burt 被紧急撤回,原因是顾客投诉电话内容混乱、报错剂量、漏掉处方提醒。总裁 John Marraffa 承认,合规不等于体验好,他们搞砸了。现在患者来电恢复传统的按键式系统,Burt 只保留在用户主动订阅的续方短信通知里。报道没提底层用的是哪家模型或语音供应商。

推荐理由:连锁药店 Kinney Drugs 因剂量报错、处方提醒漏发等数百起投诉撤回上线三个月的 AI 电话助手,总裁公开承认合规不等于体验好,医疗场景的落地边界由此具体可见。

7月28日星期二

Ben's Bites

Claude Opus 5 发布,价格只有 Fable 5 的一半,但早期用户吐槽它爱抬杠、爱提前收工

Anthropic 发了新模型 Claude Opus 5,定价直接砍半,号称能力接近 Fable 5。但 Every 的评测发现它用起来很别扭:会跟人争论、任务没做完就停,还跟老一套的提示词技巧犯冲。有意思的是,同一个人嘴上说讨厌,盲测打分时却把 Opus 5 排在了第一。

推荐理由:Anthropic 发布 Claude Opus 5,定价较 Fable 5 砍半,Every 的评测记录下它爱争论、任务未完成即停的表现,同一评测者盲测却将其排在第一。

7月24日星期五

TechCrunch · AI

ChatGPT 桌面端终于能听懂人话并直接操作电脑了

OpenAI 把月初发布的 ChatGPT-Live 语音模型搬到了桌面应用上。现在你可以直接用嘴指挥 ChatGPT,让它操作智能体、浏览网页,或者在 macOS 上通过 Appshots 读取屏幕内容。

推荐理由:OpenAI 将月初发布的 ChatGPT-Live 语音模型接入桌面应用,用户可用语音指挥它操作智能体、浏览网页,并在 macOS 上通过 Appshots 读取屏幕内容。