跳到正文

#语音

今日 0 条

11月12日星期四

11月11日星期三

The Decoder

DeepL 用 Aure 模型让实时语音翻译捕捉讽刺与情绪变化

DeepL 的新模型 Aure 将原说话者的语气、情绪、重音和语速传递到目标语言,让 DeepL Voice 的实时翻译更自然。旧方案只在对话开始时采集静态声音样本,Aure 则随对话持续分析译文和原始音频,训练时分别处理声音身份、语调和内容,并通过强化学习避免输出带有口音。

11月8日星期日

11月6日星期五

TechCrunch · AI

Underdog 展示 32MB 语音模型 Woof 的游戏演示

Underdog 推出基于新语音生成模型 Woof 的浏览器游戏演示,该模型大小仅为 32MB,拥有 31 million 参数并开放下载。用户可在游戏中的打字机输入文字并听到朗读,也可旋转调谐器生成不同音乐;公司称模型可在大多数设备上无需联网运行。几周前,Underdog 还推出了面向端侧转录和听写的 167 MB 语音转文字模型 Bark。

10月29日星期四

The Decoder

Nvidia 发布开放语音模型 Nemotron 3.5 Transcribe,整合转录、翻译与说话人识别

Nvidia 发布开放语音模型 Nemotron 3.5 Transcribe,通过文本指令整合转录、翻译、说话人识别及音频问答。

推荐理由:Nvidia 用以合成语音为主的数据微调医疗转录模型,将错误率从 23.8% 降至 11.8%,同时记录了通用英语准确率的损失。

10月28日星期三

AI HOT · 模型

Google 发布世界模型 Genie 4,支持实时操控与原生音频

Google 发布下一代世界模型 Genie 4,支持实时操控,并同步生成环境音与人物实时对话。相比 Genie 3,其照片级真实感和物体碰撞等物理模拟有明显进步。用户可用 WASD 和双摇杆控制角色或镜头,也可在运行中用自然语言修改天气、加入物体。

10月26日星期一

10月25日星期日

TechCrunch · AI

Block 发布语音模型 Dessa,笑声、停顿和哭声表现接近真人

Block 发布可本地运行的全双工语音模型 Dessa,支持同时听说,并展示了笑声、停顿和哭声等接近真人的表达。Block 称该模型完全使用人类语音和单张 NVIDIA GPU 训练,知识来自对话数据,情绪表达内置于模型。Dessa 可在 MacBook M4 Max 或更高配置的消费级电脑上运行,目前尚未公开开放,Block 正邀请安全研究人员测试。

10月24日星期六

The Decoder

Block 推出语音模型 Dessa:完全用人类语音训练,能捕捉文本模型遗漏的情绪

Block 发布 AI 语音模型 Dessa,号称首个完全基于人类语音、不含任何文本数据从零训练的模型,直接以音频处理语音,可实时捕捉情绪、讽刺、笑声和停顿。该模型支持全双工交流,可在 MacBook Pro M4 Max 本地运行,训练使用单台 NVIDIA GB200 NVL72。Dessa 尚未公开,团队正招募 AI 安全研究者测试其意外风险。

Hacker News 首页

Dessa:仅用语音训练的对话模型

Block 旗下 dessa.com 推出对话模型 Dessa,仅使用语音数据训练。该页面当前展示的是 Block 于 2026 年 10 月 21 日生效的隐私声明,说明其收集的姓名、邮箱、设备信息及使用数据,并列出与关联公司和第三方服务商共享信息的范围。

The Verge · AI

Jack Dorsey 的 Block 发布 Dessa,像略显尴尬的新朋友一样与你交谈

Jack Dorsey 的 Block 宣布语音模型 Dessa,仅用人类对话从零训练,演示交流大体自然,也出现认错人和突然跑题。团队称它是直接处理语音输入与输出的模型,所有知识均来自人类语音,可在 MacBook Pro M4 Max 或更高配置设备上本地运行。团队希望改善人与 AI 的理解及语音情绪识别相关安全问题,将向一小群 AI 安全研究人员提供早期访问权限。

10月21日星期三

The Decoder

Mistral AI 发布 Voxtral 3,整合实时语音智能体模型与 SDK

Mistral AI 发布面向实时语音智能体的 Voxtral 3 模型家族,将听取、思考、工具调用与说话整合进单一流式管线。系统包含 Voxtral Small Transcribe 3、Voxtral Mini TTS 3 和基于 LiveKit 的语音智能体 SDK,转录覆盖超过 50 种语言,语音输出支持超过 35 种语言及 50 种方言,并支持情绪适配。

Mistral AI

Mistral AI 发布 Voxtral 3 语音模型系列及语音智能体 SDK

Mistral AI 发布 Voxtral 3 语音识别与语音生成模型系列,并推出整合听取、推理、工具调用和发声的实时语音智能体 SDK。转录支持 50+ 种语言,实时转录延迟低于 500ms;语音生成支持 35+ 种语言和 50+ 种方言,可按上下文调整情绪、语速和重音。

推荐理由:Mistral 将语音识别、推理、工具调用和语音生成整合为流式管线,各阶段模型可独立替换,减少更换语言或声音时重写智能体的需求。

10月20日星期二

The Decoder

可灵发布 Kling 4.0,新增立体声音频、多语言口型同步及 Flash 版本

可灵发布 Kling 4.0,支持单次生成最长 30 秒视频、双声道立体声音频及超过 10 种语言的口型同步,并推出轻量版 Kling 4.0 Flash。主模型支持最多 10 张关键帧图像、8,000 tokens 提示词及最多 15 个参考素材,可通过 MCP 和 CLI 接入自动化工作流;Flash 侧重更快、更低成本的生成,上限为 720p、20 秒。

10月19日星期一

10月15日星期四

AI HOT · 产品

xAI 发布 Grok Voice 3.0,语音智能体 API 价格保持不变

xAI 发布语音到语音模型 Grok Voice 3.0,今日通过 Voice Agent API 开放,延迟低于一秒。它在 Artificial Analysis 的 Speech-to-Speech Index 中以 86.9 排名第一,在 τ-Voice 中达到 71.6%,表现与 GPT-Live-1 (Astra) 相近、延迟低 40%。

推荐理由:xAI 的 Grok Voice 3.0 在客服通话测试中达到与 GPT-Live-1 相近的表现,同时将延迟降低了 40%。

9月30日星期三

AI HOT · 模型

ElevenLabs 发布高表现力语音模型 Eleven v4 及低延迟 Turbo 版

ElevenLabs 发布文本转语音模型 Eleven v4 和低延迟版本 Eleven v4 Turbo,增强情绪表达、说话人一致性与多说话人对话能力。两款模型支持超过 90 种语言,Instant Voice Clones 仅需 10 秒音频;Turbo 的推理延迟中位数约为 100ms,从请求到可听语音的时间中位数约为 150ms。

推荐理由:ElevenLabs 将情绪控制与低延迟语音结合进 Eleven v4 Turbo,让语音智能体在快速响应时也能保留更自然的表达。

9月25日星期五

Google DeepMind

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,实现带唇形同步、自然表情和流畅轮次切换的动态视觉形象。

推荐理由:Gemini 3.8 Live 在实时对话模型上加入近实时视频生成,支持唇形同步与97种语言切换,并可在对话中异步调用工具,展示了企业级多模态交互的当前形态。

6月9日星期二

Google DeepMind

Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型

Google DeepMind 发布 Gemini 3.5 Live Translate,一款支持 70 多种语言的近实时语音到语音翻译音频模型,可自动检测语言并保留说话人的语调、节奏和音高。

推荐理由:Gemini 3.5 Live Translate 支持 70 多种语言的连续语音到语音翻译,并保留说话人的语调、节奏和音高,与逐句等待的系统形成对比。

AI HOT 精选

Gemma 4 12B 发布:一个模型直接看懂图文和音频,不用外挂编码器

Google DeepMind 开源了 Gemma 4 12B,一个 120 亿参数的多模态模型。它最大的变化是去掉了传统的独立视觉/音频编码器,把所有输入统一交给 Transformer 处理,架构更简单。模型能直接听懂语音,不再需要先转文字。官方说它用 Apache 2.0 协议开源,在 16GB 显存或统一内存的笔记本上就能跑。

推荐理由:Google DeepMind 开源 Gemma 4 12B,去掉独立视觉和音频编码器,统一由 Transformer 处理图文语音,16GB 显存即可运行。

6月6日星期六

r/LocalLLaMA

开源模型这周炸了:25+ 个开放权重模型一口气放出,覆盖文本、图像、语音

Victor M 在 X 上整理了一份清单,过去一周有超过 25 个开放权重的模型发布,几乎覆盖了所有模态。其中最扎眼的是 NVIDIA 的 Nemotron 3 Ultra,一个 550B 参数的混合架构(Mamba-MoE),每次推理只激活 55B 参数,上下文窗口能塞进 100 万个 token。

推荐理由:过去一周开放权重模型发布超过 25 个,覆盖文本、图像、语音等模态,其中 NVIDIA 的 Nemotron 3 Ultra 以 550B 参数、55B 激活和 100 万 token 上下文,展示了混合架构的当前规模。

r/LocalLLaMA

RedNote 开源 dots.tts:一个 20 亿参数的语音合成模型,支持 48kHz 和零样本声音克隆

RedNote 放出了一个叫 dots.tts 的语音合成模型,参数量 20 亿,用 Apache 2.0 协议开源。它走的是全连续架构,文字直接映射到语音,跳过了传统的音素流水线,合成采样率能到 48kHz。零样本声音克隆也支持,给一段参考音频就能模仿说话。

推荐理由:RedNote 以 Apache 2.0 协议开源 20 亿参数的 dots.tts,采用文字直接映射语音的全连续架构,支持 48kHz 输出和零样本声音克隆。

AI HOT 精选

Google AI 本周连发六弹:笔记本能跑的多模态模型、帮你读论文的科研助手、还有开源实时音乐模型

Google AI 这周一口气更新了六样东西。Nano Banana 2 和 Pro 版正式上线,走 Gemini 企业平台、API 和 AI Studio 就能用。Co-Scientist 是一个多智能体系统,专门帮科研人员自动生成和优化新假设,相当于有个助手帮你读文献、想点子。

推荐理由:Google AI 一周内上线 Nano Banana 2 与 Pro、多智能体科研助手 Co-Scientist 等六项更新,覆盖多模态生成与科研假设优化,可快速了解其产品线的最新布局。

6月5日星期五

AI HOT 精选

Google 开源了实时音乐模型 MRT2,在 MacBook 上延迟不到 200 毫秒

Google AI for Developers 放出了一个叫 Magenta RealTime 2(MRT2)的实时音乐模型,权重开放,推理引擎也开源了。你可以用 MIDI 键盘弹、打字给提示词,甚至用手势控制它来生成音乐。它在 MacBook 上原生跑,延迟压到了 200 毫秒以内,这个速度对实时演奏来说基本跟手。

推荐理由:Google 开源 Magenta RealTime 2 的权重与推理引擎,支持 MIDI、提示词和手势生成音乐,在 MacBook 上原生运行延迟低于 200 毫秒。

6月4日星期四

AI HOT 精选

Miso One 开源了一个 8B 参数的语音模型,克隆声音只需一小段样本,延迟 110 毫秒

Miso One 放出了一个 8B 参数的开源 TTS 模型,主打一次语音克隆——给它一小段音频样本就能模仿那个人的说话风格和节奏。推理延迟标称 110ms,对实时对话场景算可用。模型权重直接挂在 GitHub 上,你可以自己部署,音频数据不用上传到第三方服务器。官方说 API 之后会出,但正文没提价格和上线时间。

推荐理由:Miso One 开源了 8B 参数的语音克隆 TTS 模型,一小段音频样本即可模仿说话风格,标称 110 毫秒延迟,权重挂在 GitHub 上支持自行部署。

6月1日星期一

r/LocalLLaMA

有人把英伟达 Parakeet 语音转文字模型移植到了 ggml,不再需要 Python,还能量化压缩

开发者 mudler_it 把英伟达的 Parakeet 语音转文字模型用 C++ 和 ggml 重写了一遍,彻底甩掉了 Python 和 PyTorch。他测试下来,在 f32 和 f16 精度下输出结果和原版 NeMo 逐字节一致,但速度更快,大一点的 TDT 和混合模型在 GPU 上能跑到大约 5 倍加速。

推荐理由:开发者用 C++ 和 ggml 重写了英伟达 Parakeet 语音转文字模型,去掉 Python 与 PyTorch 依赖,f32 和 f16 精度下输出与原版 NeMo 逐字节一致,GPU 上大模型约 5 倍加速。

5月30日星期六

AI HOT 精选

OpenAI 放出一个实时翻译语音模型,70 多种语言输入,13 种语言输出

OpenAI 发了 gpt-realtime-translate,一个专门做语音翻译的模型。你对着它说 70 多种语言里的任意一种,它能直接用 13 种目标语言把语音播出来。OpenAI 说大模型虽然强,但特定任务还是得上专用模型。目前这个功能已经在智能眼镜上跑起来了,不过正文没披露延迟、准确率和具体硬件细节。

推荐理由:OpenAI 发布专做语音翻译的 gpt-realtime-translate,支持 70 多种语言输入、13 种语言输出,并已落地智能眼镜,可了解专用模型在实时翻译场景的取舍。

5月29日星期五

AI HOT 精选

小米开源 ControlFoley:给视频配音效,可以按你写的提示词或给的参考音频来

小米大模型应用团队放出了一个叫 ControlFoley 的视频音效生成模型,权重和代码都开源了。它主要解决一个问题:以前模型只能看画面自动猜配什么声音,创作者没法干预。ControlFoley 支持三种用法——用文字描述想要的音效、用文字强行覆盖画面里原有的声音、或者上传一段参考音频让它模仿音色和风格,同时还能保证声音和画面动作对得上。

推荐理由:小米开源 ControlFoley,让视频音效从只能由模型自动猜测变为可用文字或参考音频指定,同时保持声音与画面动作对齐。

5月22日星期五

AI HOT 精选

网易有道把“子曰4”的多模态模型和语音合成模型都开源了

这次开源的是一个270亿参数的多模态模型和一个语音合成模型。多模态模型主要针对教育场景,能看懂带图表的数学题,在纯中文数理难题上准确率81.4%。团队用精简过的推理样本做训练,把模型思考过程的输出长度压缩了43.2%,所以回答同样的问题,吐出的token更少、推理更快,直接效果就是推理成本会降下来。

推荐理由:网易有道开源270亿参数多模态模型与语音合成模型,前者面向教育场景,在纯中文数理难题上准确率达81.4%,训练中压缩思考过程输出长度43.2%,推理成本随之下降。

AI HOT 精选

智谱发布 GLM-5.1 高速版,API 输出冲到每秒 400 个 token

智谱在 5 月 22 日给部分企业客户开放了 GLM-5.1-highspeed 接口,输出速度标称 400 tokens/s,说是目前大模型厂商里最快的。过去跑得快的模型通常能力会打折,这次智谱声称把旗舰模型的能力和低延迟同时塞进了生产环境。提速主要靠 GLM 团队和 TileRT 团队在三个层面做的系统优化:推理引擎重写了核心路径来提升单卡吞吐。

推荐理由:智谱向部分企业客户开放 GLM-5.1 高速版接口,标称输出速度达每秒 400 个 token,其提速来自推理引擎核心路径重写等系统优化,可用于观察旗舰模型能力与低延迟在生产环境中的取舍。

5月20日星期三

AI HOT 精选

Stability AI 发布 Stability Audio 3.0,能生成超过 6 分钟的专业歌曲

Stability AI 发了四个新音频模型,最小的两个(4.59 亿参数)能在手机或电脑本地跑,生成两分钟以内的声音和音乐。中型(14 亿参数)和大型(27 亿参数)模型能把完整歌曲拉到 6 分 20 秒,比上一代翻了一倍多。小号和中号模型已经开源,大号模型只走 API 和付费托管,年收入超 100 万美元的公司必须买商业授权。

推荐理由:Stability AI 发布四款音频模型,最小的两款可在本地运行,中大型模型把生成时长拉到 6 分 20 秒,比上一代翻倍,小号和中号已开源。

5月19日星期二

r/LocalLLaMA

有人租了 21 款 GPU 跑同一个 5GB 显存的小 TTS 模型,实测速度差距

一位 Reddit 用户为了测 OmniVoice 这个小 TTS 模型,在 vast.ai 上租了 21 款不同的 GPU。模型跑起来显存峰值大概 5GB,不算大。测试用 xRT 作为音频生成速度的指标,每张卡都跑了 3 次带参考音频的声音克隆取平均。

推荐理由:一位 Reddit 用户在 vast.ai 租用 21 款 GPU,对峰值显存约 5GB 的 OmniVoice 小模型做声音克隆速度测试,每张卡跑 3 次取平均,为自建语音合成环境的人提供显卡选择参考。

5月12日星期二

AI HOT 精选

Mira 的新公司 Thinking Machines 发了个原生多模态交互模型,前台 200 毫秒一响应,后台跑长线推理

这个模型把音频、视频、文字直接吃进去,不用再靠 agent 把一堆独立模型串起来。前台交互模型每 200 毫秒处理一次输入,保持对话的实时感,用户可以随时打断;后台推理模型负责长程规划和调工具。正文没披露具体参数量、训练数据和成本,也没给评测对比,所以实际效果和泛化能力还得看后续公开信息。

推荐理由:Thinking Machines 发布原生多模态交互模型,前台每 200 毫秒响应一次并支持随时打断,后台模型负责长程规划与调用工具,其分层设计为实时多模态协作提供了一种架构思路。

5月7日星期四

OpenAI News

OpenAI 在 API 里上线了三款实时语音模型,能边听边推理、翻译和转写

OpenAI 这次发了三个新模型:GPT‑Realtime‑2 是带 GPT‑5 级推理能力的语音模型,能处理更复杂的请求,说话中间可以插话、改主意,它还能边想边回一句“我查一下”,同时调用多个工具;GPT‑Realtime‑Translate 做实时翻译,支持 70 多种输入语言转 13 种输出语言,语速跟得上说话人。

推荐理由:OpenAI 在 API 上线三款实时语音模型,GPT‑Realtime‑2 支持边推理边调用多个工具,GPT‑Realtime‑Translate 覆盖 70 多种输入语言转 13 种输出语言。

4月29日星期三

X · @dotey(宝玉)

微软开源语音模型 VibeVoice-ASR 实测:一小时播客 8 分 45 秒转完,但 32GB 内存的 Mac 跑不动

Simon Willison 在 128GB 内存的 M5 Max MacBook Pro 上跑了社区做的 4-bit 量化版 VibeVoice-ASR,模型大小 5.71GB。转写一小时播客用了 8 分 45 秒,prefill 阶段内存峰值冲到 61.5GB,生成阶段稳定在 18GB 左右,所以普通 32GB 笔电基本没戏。

推荐理由:Simon Willison 在 128GB 内存的 M5 Max 上实测微软开源的 VibeVoice-ASR,转写一小时播客耗时 8 分 45 秒,prefill 阶段内存峰值达 61.5GB,为本地部署提供了硬件门槛参考。

4月28日星期二

量子位 · 公众号

小米开源 MiMo-V2.5 系列模型,Pro 版 4 小时无人工干预搭出一个 macOS 桌面

小米把 MiMo-V2.5 系列的权重放出来了,包含 Pro Agent、多模态基座、TTS 和 ASR 几个模型。MiMo-V2.5-Pro 在 4.3 小时内连续调用了 672 次工具,在 SysY 基准上拿了满分 233 分,全程没让人接手,直接跑通了一个带 54 个应用的类 macOS 桌面。

推荐理由:小米开源 MiMo-V2.5 系列权重,其中 Pro 版在 4.3 小时内连续调用 672 次工具、无人工干预跑通带 54 个应用的类 macOS 桌面,展示了开源 Agent 在长程任务上的执行能力。