#语音

今日 0 条

昨天 · 9月29日星期二

The Decoder9/29 22:45

ElevenLabs 发布 Eleven v4 语音模型，并推出面向实时语音智能体的 Turbo 版本

ElevenLabs 发布 Eleven v4 语音模型，能更准确跟随脚本中的情绪、停顿与音效标签，并在长篇制作中保持音色一致。新架构同时驱动 Turbo 版本，官方测试中约 150 毫秒开始输出语音，对比 Cartesia Sonic 3.6 的 262 毫秒和 OpenAI GPT-4o mini TTS 的 814 毫秒。

9月25日星期五

Google DeepMind9/25 00:20

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在原生实时对话模型上加入近实时视频生成，实现带唇形同步、自然表情和流畅轮次切换的动态视觉形象。

推荐理由：原文给出 Live Avatar 的实时视频对话能力、异步工具调用与 97 语言支持，可据此判断企业级多模态交互的落地形态。

6月9日星期二

Google DeepMind6/9 23:16

Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型

Google DeepMind 发布 Gemini 3.5 Live Translate，一款支持 70 多种语言的近实时语音到语音翻译音频模型，可自动检测语言并保留说话人的语调、节奏和音高。

推荐理由：原文给出模型的语言覆盖、实时翻译机制与多产品上线节奏，可据此判断语音翻译的可用边界。

AI HOT 精选6/9 22:10

Gemma 4 12B 发布：一个模型直接看懂图文和音频，不用外挂编码器

Google DeepMind 开源了 Gemma 4 12B，一个 120 亿参数的多模态模型。它最大的变化是去掉了传统的独立视觉/音频编码器，把所有输入统一交给 Transformer 处理，架构更简单。模型能直接听懂语音，不再需要先转文字。官方说它用 Apache 2.0 协议开源，在 16GB 显存或统一内存的笔记本上就能跑。性能方面，正文没给...

推荐理由：我会先打个折：正文没给性能对比和具体 benchmark，所以没法判断它到底多强。但架构上的变化是实打实的——把视觉和音频编码器都砍掉，统一用 Transformer 处理，等于简化了管线，也降低了工程复杂度。能在 16GB 显存或统一内存的笔记本上跑，对个人开发者和中小企业是个实在的卖点。原生语音输入意味着不用再串一个 ASR 模块，做语音助手或实时对话应用会更轻量。Apache 2.0 协议也扫清了商用顾虑。整体看，这是一个有明确技术亮点的开源发布，但缺少性能验证，激动之前得等实测数据。

锐评

Google DeepMind 开源了 Gemma 4 12B，一个 120 亿参数的多模态模型。它最大的变化是把传统的视觉、音频编码器全砍了，所有输入直接扔给 Transformer 处理，架构更简单。模型能直接听懂语音，不用先转文字，而且用 Apache 2.0 协议开源，官方说在 16GB 显存或统一内存的笔记本上就能跑。

但这条消息最该打折的地方是：正文没给任何基准测试成绩。一个号称“统一多模态”的模型，发布博客里连一张跑分表都没有，只说了架构怎么变、协议怎么友好。没有对比数据，就没法判断它到底比上一代强多少，或者跟同尺寸的其他模型比是什么水平。

还缺几个关键信息：语音理解的延迟和准确率没提，多模态任务的具体表现没提，训练数据构成也没交代。想上手试的人可以先跑跑看，但做选型决策的话，得等第三方评测出来再说。

6月6日星期六

r/LocalLLaMA6/6 17:53

开源模型这周炸了：25+ 个开放权重模型一口气放出，覆盖文本、图像、语音

Victor M 在 X 上整理了一份清单，过去一周有超过 25 个开放权重的模型发布，几乎覆盖了所有模态。其中最扎眼的是 NVIDIA 的 Nemotron 3 Ultra，一个 550B 参数的混合架构（Mamba-MoE），每次推理只激活 55B 参数，上下文窗口能塞进 100 万个 token。不过正文被 Reddit 的安全策略拦住了，具体还...

推荐理由：我会先打个折：消息源是 X 上的个人整理，Reddit 原文还被安全策略拦了，具体细节没法交叉验证。但一周 25+ 个开放权重模型这个密度本身就值得关注，NVIDIA 那个 550B 的 Nemotron 用 Mamba-MoE 架构，激活参数只有 55B，上下文能塞 100 万 token，如果实测靠谱，推理成本会省不少。这点先别太激动，等完整评测出来再说。

锐评

这条消息本身是个信号：一周内 25 个以上开放权重模型发布，说明开源生态的弹药库还在快速膨胀。最值得盯的是 NVIDIA 的 Nemotron 3 Ultra，550B 总参数但用 Mamba-MoE 混合架构把每次推理的激活参数压到 55B，这意味着跑起来对显存的要求可能比同体量密集模型友好不少，100 万 token 的上下文窗口也直接对标了当前闭源模型的上限。

但问题在于信息缺口很大。Reddit 原文被安全策略拦截，我们看不到 Victor M 原帖里的具体清单、基准测试分数、许可证类型，也不知道这 55B 激活参数在实际推理时吞吐量和延迟表现如何。混合架构在长文本场景下的稳定性、幻觉率这些关键指标，正文都没披露。

我会先打个折：参数规模和架构听着唬人，但没实测数据之前，只能当一条值得追踪的线索。如果你在选型，建议等一手技术报告和社区跑分，别急着冲。

r/LocalLLaMA6/6 04:21

RedNote 开源 dots.tts：一个 20 亿参数的语音合成模型，支持 48kHz 和零样本声音克隆

RedNote 放出了一个叫 dots.tts 的语音合成模型，参数量 20 亿，用 Apache 2.0 协议开源。它走的是全连续架构，文字直接映射到语音，跳过了传统的音素流水线，合成采样率能到 48kHz。零样本声音克隆也支持，给一段参考音频就能模仿说话。不过 Reddit 原帖被屏蔽了，正文没披露训练数据、推理延迟和实际合成效果的具体指标，这点先...

推荐理由：HKR 三项都过了，但得先打个折：信息源是 Reddit 摘要，原帖还被屏蔽了，SOTA 的说法没给出具体基准名称或分数。Apache 2.0、20 亿参数、48kHz 和无音素流水线这些点够硬，给个低位的 featured 没问题。正文没披露训练数据、推理延迟和实际合成效果，这些缺口让判断得收着点。

锐评

dots.tts 把文字直接映射到语音，省掉了传统 TTS 里先转音素再合成的中间步骤，架构上更简洁。20 亿参数在语音模型里算大块头，支持 48kHz 采样率和零样本声音克隆，给段参考音频就能模仿说话，Apache 2.0 协议商用也友好。

但 Reddit 原帖被屏蔽了，我们只能看到标题和摘要，正文没披露训练数据来源、推理延迟、显存占用和合成质量的客观指标。没有这些，光说“SOTA”说服力不够。零样本克隆的相似度、长文本稳定性、多语言支持情况也一概不知。

我会先打个折：架构思路有看点，但实际能不能用、好不好用，得等模型权重放出来跑过才知道。如果 RedNote 后续补上技术报告和评测，这条才值得认真跟。

AI HOT 精选6/6 01:01

Google AI 本周连发六弹：笔记本能跑的多模态模型、帮你读论文的科研助手、还有开源实时音乐模型

Google AI 这周一口气更新了六样东西。Nano Banana 2 和 Pro 版正式上线，走 Gemini 企业平台、API 和 AI Studio 就能用。Co-Scientist 是一个多智能体系统，专门帮科研人员自动生成和优化新假设，相当于有个助手帮你读文献、想点子。Google Labs 出了个 dreambeans，会扒你的 Goog...

推荐理由：HKR 三项都踩中了：帖子一口气打包了 Google AI 六个更新，本地部署和开源这两个点对从业者很实在。正文没给基准测试、授权条款和定价细节，所以分数卡在 76，没往上走。

锐评

这波更新里，Gemma 4 12B 最值得关注。它是个统一多模态模型，不用额外编码器就能处理图像和文本，而且能在笔记本上完全离线运行。这意味着部署门槛低，对数据敏感的团队可以直接本地跑，不用联网。但正文没披露具体推理速度和内存占用，实际体验还得等实测。

Co-Scientist 听起来像给科研人员配了个自动读文献、提假设的助手，但多智能体系统在实际科研流程里能不能稳定产出靠谱假设，正文没给验证数据，这点先别太激动。dreambeans 会基于你的 Google 应用数据生成个性化话题，功能有意思，但隐私边界模糊——它到底读了哪些数据、怎么存、能不能关，正文全没提。

Magenta RealTime 2 开源了实时音乐模型，支持 MIDI 键盘和手势演奏，对音乐技术开发者是好事。整体看，这周更新铺得广，但每项都缺关键细节：性能指标、隐私说明、实际用例验证，这些缺口让判断得打折。

6月5日星期五

AI HOT 精选6/5 02:32

Google 开源了实时音乐模型 MRT2，在 MacBook 上延迟不到 200 毫秒

Google AI for Developers 放出了一个叫 Magenta RealTime 2（MRT2）的实时音乐模型，权重开放，推理引擎也开源了。你可以用 MIDI 键盘弹、打字给提示词，甚至用手势控制它来生成音乐。它在 MacBook 上原生跑，延迟压到了 200 毫秒以内，这个速度对实时演奏来说基本跟手。配套还给了应用和插件套件，到手就能...

推荐理由：HKR 三项都过：Google Magenta MRT2 有实打实的实时音频钩子、开放权重和低于 200ms 的本地延迟。对创意 AI 开发者吸引力很强，但本质上是一封公开信和政策诉求，不是已生效的法律，法案文本和执行时间表都没披露，所以放在 featured 而不是更高一级。

锐评

MRT2 最实在的地方是延迟压到了 200 毫秒以内，这个数字对实时演奏来说基本跟手，不会让你弹完一个音等半天才出声。模型权重和推理引擎都开源，意味着你可以自己部署、改参数，不用被云服务绑死。配套给了应用和插件套件，降低了上手门槛，不是只扔个模型让你自己折腾。

不过正文没披露模型的具体参数量、训练数据规模和版权处理方式，这些直接决定生成音乐的质量天花板和商用风险。也没提除了 MacBook 之外其他硬件的表现，Windows 或 Linux 上能不能跑到同样延迟还是未知数。手势控制的精度和延迟也没给具体数据，这点先别太激动。

整体看，这是一个把实时 AI 音乐生成从实验室推到桌面级的尝试，开源和低延迟是核心卖点。但缺了训练数据和版权说明，商用前得自己掂量。

6月4日星期四

AI HOT 精选6/4 00:32

Miso One 开源了一个 8B 参数的语音模型，克隆声音只需一小段样本，延迟 110 毫秒

Miso One 放出了一个 8B 参数的开源 TTS 模型，主打一次语音克隆——给它一小段音频样本就能模仿那个人的说话风格和节奏。推理延迟标称 110ms，对实时对话场景算可用。模型权重直接挂在 GitHub 上，你可以自己部署，音频数据不用上传到第三方服务器。官方说 API 之后会出，但正文没提价格和上线时间。

推荐理由：我会先打个折：这是单条推文来源的发布，没有跑分对比、没写许可证细节、也没有第三方复现结果。但8B参数、110ms延迟、能自托管的一次语音克隆这几个事实本身够硬，放在featured刚好，再往上就缺验证了。

锐评

Miso One 放出了一个 8B 参数的开源语音合成模型，核心卖点是给一小段音频就能模仿说话风格，推理延迟标称 110 毫秒，对实时对话场景勉强够用。模型权重直接挂在 GitHub 上，音频不用上传第三方，这对在意数据隐私的团队是个加分项。

不过正文只说了这些，没披露克隆质量的具体指标，比如相似度评分、在不同口音或噪音下的表现。也没提中文支持情况，如果主要面向英文场景，国内开发者得自己调。官方说 API 之后会出，但价格和上线时间都没给，想直接接服务的人还得等。

我会先打个折：开源自部署是好事，但 8B 参数跑在本地对硬件有要求，110ms 延迟是在什么设备上测的也没说。想用在实时对话里，最好自己拿目标场景压测一下。

6月1日星期一

r/LocalLLaMA6/1 04:35

有人把英伟达 Parakeet 语音转文字模型移植到了 ggml，不再需要 Python，还能量化压缩

开发者 mudler_it 把英伟达的 Parakeet 语音转文字模型用 C++ 和 ggml 重写了一遍，彻底甩掉了 Python 和 PyTorch。他测试下来，在 f32 和 f16 精度下输出结果和原版 NeMo 逐字节一致，但速度更快，大一点的 TDT 和混合模型在 GPU 上能跑到大约 5 倍加速。模型还支持 GGUF 量化，提供了 f1...

推荐理由：我会先打个折：这是个人移植项目，不是 NVIDIA 官方出品，长期维护和后续模型支持还得看社区。但亮点很明确——输出字节级对齐 NeMo，量化后跑得更快，而且不用碰 Python 环境。对想在树莓派、本地服务器或离线场景跑语音转文字的人来说，这是个省事的选择。正文没披露量化后的精度损失有多大，这点先别太激动。整体看，技术验证扎实，痛点打得准，放在 featured 低位合适。

锐评

这条消息对想在本地或自有服务器上跑语音转文字的人来说是个实打实的好消息。开发者 mudler_it 把英伟达的 Parakeet 模型移植到了 ggml 框架上，用 C++ 重写，彻底告别了 Python 和 PyTorch 那套重型依赖。他测试的结果是，在 f32 和 f16 精度下，输出结果和原版 NeMo 能做到逐字节一致，但速度更快，大一点的 TDT 和混合模型在 GPU 上能跑到大约 5 倍加速。模型还支持 GGUF 量化，提供了从 f16 到 q4_k 多种精度，意味着你可以根据硬件显存大小自己选，低配机器也能跑。

不过得先打个折。这条信息来自 Reddit 用户自述，正文因为网络限制没抓到完整内容，我们看不到具体的测试环境、硬件配置和延迟数据。5 倍加速是在什么显卡上跑的、对比的基线是什么版本，这些关键细节都缺失。另外，Parakeet 本身是英伟达的模型，这个移植版是社区行为，后续能不能跟上官方更新、有没有人长期维护，都是未知数。如果你打算用在生产环境，建议先拿自己的音频样本跑一遍，重点对比准确率和资源占用，别只看加速倍数就上头。

5月30日星期六

AI HOT 精选5/30 04:03

OpenAI 放出一个实时翻译语音模型，70 多种语言输入，13 种语言输出

OpenAI 发了 gpt-realtime-translate，一个专门做语音翻译的模型。你对着它说 70 多种语言里的任意一种，它能直接用 13 种目标语言把语音播出来。OpenAI 说大模型虽然强，但特定任务还是得上专用模型。目前这个功能已经在智能眼镜上跑起来了，不过正文没披露延迟、准确率和具体硬件细节。

推荐理由：我会先打个折：正文没提延迟、定价和 API 开放时间，所以实际能不能用、贵不贵还不知道。但 OpenAI 把实时翻译塞进智能眼镜，70多种语言进、13种语言出，这个组合本身是个挺实在的进展，值得从业者看一眼。

锐评

OpenAI 这次没拿通用大模型硬套翻译，而是专门训了个 gpt-realtime-translate，思路是对的：实时语音翻译对延迟和稳定性要求极高，通用模型往往顾不过来。它支持 70 多种输入语言，但输出只覆盖 13 种，说明目前重点在主流语种上，小语种输出还没跟上。

官方说已经在智能眼镜上跑起来了，这是个关键场景——眼镜是离嘴和耳朵最近的设备，翻译做好了确实顺手。但正文完全没披露端到端延迟、字错率、不同口音下的表现，也没说是哪款眼镜、本地跑还是云端跑。这些数据直接决定它能不能真用，而不是又一个酷炫 demo。

另外，专用模型意味着它可能比通用模型更省算力，但 OpenAI 没给任何成本或推理速度的对比。如果延迟能压在 300 毫秒以内，准确率接近人工同传的 90% 左右，那才算有杀伤力。现在只能说方向对了，落地程度还得等实测。

5月29日星期五

AI HOT 精选5/29 17:13

小米开源 ControlFoley：给视频配音效，可以按你写的提示词或给的参考音频来

小米大模型应用团队放出了一个叫 ControlFoley 的视频音效生成模型，权重和代码都开源了。它主要解决一个问题：以前模型只能看画面自动猜配什么声音，创作者没法干预。ControlFoley 支持三种用法——用文字描述想要的音效、用文字强行覆盖画面里原有的声音、或者上传一段参考音频让它模仿音色和风格，同时还能保证声音和画面动作对得上。团队自己训了一...

推荐理由：ControlFoley 把视频拟音做成可控生成，还直接开源了全套，对创作者和开发者都挺友好。它不是那种刷榜的基础模型发布，但胜在任务明确、工具属性强，放在 featured 门槛附近是合理的。

锐评

ControlFoley 解决了一个实际痛点：以前的视频配音模型是“看画面自动配”，创作者没法插手。现在它支持三种控制方式——用文字描述想要的音效、用文字强行覆盖画面里原有的声音、或者上传一段参考音频模仿其音色风格，同时还能保证声音和画面动作对得上。

技术上，团队自己训了一个时空音视频编码器 CAV-MAE-ST，专门抓动作节奏和时间同步线索，避免视觉信息太强势把文本控制压死。参考音频那边做了时间-音色解耦，只取音色特征，扔掉节奏信息，防止参考音频的节奏打乱视频本身的同步。训练时用了随机模态 dropout，让一个模型能处理视频、视频+文字、视频+参考音频等多种输入组合。

在多个公开测试集上拿了开源 SOTA，跟闭源的 Kling-Foley 比，在语义对齐、时间同步和声音质量上也有优势。不过正文没披露训练数据规模和具体算力消耗，也没说在长视频或复杂场景下的表现边界。Demo 已经上线，建议自己传段视频试试，看它在你关心的场景里到底灵不灵。

5月22日星期五

AI HOT 精选5/22 17:45

网易有道把“子曰4”的多模态模型和语音合成模型都开源了

这次开源的是一个270亿参数的多模态模型和一个语音合成模型。多模态模型主要针对教育场景，能看懂带图表的数学题，在纯中文数理难题上准确率81.4%。团队用精简过的推理样本做训练，把模型思考过程的输出长度压缩了43.2%，所以回答同样的问题，吐出的token更少、推理更快，直接效果就是推理成本会降下来。语音合成模型支持用3秒中文音频克隆音色，能跨14种语言...

推荐理由：我会先打个折：有道不是前沿大模型实验室，所以这条消息的份量到不了顶流，但信息本身够具体。27B 参数的多模态模型，中文数理题做到 81.4% 准确率，说明在中文理科场景有一定可用性，不过正文没披露评测集和对比基线，这点先别太激动。语音模型覆盖 14 种语言，对做多语言 TTS 产品的人是个直接可用的资源。全量开源意味着可以直接拿来微调或部署，省去从头训的成本，但实际推理开销和显存需求正文没提，动手前得自己测一下。整体看，这是一次信息完整、可验证的发布，对关注中文多模态和语音落地的从业者有实操参考价值。

锐评

网易有道这次把“子曰4”的两个核心模型全量开源，对做教育场景和语音应用的开发者来说，是个可以直接上手试试的东西。多模态模型有270亿参数，主打能看懂带图表的数学题，在纯中文数理难题上准确率81.4%。这个数字看着不错，但正文没说明是在哪个基准测试集上跑的，也没提对比的是哪些同等规模的模型，所以这个“行业顶尖”的说法得先打个折。

比较实在的一个点是，团队用精简过的推理样本做训练，把模型思考过程的输出长度压缩了43.2%。这意味着回答同一个问题，吐出的token更少，推理成本会直接降下来，对实际部署来说比跑分更有意义。语音合成模型支持用3秒中文音频克隆音色，能跨14种语言合成，克隆准确度号称超97%，但相似度是85%以上，这个差距说明在情感和跨语言迁移上，实际听感可能还有提升空间。

整体看，这次开源诚意挺足，模型权重和代码都给了。但缺的是更多第三方评测和实际业务场景里的延迟、并发数据，光看官方给出的几个数字，还判断不了在真实高并发教育场景下到底省不省钱、好不好用。

AI HOT 精选5/22 10:02

智谱发布 GLM-5.1 高速版，API 输出冲到每秒 400 个 token

智谱在 5 月 22 日给部分企业客户开放了 GLM-5.1-highspeed 接口，输出速度标称 400 tokens/s，说是目前大模型厂商里最快的。过去跑得快的模型通常能力会打折，这次智谱声称把旗舰模型的能力和低延迟同时塞进了生产环境。提速主要靠 GLM 团队和 TileRT 团队在三个层面做的系统优化：推理引擎重写了核心路径来提升单卡吞吐；调...

推荐理由：智谱扔出一个 400 tokens/s 的 API 速度数字，说是全球纪录，我会先打个折——正文没披露测试条件、并发数、上下文长度和定价，这些缺口让“纪录”暂时只能当个参考。但 GLM 和 TileRT 联手做系统级优化这件事本身有信息量，说明国产模型在推理加速上开始卷工程落地，不只是卷榜单。对从业者来说，速度快意味着同样任务花钱少、等得短，这点先别太激动，等看到实际压测和价格再判断值不值得切。

锐评

智谱这次放出的 GLM-5.1 高速版，核心卖点是把旗舰模型的能力和 400 tokens/s 的输出速度同时塞进了生产环境。过去高速模型通常是小模型，能力会打折，这次智谱声称打破了惯例。提速主要靠 TileRT 团队在推理引擎上做的系统级优化，思路是把计算图在编译期就静态编排好，让 GPU 常驻一个内核干活，省掉了反复启动、读写和同步的开销。

不过，正文只给了速度数字，没披露这个高速版在代码、推理等任务上的具体跑分，也没提价格。400 tokens/s 是稳定吞吐还是瞬时峰值，智谱说做了优化保证可用，但没给出高并发下的延迟分布数据。另外，目前只开放给部分企业客户，普通开发者还摸不到。

这条消息值得关注的点在于，它把推理优化的战场从模型压缩拉到了系统层。但实际值不值得上，还得等第三方测过能力衰减和成本之后再说。

5月20日星期三

AI HOT 精选5/20 23:42

Stability AI 发布 Stability Audio 3.0，能生成超过 6 分钟的专业歌曲

Stability AI 发了四个新音频模型，最小的两个（4.59 亿参数）能在手机或电脑本地跑，生成两分钟以内的声音和音乐。中型（14 亿参数）和大型（27 亿参数）模型能把完整歌曲拉到 6 分 20 秒，比上一代翻了一倍多。小号和中号模型已经开源，大号模型只走 API 和付费托管，年收入超 100 万美元的公司必须买商业授权。训练数据来自华纳和环球...

推荐理由：我会先打个折：标题里的“专业级”正文没给出任何评判标准或盲测结果，这点先别太激动。能生成超过6分钟的音乐确实比多数短片段模型进了一步，4款规格也说明在考虑不同算力场景。但全文没披露训练数据是否含版权素材、生成内容的商用条款，也没给任何客观音质指标，所以只能算一次产品更新，离行业震动还差几口气。

锐评

这次更新最实在的地方是把模型分成了四个尺寸，最小的 4.59 亿参数能塞进手机和电脑本地跑，生成两分钟以内的声音，这对做音效或者短视频配乐的人来说门槛降了不少。中型和大型模型把单次生成时长拉到了 6 分 20 秒，比上一代翻了一倍多，算是补上了之前做不了完整歌曲的短板。小号和中号模型已经开源，大号模型只走 API 和付费托管，年收入超过 100 万美元的公司必须买商业授权，商业路径很清晰。

训练数据方面，文章提到用了华纳和环球的授权数据，这比早期靠抓取数据训练的做法在版权上安全很多。但整篇稿子没给出任何音频样本、用户评测或者客观指标，只说“据称可生成专业级音乐”。没有试听，就很难判断它说的“精准维持音乐结构与旋律基调”到底成色如何。另外，新招来的高管要带队做专业音乐人产品线，但具体功能一个字没提，目前只能当个预告看。

5月19日星期二

r/LocalLLaMA5/19 05:46

有人租了 21 款 GPU 跑同一个 5GB 显存的小 TTS 模型，实测速度差距

一位 Reddit 用户为了测 OmniVoice 这个小 TTS 模型，在 vast.ai 上租了 21 款不同的 GPU。模型跑起来显存峰值大概 5GB，不算大。测试用 xRT 作为音频生成速度的指标，每张卡都跑了 3 次带参考音频的声音克隆取平均。正文没披露具体哪张卡最快、速度差多少倍，也没给价格和性价比对比，所以只能看出有人在认真做横向实测，但...

推荐理由：一个 Reddit 用户用 vast.ai 租了 21 款 GPU，跑 OmniVoice 这个小体量 TTS 模型，峰值显存才 5GB，每次测试跑 3 遍取平均 xRT。我会先打个折：这是个人在云租用环境下的非严格基准，不是实验室受控测试，但胜在真实、直接，能帮想自己部署语音合成的人快速筛显卡。正文没披露具体 xRT 数值表，只给了结论性对比，这点先别太激动。整体信息量对本地推理圈子有用，但范围偏窄，所以放在低 featured 档。

锐评

这条帖子最有价值的地方是它真的动手跑了，不是纸上谈兵。作者在 vast.ai 上租了 21 款 GPU，用 OmniVoice 这个小 TTS 模型做声音克隆，每张卡跑 3 次取平均，用 xRT 衡量音频生成速度。模型显存峰值约 5GB，门槛不高，理论上很多消费级卡也能跑。

但正文被 Reddit 的网络安全拦截了，我们看不到具体数据。哪张卡最快、速度差几倍、每张卡租用价格是多少、性价比怎么排，这些关键信息都没披露。所以这条新闻只能说明有人在认真做横向对比，实际结论得等原帖恢复或者作者补发。

我会先打个折：如果后续数据放出来，对想自建 TTS 服务的人会是个很实用的参考，尤其是显存要求低意味着省钱。现在缺的就是那张对比表和价格，没这些就只能当个动手精神的案例看。

5月12日星期二

AI HOT 精选5/12 10:19

Mira 的新公司 Thinking Machines 发了个原生多模态交互模型，前台 200 毫秒一响应，后台跑长线推理

这个模型把音频、视频、文字直接吃进去，不用再靠 agent 把一堆独立模型串起来。前台交互模型每 200 毫秒处理一次输入，保持对话的实时感，用户可以随时打断；后台推理模型负责长程规划和调工具。正文没披露具体参数量、训练数据和成本，也没给评测对比，所以实际效果和泛化能力还得看后续公开信息。

推荐理由：我会先打个折：正文没披露定价、开放范围和具体 benchmark，所以只能按现有信息给到 87。亮点在于 Thinking Machines 没有只发模型权重，而是给了一套前台 200 毫秒交互节点加后台推理的分层设计，原生多模态输入不是后期缝合的。这对正在折腾实时多模态 agent 的团队来说，至少提供了一个可参考的架构思路，但没看到代码或论文之前，不宜再往上拉。

锐评

Mira Murati 离开 OpenAI 后搞的 Thinking Machines 终于亮出了第一个产品。这个模型最大的卖点是原生多模态，音频、视频、文字一口吃进去，不用像现在很多方案那样靠 agent 把语音识别、视觉、语言模型串成流水线。架构上分了两层：前台交互模型每 200 毫秒处理一次输入，保证对话不卡顿，用户可以随时插话打断；后台推理模型负责长程规划和调工具。这种设计思路挺务实，把实时交互和重度推理拆开，各干各的。

但正文没披露任何硬指标。参数量多大、训练数据从哪来、推理成本多少、跟 GPT-4o 或 Gemini 的对比评测，一概没有。200 毫秒的响应间隔听起来不错，可如果后台推理要等好几秒，前台再快也只是在拖时间。另外，原生多模态听着高级，实际能不能稳定处理嘈杂环境下的语音、模糊视频画面，还得看后续公开的测试结果。

现在还缺的是第三方实测和开放试用。光靠一篇公告没法判断这个模型到底比现有方案强在哪，建议等有公开 benchmark 或 demo 再下结论。

5月7日星期四

OpenAI News5/7 18:00

OpenAI 在 API 里上线了三款实时语音模型，能边听边推理、翻译和转写

OpenAI 这次发了三个新模型：GPT‑Realtime‑2 是带 GPT‑5 级推理能力的语音模型，能处理更复杂的请求，说话中间可以插话、改主意，它还能边想边回一句“我查一下”，同时调用多个工具；GPT‑Realtime‑Translate 做实时翻译，支持 70 多种输入语言转 13 种输出语言，语速跟得上说话人；GPT‑Realtime‑Whi...

推荐理由：OpenAI 官方放出了语音 API 更新，方向明确但信息不全。能推理、翻译、转写，听着挺全，可没给价格、没给延迟、没给上下文限制，我会先打个折。如果是真的省钱又低延迟，那对语音应用开发者是直接利好；现在只能说方向对了，落地还得等更多参数。

锐评

OpenAI 这次把 GPT-5 级别的推理塞进了语音模型 GPT-Realtime-2，让它能边听边想、中途插话、同时调用多个工具，不再是简单的“你问我答”。另外两个模型分别做实时翻译和流式转写：翻译支持 70 多种输入语言转 13 种输出语言，号称能跟上说话人的语速；转写模型则是在说话过程中同步出文字。

从场景看，这三个模型瞄准的是让语音从“对话”变成“干活”——比如 Zillow 用它直接搜房、约看房时间，或者旅行 App 主动播报延误和换乘路线。但整篇公告没提最关键的东西：每分钟多少钱、能扛多少并发、端到端延迟到底多少毫秒。这些数字直接决定开发者能不能用在客服或实时会议里。另外，翻译只支持 13 种输出语言，覆盖面有限，多语种互译场景还缺一块。

整体方向是对的，但没报价没压测的发布，更像技术预告而非可投产的 API。

4月29日星期三

X · @dotey（宝玉）4/29 08:06

微软开源语音模型 VibeVoice-ASR 实测：一小时播客 8 分 45 秒转完，但 32GB 内存的 Mac 跑不动

Simon Willison 在 128GB 内存的 M5 Max MacBook Pro 上跑了社区做的 4-bit 量化版 VibeVoice-ASR，模型大小 5.71GB。转写一小时播客用了 8 分 45 秒，prefill 阶段内存峰值冲到 61.5GB，生成阶段稳定在 18GB 左右，所以普通 32GB 笔电基本没戏。这个 9B 参数模型最...

推荐理由：这篇不是新模型发布，而是 Simon Willison 拿微软 1 月开源的 VibeVoice-ASR 在自己机器上跑了一遍，给出了速度和内存的实测数字。我会先打个折：这只是单次测试，不代表所有场景，但 61.5GB 的内存峰值确实把 32GB 笔电劝退了，这点对想本地部署的人很关键。正文没提准确率对比，所以别当全面评测看，就当一份硬件门槛参考。

锐评

Simon Willison 在 128GB 内存的 M5 Max 上实测了 VibeVoice-ASR 的 4-bit 量化版，一小时播客转写用时 8 分 45 秒。这个速度不算快，但核心价值在于把传统“Whisper + 说话人分离工具”的多步流程压缩成一次推理，直接输出谁在什么时候说了什么。模型是 MIT 协议开源的，9B 参数，原生支持 50 多种语言和中英混说，单次最多处理 60 分钟音频。

内存是硬门槛。prefill 阶段峰值冲到 61.5GB，生成阶段稳定在 18GB 左右，所以 32GB 笔电基本没戏，想本地跑至少 64GB 以上。另外有个有意思的细节：模型把一场两人对谈识别成了三个说话人，因为主持人的开场白和广告口播用了不同录音环境，模型直接按声学特征切出了第三人。这说明说话人分离的准确度还受录音条件影响，不是真的人数识别。

正文没披露字错率或多语种混说的具体准确率数据，也没跟 Whisper 做横向对比。超过 60 分钟的音频需要自己切片，还得手动对齐切片间的说话人 ID，这块的工程成本不能忽略。对做播客转写、会议纪要的人来说，流程确实简化了，但内存门槛和长音频处理的后处理工作，让这个方案目前更适合有高配机器的开发者先试试看。

4月28日星期二

量子位 · 公众号4/28 20:56

小米开源 MiMo-V2.5 系列模型，Pro 版 4 小时无人工干预搭出一个 macOS 桌面

小米把 MiMo-V2.5 系列的权重放出来了，包含 Pro Agent、多模态基座、TTS 和 ASR 几个模型。MiMo-V2.5-Pro 在 4.3 小时内连续调用了 672 次工具，在 SysY 基准上拿了满分 233 分，全程没让人接手，直接跑通了一个带 54 个应用的类 macOS 桌面。对从业者来说，值得关注的是它支持 100 万 tok...

推荐理由：HKR 三项全中：小米把 MiMo-V2.5 系列权重直接放出来，Agent 和代码任务的数字够具体，4 小时无接管跑出完整桌面是个强钩子。作为国产旗舰模型开源，属于当天必须写的那类消息。

锐评

这条消息最值得看的是 SysY 基准拿了满分 233 分，而且全程无人工接管，说明模型在长时间、多步骤的工具调用上稳定性不错。100 万 token 的上下文窗口和 100T token 的训练量，意味着它吃进了大量代码和操作序列，能记住很长的任务链。

但我会先打个折。正文没交代这个 54 应用的桌面是真实 macOS 还是模拟环境，也没说 672 次工具调用里有多少是重复操作或失败重试。如果是在高度简化的沙箱里跑预设流程，那跟真实办公场景差距不小。另外，Agent 框架虽然免费开放，但模型权重本身对部署硬件的要求、推理延迟这些关键指标都没提。

对想试的人，可以先拿它跑长链路自动化任务看看实际掉链子频率。对观望的人，等第三方在真实桌面环境复现后再下判断不迟。

4月16日星期四

Google DeepMind4/16 00:03

Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

Google DeepMind 发布 Gemini 3.1 Flash TTS，一款主打可控性与表现力的文本转语音模型，已在 Gemini API、Google AI Studio、Vertex AI 和 Google Vids 中开放预览。

推荐理由：原文给出新语音模型的音频标签控制方式、Elo 分数与多平台开放入口，可据此判断语音生成的可控性变化。

4月8日星期三

量子位 · 公众号4/8 12:00

面壁智能、OpenBMB 和清华放出一个 2B 开源语音模型 VoxCPM 2，能说 9 种方言、30 种外语，还复刻了郭德纲的《莽撞人》贯口

VoxCPM 2 是个 20 亿参数的开源语音模型，主打低延迟和少样本复刻。官方说生成经常在 1 秒内完成，给一段 5 秒以上的参考音频就能模仿音色和风格，演示里用它念了语速极快的相声贯口《莽撞人》。技术上它没用传统的声学码本，而是走扩散自回归连续表征路线，支持去噪、LoRA 微调和全量微调。正文没披露具体的训练数据规模和硬件需求，也没给标准化的语音质...

推荐理由：面壁智能和清华 OpenBMB 放出的 VoxCPM 2 是一个 2B 开源语音模型，不是薄 demo。正文列了可复现条件：48kHz、9 种方言、30 种外语、≥5 秒参考音频、1 秒内生成，还支持降噪和 LoRA/全参微调。技术路线上走了 tokenizer-free 的扩散自回归连续表征，这点比模型尺寸更值得看。我会先打个折：正文没披露方言和外语的具体测试集与客观指标，也没给端侧实测延迟和内存占用，所以实际部署成本还要自己测。但整体信息量够，对盯中文开源语音栈的人有参考价值。

锐评

VoxCPM 2 是个 20 亿参数的开源语音模型，走了一条不太一样的路：它没用传统的声学码本，而是直接处理连续声音信号，靠扩散自回归来生成。官方说生成经常在 1 秒内完成，给一段 5 秒以上的参考音频就能模仿音色和风格，演示里用它念了语速极快的相声贯口《莽撞人》，听起来确实能跟上节奏。技术上支持去噪、LoRA 微调和全量微调，对想自己调声音的开发者比较友好。

不过正文没披露具体的训练数据规模和硬件需求，也没给标准化的语音质量评测分数。贯口演示虽然抓耳，但只能说明它在特定高语速场景下没崩，日常对话、多轮交互、嘈杂环境下的表现还不清楚。另外，少样本复刻的稳定性、不同参考音频长度对效果的影响，这些关键细节也都没展开。想在生产环境用的话，建议先拿自己的场景跑一遍，别只看相声 demo 就下单。

3月24日星期二

Mistral AI3/24 00:00

Mistral AI 发布 4B 参数语音合成模型 Voxtral TTS

Mistral AI 发布首个文本转语音模型 Voxtral TTS，4B 参数，支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言，具备情感表达与零样本跨语言音色适配能力。

推荐理由：原文给出 4B 参数、9 种语言、70ms 延迟与定价，读者可据此判断企业语音智能体的成本与选型空间。

2月5日星期四

Mistral AI2/5 00:00

Mistral 发布 Voxtral Transcribe 2 语音转写模型家族

Mistral 发布 Voxtral Transcribe 2，包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文字模型。

推荐理由：原文给出两款语音转写模型的延迟、价格与开源许可，可据此判断实时语音应用的选型空间。

2025年7月15日星期二

Mistral AI7/15 20:00

Mistral 发布 Voxtral 语音理解模型，24B 与 3B 双版本开源

Mistral 发布 Voxtral 语音理解模型，提供 24B 和 3B 两个版本，均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文，可处理最长 30 分钟转写或 40 分钟理解，具备内置问答与摘要、多语言识别和语音函数调用能力，并保留 Mistral Small 3.1 的文本能力。

推荐理由：Mistral 开源两款语音理解模型，给出 32k 上下文、函数调用等能力与低于同类 API 一半的定价，便于评估语音方案选型。