ElevenLabs Scribe v3 Live 利用对话上下文减少语音智能体中途打断来电者
ElevenLabs 发布 Scribe v3 和 Scribe v3 Live 语音转文字模型,分别面向录音与实时应用,后者结合对话上下文判断说话者是否结束发言。
ElevenLabs 发布 Scribe v3 和 Scribe v3 Live 语音转文字模型,分别面向录音与实时应用,后者结合对话上下文判断说话者是否结束发言。
DeepL 的新模型 Aure 将原说话者的语气、情绪、重音和语速传递到目标语言,让 DeepL Voice 的实时翻译更自然。旧方案只在对话开始时采集静态声音样本,Aure 则随对话持续分析译文和原始音频,训练时分别处理声音身份、语调和内容,并通过强化学习避免输出带有口音。
Video Rebirth 发布 MiniMax-H3 的压缩版 HyperFlow H3 Flash,将约 31B 的 Transformer 压缩至 13.7B 或 13.9B,默认以 6 步同步生成视频与立体声音频。
Underdog 推出基于新语音生成模型 Woof 的浏览器游戏演示,该模型大小仅为 32MB,拥有 31 million 参数并开放下载。用户可在游戏中的打字机输入文字并听到朗读,也可旋转调谐器生成不同音乐;公司称模型可在大多数设备上无需联网运行。几周前,Underdog 还推出了面向端侧转录和听写的 167 MB 语音转文字模型 Bark。
NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe,在一个 checkpoint 中整合语音转写、说话人归属、翻译和音频问答,支持 40 种语言转写、31 种语言与英语互译及 13 种语言的说话人归属。
Nvidia 发布开放语音模型 Nemotron 3.5 Transcribe,通过文本指令整合转录、翻译、说话人识别及音频问答。
推荐理由:Nvidia 用以合成语音为主的数据微调医疗转录模型,将错误率从 23.8% 降至 11.8%,同时记录了通用英语准确率的损失。
英伟达发布免费开放权重模型 Nemotron 3.5 Transcribe,支持最多 40 种语言的音频转录,并推出开源语音数据集 Granary 第 2 版。
Google 发布下一代世界模型 Genie 4,支持实时操控,并同步生成环境音与人物实时对话。相比 Genie 3,其照片级真实感和物体碰撞等物理模拟有明显进步。用户可用 WASD 和双摇杆控制角色或镜头,也可在运行中用自然语言修改天气、加入物体。
腾讯混元于 10 月 26 日发布并开源同声传译大模型 Hy-SimulMT,支持中英语音到语音实时翻译。实测响应时间约 3 秒,低于人类专业译员平均的 4-5 秒。
Destined AI 发布开源语音合成模型 Hurston-1,基于 Maya1 微调,支持美国南部及多个非洲地区的英语口音。模型通过自然语言描述控制声音,默认输出 24 kHz 音频,电话模式输出 8 kHz G.711 音频以接入 Twilio 等电话系统,模型权重采用 Apache-2.0 许可。
Block 发布可本地运行的全双工语音模型 Dessa,支持同时听说,并展示了笑声、停顿和哭声等接近真人的表达。Block 称该模型完全使用人类语音和单张 NVIDIA GPU 训练,知识来自对话数据,情绪表达内置于模型。Dessa 可在 MacBook M4 Max 或更高配置的消费级电脑上运行,目前尚未公开开放,Block 正邀请安全研究人员测试。
Block 发布 AI 语音模型 Dessa,号称首个完全基于人类语音、不含任何文本数据从零训练的模型,直接以音频处理语音,可实时捕捉情绪、讽刺、笑声和停顿。该模型支持全双工交流,可在 MacBook Pro M4 Max 本地运行,训练使用单台 NVIDIA GB200 NVL72。Dessa 尚未公开,团队正招募 AI 安全研究者测试其意外风险。
Block 旗下 dessa.com 推出对话模型 Dessa,仅使用语音数据训练。该页面当前展示的是 Block 于 2026 年 10 月 21 日生效的隐私声明,说明其收集的姓名、邮箱、设备信息及使用数据,并列出与关联公司和第三方服务商共享信息的范围。
Jack Dorsey 的 Block 宣布语音模型 Dessa,仅用人类对话从零训练,演示交流大体自然,也出现认错人和突然跑题。团队称它是直接处理语音输入与输出的模型,所有知识均来自人类语音,可在 MacBook Pro M4 Max 或更高配置设备上本地运行。团队希望改善人与 AI 的理解及语音情绪识别相关安全问题,将向一小群 AI 安全研究人员提供早期访问权限。
Elevenlabs 发布 Eleven Realtime v1 Max 和 v1 Mini 两款语音到语音模型,面向实时 AI 对话。v1 Max 在 Big Bench Audio 基准上得分为 98.8%,响应时间为 0.57 秒,面向客服等复杂任务;v1 Mini 主打低成本自然对话,能区分用户说完话与仅发出“嗯哼”等回应。
Mistral AI 发布面向实时语音智能体的 Voxtral 3 模型家族,将听取、思考、工具调用与说话整合进单一流式管线。系统包含 Voxtral Small Transcribe 3、Voxtral Mini TTS 3 和基于 LiveKit 的语音智能体 SDK,转录覆盖超过 50 种语言,语音输出支持超过 35 种语言及 50 种方言,并支持情绪适配。
Mistral AI 发布 Voxtral 3 语音识别与语音生成模型系列,并推出整合听取、推理、工具调用和发声的实时语音智能体 SDK。转录支持 50+ 种语言,实时转录延迟低于 500ms;语音生成支持 35+ 种语言和 50+ 种方言,可按上下文调整情绪、语速和重音。
推荐理由:Mistral 将语音识别、推理、工具调用和语音生成整合为流式管线,各阶段模型可独立替换,减少更换语言或声音时重写智能体的需求。
可灵发布 Kling 4.0,支持单次生成最长 30 秒视频、双声道立体声音频及超过 10 种语言的口型同步,并推出轻量版 Kling 4.0 Flash。主模型支持最多 10 张关键帧图像、8,000 tokens 提示词及最多 15 个参考素材,可通过 MCP 和 CLI 接入自动化工作流;Flash 侧重更快、更低成本的生成,上限为 720p、20 秒。
蚂蚁 inclusionAI 开源 Ming-3.0-tts,提供 0.5b 稠密模型和基于 Ling V3 的 tiny MoE 模型,后者为 7.9B total · 1.3B active。
xAI 发布语音到语音模型 Grok Voice 3.0,今日通过 Voice Agent API 开放,延迟低于一秒。它在 Artificial Analysis 的 Speech-to-Speech Index 中以 86.9 排名第一,在 τ-Voice 中达到 71.6%,表现与 GPT-Live-1 (Astra) 相近、延迟低 40%。
推荐理由:xAI 的 Grok Voice 3.0 在客服通话测试中达到与 GPT-Live-1 相近的表现,同时将延迟降低了 40%。
ElevenLabs 发布文本转语音模型 Eleven v4 和低延迟版本 Eleven v4 Turbo,增强情绪表达、说话人一致性与多说话人对话能力。两款模型支持超过 90 种语言,Instant Voice Clones 仅需 10 秒音频;Turbo 的推理延迟中位数约为 100ms,从请求到可听语音的时间中位数约为 150ms。
推荐理由:ElevenLabs 将情绪控制与低延迟语音结合进 Eleven v4 Turbo,让语音智能体在快速响应时也能保留更自然的表达。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在原生实时对话模型上加入近实时视频生成,实现带唇形同步、自然表情和流畅轮次切换的动态视觉形象。
推荐理由:Gemini 3.8 Live 在实时对话模型上加入近实时视频生成,支持唇形同步与97种语言切换,并可在对话中异步调用工具,展示了企业级多模态交互的当前形态。
Google DeepMind 发布 Gemini 3.5 Live Translate,一款支持 70 多种语言的近实时语音到语音翻译音频模型,可自动检测语言并保留说话人的语调、节奏和音高。
推荐理由:Gemini 3.5 Live Translate 支持 70 多种语言的连续语音到语音翻译,并保留说话人的语调、节奏和音高,与逐句等待的系统形成对比。
Google DeepMind 开源了 Gemma 4 12B,一个 120 亿参数的多模态模型。它最大的变化是去掉了传统的独立视觉/音频编码器,把所有输入统一交给 Transformer 处理,架构更简单。模型能直接听懂语音,不再需要先转文字。官方说它用 Apache 2.0 协议开源,在 16GB 显存或统一内存的笔记本上就能跑。
推荐理由:Google DeepMind 开源 Gemma 4 12B,去掉独立视觉和音频编码器,统一由 Transformer 处理图文语音,16GB 显存即可运行。
Victor M 在 X 上整理了一份清单,过去一周有超过 25 个开放权重的模型发布,几乎覆盖了所有模态。其中最扎眼的是 NVIDIA 的 Nemotron 3 Ultra,一个 550B 参数的混合架构(Mamba-MoE),每次推理只激活 55B 参数,上下文窗口能塞进 100 万个 token。
推荐理由:过去一周开放权重模型发布超过 25 个,覆盖文本、图像、语音等模态,其中 NVIDIA 的 Nemotron 3 Ultra 以 550B 参数、55B 激活和 100 万 token 上下文,展示了混合架构的当前规模。
RedNote 放出了一个叫 dots.tts 的语音合成模型,参数量 20 亿,用 Apache 2.0 协议开源。它走的是全连续架构,文字直接映射到语音,跳过了传统的音素流水线,合成采样率能到 48kHz。零样本声音克隆也支持,给一段参考音频就能模仿说话。
推荐理由:RedNote 以 Apache 2.0 协议开源 20 亿参数的 dots.tts,采用文字直接映射语音的全连续架构,支持 48kHz 输出和零样本声音克隆。
Google AI 这周一口气更新了六样东西。Nano Banana 2 和 Pro 版正式上线,走 Gemini 企业平台、API 和 AI Studio 就能用。Co-Scientist 是一个多智能体系统,专门帮科研人员自动生成和优化新假设,相当于有个助手帮你读文献、想点子。
推荐理由:Google AI 一周内上线 Nano Banana 2 与 Pro、多智能体科研助手 Co-Scientist 等六项更新,覆盖多模态生成与科研假设优化,可快速了解其产品线的最新布局。
Google AI for Developers 放出了一个叫 Magenta RealTime 2(MRT2)的实时音乐模型,权重开放,推理引擎也开源了。你可以用 MIDI 键盘弹、打字给提示词,甚至用手势控制它来生成音乐。它在 MacBook 上原生跑,延迟压到了 200 毫秒以内,这个速度对实时演奏来说基本跟手。
推荐理由:Google 开源 Magenta RealTime 2 的权重与推理引擎,支持 MIDI、提示词和手势生成音乐,在 MacBook 上原生运行延迟低于 200 毫秒。
Miso One 放出了一个 8B 参数的开源 TTS 模型,主打一次语音克隆——给它一小段音频样本就能模仿那个人的说话风格和节奏。推理延迟标称 110ms,对实时对话场景算可用。模型权重直接挂在 GitHub 上,你可以自己部署,音频数据不用上传到第三方服务器。官方说 API 之后会出,但正文没提价格和上线时间。
推荐理由:Miso One 开源了 8B 参数的语音克隆 TTS 模型,一小段音频样本即可模仿说话风格,标称 110 毫秒延迟,权重挂在 GitHub 上支持自行部署。
开发者 mudler_it 把英伟达的 Parakeet 语音转文字模型用 C++ 和 ggml 重写了一遍,彻底甩掉了 Python 和 PyTorch。他测试下来,在 f32 和 f16 精度下输出结果和原版 NeMo 逐字节一致,但速度更快,大一点的 TDT 和混合模型在 GPU 上能跑到大约 5 倍加速。
推荐理由:开发者用 C++ 和 ggml 重写了英伟达 Parakeet 语音转文字模型,去掉 Python 与 PyTorch 依赖,f32 和 f16 精度下输出与原版 NeMo 逐字节一致,GPU 上大模型约 5 倍加速。
OpenAI 发了 gpt-realtime-translate,一个专门做语音翻译的模型。你对着它说 70 多种语言里的任意一种,它能直接用 13 种目标语言把语音播出来。OpenAI 说大模型虽然强,但特定任务还是得上专用模型。目前这个功能已经在智能眼镜上跑起来了,不过正文没披露延迟、准确率和具体硬件细节。
推荐理由:OpenAI 发布专做语音翻译的 gpt-realtime-translate,支持 70 多种语言输入、13 种语言输出,并已落地智能眼镜,可了解专用模型在实时翻译场景的取舍。
小米大模型应用团队放出了一个叫 ControlFoley 的视频音效生成模型,权重和代码都开源了。它主要解决一个问题:以前模型只能看画面自动猜配什么声音,创作者没法干预。ControlFoley 支持三种用法——用文字描述想要的音效、用文字强行覆盖画面里原有的声音、或者上传一段参考音频让它模仿音色和风格,同时还能保证声音和画面动作对得上。
推荐理由:小米开源 ControlFoley,让视频音效从只能由模型自动猜测变为可用文字或参考音频指定,同时保持声音与画面动作对齐。
这次开源的是一个270亿参数的多模态模型和一个语音合成模型。多模态模型主要针对教育场景,能看懂带图表的数学题,在纯中文数理难题上准确率81.4%。团队用精简过的推理样本做训练,把模型思考过程的输出长度压缩了43.2%,所以回答同样的问题,吐出的token更少、推理更快,直接效果就是推理成本会降下来。
推荐理由:网易有道开源270亿参数多模态模型与语音合成模型,前者面向教育场景,在纯中文数理难题上准确率达81.4%,训练中压缩思考过程输出长度43.2%,推理成本随之下降。
智谱在 5 月 22 日给部分企业客户开放了 GLM-5.1-highspeed 接口,输出速度标称 400 tokens/s,说是目前大模型厂商里最快的。过去跑得快的模型通常能力会打折,这次智谱声称把旗舰模型的能力和低延迟同时塞进了生产环境。提速主要靠 GLM 团队和 TileRT 团队在三个层面做的系统优化:推理引擎重写了核心路径来提升单卡吞吐。
推荐理由:智谱向部分企业客户开放 GLM-5.1 高速版接口,标称输出速度达每秒 400 个 token,其提速来自推理引擎核心路径重写等系统优化,可用于观察旗舰模型能力与低延迟在生产环境中的取舍。
Stability AI 发了四个新音频模型,最小的两个(4.59 亿参数)能在手机或电脑本地跑,生成两分钟以内的声音和音乐。中型(14 亿参数)和大型(27 亿参数)模型能把完整歌曲拉到 6 分 20 秒,比上一代翻了一倍多。小号和中号模型已经开源,大号模型只走 API 和付费托管,年收入超 100 万美元的公司必须买商业授权。
推荐理由:Stability AI 发布四款音频模型,最小的两款可在本地运行,中大型模型把生成时长拉到 6 分 20 秒,比上一代翻倍,小号和中号已开源。
一位 Reddit 用户为了测 OmniVoice 这个小 TTS 模型,在 vast.ai 上租了 21 款不同的 GPU。模型跑起来显存峰值大概 5GB,不算大。测试用 xRT 作为音频生成速度的指标,每张卡都跑了 3 次带参考音频的声音克隆取平均。
推荐理由:一位 Reddit 用户在 vast.ai 租用 21 款 GPU,对峰值显存约 5GB 的 OmniVoice 小模型做声音克隆速度测试,每张卡跑 3 次取平均,为自建语音合成环境的人提供显卡选择参考。
这个模型把音频、视频、文字直接吃进去,不用再靠 agent 把一堆独立模型串起来。前台交互模型每 200 毫秒处理一次输入,保持对话的实时感,用户可以随时打断;后台推理模型负责长程规划和调工具。正文没披露具体参数量、训练数据和成本,也没给评测对比,所以实际效果和泛化能力还得看后续公开信息。
推荐理由:Thinking Machines 发布原生多模态交互模型,前台每 200 毫秒响应一次并支持随时打断,后台模型负责长程规划与调用工具,其分层设计为实时多模态协作提供了一种架构思路。
OpenAI 这次发了三个新模型:GPT‑Realtime‑2 是带 GPT‑5 级推理能力的语音模型,能处理更复杂的请求,说话中间可以插话、改主意,它还能边想边回一句“我查一下”,同时调用多个工具;GPT‑Realtime‑Translate 做实时翻译,支持 70 多种输入语言转 13 种输出语言,语速跟得上说话人。
推荐理由:OpenAI 在 API 上线三款实时语音模型,GPT‑Realtime‑2 支持边推理边调用多个工具,GPT‑Realtime‑Translate 覆盖 70 多种输入语言转 13 种输出语言。
Simon Willison 在 128GB 内存的 M5 Max MacBook Pro 上跑了社区做的 4-bit 量化版 VibeVoice-ASR,模型大小 5.71GB。转写一小时播客用了 8 分 45 秒,prefill 阶段内存峰值冲到 61.5GB,生成阶段稳定在 18GB 左右,所以普通 32GB 笔电基本没戏。
推荐理由:Simon Willison 在 128GB 内存的 M5 Max 上实测微软开源的 VibeVoice-ASR,转写一小时播客耗时 8 分 45 秒,prefill 阶段内存峰值达 61.5GB,为本地部署提供了硬件门槛参考。
小米把 MiMo-V2.5 系列的权重放出来了,包含 Pro Agent、多模态基座、TTS 和 ASR 几个模型。MiMo-V2.5-Pro 在 4.3 小时内连续调用了 672 次工具,在 SysY 基准上拿了满分 233 分,全程没让人接手,直接跑通了一个带 54 个应用的类 macOS 桌面。
推荐理由:小米开源 MiMo-V2.5 系列权重,其中 Pro 版在 4.3 小时内连续调用 672 次工具、无人工干预跑通带 54 个应用的类 macOS 桌面,展示了开源 Agent 在长程任务上的执行能力。