跳到正文

语音与音频

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

125 条精选相关主题多模态AI 视频产品更新

最新精选

第 101–120 条 · 共 125 条

4月25日星期六

Hacker News 首页

Google 上线 Flow Music,用 Lyria 3 做歌、Veo 生成 MV

Google 悄悄上线了 Flow Music 网页版,目前有歌曲、歌单、空间、视频、项目和 Turntable 六个板块。核心功能是跟一个叫 Producer 的对话式工具聊天做歌,官方说它背后是 Lyria 3 模型,能生成带人声的完整歌曲;AI 音乐视频部分接的是 Veo 模型,可以自己控制角色和画面风格。

推荐理由:Google 上线 Flow Music 网页版,把 Lyria 3 做歌和 Veo 生成 MV 收进同一个入口,对话式工具 Producer 可产出带人声的完整歌曲。

4月24日星期五

Hacker News 首页

为什么你应该拒绝让医生用 AI 帮你记病历

Emily M. Bender 和 Decca Muldowney 给了 9 个理由,劝患者在诊室里拒绝 AI 自动记录系统。这类工具会录下你和医生的对话,自动生成病历草稿。她们的核心担忧不是技术出错,而是诊所会把省下的时间拿来塞更多病人,而不是让你多聊一会儿。具体风险包括:录音和文字稿交给第三方公司,隐私保护未必靠谱。

推荐理由:语言学家 Emily M. Bender 与记者 Decca Muldowney 列出 9 个理由,劝患者拒绝诊室里的 AI 自动记录,指出录音与文字稿会交给第三方公司,而省下的时间可能被用来接诊更多病人。

4月23日星期四

The Verge · AI

Google Meet 的 AI 笔记功能现在也能用在面对面会议上了

Google 把 Gemini 的会议纪要功能从线上视频扩展到了线下面对面开会。你只要在房间里用手机或平板打开 Meet,它就能直接录下现场对话并生成文字稿和摘要。之前这个功能只在安卓测试版里小范围试过,现在正式开放了。另外,就算你用的是 Zoom 或微软 Teams 开会,它也能帮你记笔记,不再只绑在 Meet 自己的通话里。

推荐理由:Google 将 Gemini 的会议纪要能力从线上视频延伸到线下面对面场景,并支持 Zoom 和 Teams,会议记录工具的使用边界由此扩展到更多会议形式。

4月20日星期一

Hacker News 首页

Deezer 每天上传的新歌里,44% 是 AI 生成的

Deezer 自己公布的数据:现在每天有将近 7.5 万首 AI 生成的歌上传到平台,占每日新增上传量的 44%,一个月下来超过 200 万首。不过这些歌基本没人听——AI 歌曲的播放量只占总播放量的 1% 到 3%,而且其中 85% 的播放被平台判定为刷量欺诈,直接不给钱。

推荐理由:Deezer 公布每天上传新歌中 44% 由 AI 生成,但这类歌曲播放量只占 1% 到 3%,其中 85% 被平台判定为刷量欺诈。

4月17日星期五

X · @dotey(宝玉)

browser-use 开源 video-use:对着摄像头录完素材,跟 Claude Code 聊两句就能拿到剪好的视频

browser-use 团队把 video-use 开源了,这是一个 Claude Code 技能,你把录好的素材丢进文件夹,告诉 Claude 要剪成什么样,它就能自动裁掉“嗯”“呃”和空白段、调色、加字幕,还能用 Manim 或 Remotion 生成动画叠加层,最后输出 final.mp4。

推荐理由:browser-use 把 video-use 开源为 Claude Code 技能,录好的素材交给它就能自动完成去口癖、调色、字幕和动画叠加并输出成片。

4月16日星期四

Google DeepMind

Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性与表现力的文本转语音模型,已在 Gemini API、Google AI Studio、Vertex AI 和 Google Vids 中开放预览。

推荐理由:Gemini 3.1 Flash TTS 在 Gemini API、AI Studio、Vertex AI 和 Google Vids 开放预览,支持 70 多种语言,并可通过音频标签控制语音风格与节奏。

4月14日星期二

最佳拍档

H100 租赁价五个月涨近 40%,全球 GPU 算力全面断供

SemiAnalysis 的报告显示,从 2025 年 10 月到 2026 年 3 月,英伟达 H100 的一年期租赁价格从每小时每 GPU 1.70 美元涨到了 2.35 美元,涨幅接近 40%。现在想租一个 64 块 GPU 的小集群都很难,现货市场基本无货可租。

推荐理由:SemiAnalysis 报告显示 H100 一年期租赁价五个月从每小时 1.70 美元涨到 2.35 美元,64 块 GPU 的小集群现货已难租到,算力供需紧张落到具体价格上。

4月8日星期三

量子位 · 公众号

小米放出两个语音生成框架,想让普通人也能当“声音导演”

小米大模型应用团队公开了 Any2Speech 和 Midasheng-audio-generate 两个框架。Any2Speech 一次推理能生成最长约 10 分钟的语音,Midasheng 则能根据一段文字描述直接合成包含人声、音乐和环境音的混合音频。

推荐理由:小米大模型应用团队公开 Any2Speech 与 Midasheng 两个语音框架,前者单次推理可生成约 10 分钟语音,后者能按文字描述合成人声、音乐与环境音的混合音频。

量子位 · 公众号

面壁智能、OpenBMB 和清华放出一个 2B 开源语音模型 VoxCPM 2,能说 9 种方言、30 种外语,还复刻了郭德纲的《莽撞人》贯口

VoxCPM 2 是个 20 亿参数的开源语音模型,主打低延迟和少样本复刻。官方说生成经常在 1 秒内完成,给一段 5 秒以上的参考音频就能模仿音色和风格,演示里用它念了语速极快的相声贯口《莽撞人》。技术上它没用传统的声学码本,而是走扩散自回归连续表征路线,支持去噪、LoRA 微调和全量微调。

推荐理由:面壁智能与清华 OpenBMB 开源 20 亿参数语音模型 VoxCPM 2,5 秒参考音频即可复刻音色,并采用扩散自回归连续表征路线。

4月3日星期五

X · @OpenAI

ChatGPT 上车了,现在能在 CarPlay 里用语音模式

OpenAI 把 ChatGPT 的语音模式搬进了 CarPlay,iPhone 用户升级到 iOS 26.4 以上就能在车里用。正文没提支持哪些国家、哪些车型,也没说功能有没有阉割,比如能不能连续对话、能不能读长文章。这次动作的重点是把对话入口塞进驾驶界面,不是发了新模型。

推荐理由:OpenAI 把 ChatGPT 语音模式接入 CarPlay,iPhone 用户升级 iOS 26.4 以上即可在车内使用,这次动作的重点是把对话入口放进驾驶界面,而非发布新模型。

3月24日星期二

Mistral AI

Mistral AI 发布 4B 参数语音合成模型 Voxtral TTS

Mistral AI 发布首个文本转语音模型 Voxtral TTS,4B 参数,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言,具备情感表达与零样本跨语言音色适配能力。

推荐理由:Mistral AI 推出 4B 参数语音合成模型 Voxtral TTS,覆盖 9 种语言并支持零样本跨语言音色适配,其与 ElevenLabs 的对比评测提供了多语言语音质量的一个参照。

2月14日星期六

MIT Technology Review · AI

渐冻症夺走了这位音乐人的声音,AI 让他重新站上舞台唱歌

32 岁的 Patrick Darling 在确诊渐冻症两年后,用 AI 克隆了自己的歌声,2 月 11 日在伦敦重新和乐队一起演出。他的声音克隆不是用录音棚素材做的,而是从嘈杂的手机视频和厨房录音里拼出来的,ElevenLabs 的音乐工具花了大约六周调校。

推荐理由:32 岁的渐冻症音乐人 Patrick Darling 用 AI 克隆歌声,在伦敦重新与乐队同台演出,其声音素材取自嘈杂手机视频和厨房录音,ElevenLabs 调校约六周。

2月9日星期一

36 氪 · 直链

小红书把搜索框改成了语音问答,想让你用说话代替打字来搜生活经验

小红书在1月27日全量上线了“语音问一问”,用户在搜索页长按就能用语音提问,最长能说三分钟,也支持外语和方言。它给出的答案不是通用百科,而是把站内用户分享的真人经验总结成结构化回复,比如剪头发怎么跟理发师沟通这种非标问题。正文没披露背后的语音识别和模型技术方案,也没提延迟和准确率数据。

推荐理由:小红书全量上线语音问一问,把搜索页长按语音提问的答案限定为站内真人经验总结,而非通用百科,为观察内容平台如何承接非标生活问题提供了一个具体样本。

36 氪 · 直链

前百川智能联创焦可离职做来福电台,想造能记住你喜好的 AI 主播

焦可离开百川智能后,在 2025 年初创办了 AI 音频公司“来福电台”。他做的不是单纯的 AI 播客工具,而是 15 个中文和 2 个英文 AI 主播,每个主播风格不同,能根据用户收听历史推荐内容,用户也可以随时打断节目提问或聊天。焦可认为语音交互能产生足够多的长上下文,让 AI 记住用户偏好,这是建立情感链接和个性化服务的关键。

推荐理由:焦可离开百川智能后创办来福电台,做了 17 个风格各异的 AI 主播,能按收听历史推荐内容并支持随时打断对话,其判断是语音交互产生的长上下文让 AI 记住用户偏好。

2月5日星期四

Mistral AI

Mistral 发布 Voxtral Transcribe 2 语音转写模型家族

Mistral 发布 Voxtral Transcribe 2,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文字模型。

推荐理由:Mistral 发布 Voxtral Transcribe 2,其中实时转写模型 Realtime 以 Apache 2.0 开源,延迟可配置到 200 毫秒以内,并支持 13 种语言。

2025年9月30日星期二

OpenAI News

OpenAI 发布 Sora 2 系统卡,视频生成模型能同时出画面和声音了

OpenAI 在 9 月 30 日公布了 Sora 2 的系统卡,说这个新模型在物理规律、画面真实度、音画同步和风格控制上都比上一代强,能更准地跟着用户的指令走。这次发布先走邀请制,在 sora.com 和独立的 iOS App 上小范围开放。安全方面,上线初期禁止上传视频,也禁止上传带真人照片的图片,对涉及未成年人的内容有更严的审核门槛。

推荐理由:OpenAI 公布 Sora 2 系统卡,新模型在物理规律、画面真实度和音画同步上较上一代有提升,并交代了邀请制上线与初期禁止上传真人素材的限制。

OpenAI News

OpenAI 发布 Sora 2,能生成带同步对白和音效的视频,还做了一个社交 App

OpenAI 在 9 月 30 日发布了视频生成模型 Sora 2,同时上线了一个叫 Sora 的 iOS 社交 App。Sora 2 比上一代更遵守物理规律,比如投篮不进会弹框而不是球直接瞬移进筐,也能生成同步的人物对白和环境音效。App 里有个“角色”功能,你录一段视频和音频验证身份后,就能把自己的形象和声音放进任何生成的场景里。

推荐理由:OpenAI 同日发布视频模型 Sora 2 与同名 iOS 社交应用,模型可生成同步对白与环境音效,App 支持验证身份后把本人形象和声音放进生成场景。

2025年8月28日星期四

OpenAI News

OpenAI 发布 gpt-realtime 模型,语音 API 正式上线并支持电话和图片输入

OpenAI 把 Realtime API 从公测转成了正式版,同时推出了新的端到端语音模型 gpt-realtime。这个模型不再走“语音转文字再转语音”的老路,而是直接处理音频,延迟更低,语气和情绪保留得更好。

推荐理由:OpenAI 将 Realtime API 从公测转为正式版并推出端到端语音模型 gpt-realtime,直接处理音频而非先转文字再转语音,延迟更低且语气情绪保留更好。

2025年7月17日星期四

Mistral AI

Mistral 为 Le Chat 推出 Deep Research、语音模式等新功能

Mistral 为 Le Chat 上线一批新功能,包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言思考模式、用于整理对话的 Projects,以及与 Black Forest Labs 合作的高级图像编辑。

推荐理由:Mistral 为 Le Chat 一次上线 Deep Research、语音、多语言推理、Projects 与图像编辑五项功能,其中 Deep Research 由工具增强智能体驱动,可拆解问题并生成带引用的结构化报告。

2025年7月15日星期二

Mistral AI

Mistral 发布 Voxtral 语音理解模型,24B 与 3B 双版本开源

Mistral 发布 Voxtral 语音理解模型,提供 24B 和 3B 两个版本,均以 Apache 2.0 许可开源并上线 API。模型支持 32k token 上下文,可处理最长 30 分钟转写或 40 分钟理解,具备内置问答与摘要、多语言识别和语音函数调用能力,并保留 Mistral Small 3.1 的文本能力。

推荐理由:Mistral 开源两款语音理解模型,给出 32k 上下文、函数调用等能力与低于同类 API 一半的定价,便于评估语音方案选型。