跳到正文

#语音

今日 4 条

5月12日星期二

Latent Space

Thinking Machines 发布原生交互模型:2760 亿参数,120 亿激活,实时语音不再靠外挂

Thinking Machines 终于又冒泡了,这次直接扔了个新模型 TML-Interaction-Small。总参数 2760 亿,是个 MoE 架构,实际干活时只激活 120 亿参数。它最狠的地方是把实时语音交互做进了模型骨子里,不再像以前那样给大语言模型外挂语音识别和合成模块。

推荐理由:Thinking Machines 发布 TML-Interaction-Small,2760 亿总参数、120 亿激活的 MoE 架构,把实时语音交互直接做进模型,不再外挂语音识别与合成模块。

AI HOT 精选

Mira 的新公司 Thinking Machines 发了个原生多模态交互模型,前台 200 毫秒一响应,后台跑长线推理

这个模型把音频、视频、文字直接吃进去,不用再靠 agent 把一堆独立模型串起来。前台交互模型每 200 毫秒处理一次输入,保持对话的实时感,用户可以随时打断;后台推理模型负责长程规划和调工具。正文没披露具体参数量、训练数据和成本,也没给评测对比,所以实际效果和泛化能力还得看后续公开信息。

推荐理由:Thinking Machines 发布原生多模态交互模型,前台每 200 毫秒响应一次并支持随时打断,后台模型负责长程规划与调用工具,其分层设计为实时多模态协作提供了一种架构思路。

The Verge · AI

Mira Murati 的新公司 Thinking Machines 在做什么:让模型边看边听边想,实时跟你协作

Thinking Machines 周一公布了他们的方向——做“交互模型”。按他们的说法,这种模型能同时接收音频、视频和文字,实时理解、回应并行动,而不是像现在的模型那样等你打完字或说完话才开始反应。正文没披露模型规模、发布时间、定价和最终产品形态,所以这东西到底多能打、什么时候能用上,现在都还是未知数。

推荐理由:Thinking Machines 公布方向为能同时接收音频、视频和文字的交互模型,实时理解并回应,而非等用户输入结束才反应。

5月8日星期五

机器之心 · 公众号

OpenAI 发布命令行工具,不用再折腾 SDK 了

OpenAI 开源了一个叫 openai-cli 的命令行工具,让开发者直接在终端里调用它的模型。你可以用一条命令完成对话、生成图片、编辑图片、语音转文字和文字转语音,不用再为复杂的 SDK 集成头疼。不过,这篇文章的正文因为微信环境验证被挡住了,具体支持哪些参数、怎么安装、有没有延迟数据,这些细节都没看到。

推荐理由:OpenAI 开源命令行工具 openai-cli,开发者可在终端一条命令完成对话、生图、语音转写与合成,省去 SDK 集成环节。

Latent Space

OpenAI 发了三个实时语音模型:GPT-Realtime-2、翻译版和 Whisper 版,上下文从 32K 扩到 128K

OpenAI 在 Realtime API 里上线了 GPT-Realtime-2、GPT-Realtime-Translate 和 GPT-Realtime-Whisper。

推荐理由:OpenAI 在 Realtime API 上线三款实时语音模型,上下文从 32K 扩到 128K,实时语音应用的开发者可据此判断接口能力边界。

量子位 · 公众号

OpenAI 把 GPT-5 级推理塞进语音模型,同传翻译成本打到地板价

OpenAI 发了三个实时语音模型:GPT-Realtime-2 能边听边推理,上下文窗口 128K;GPT-Realtime-Translate 支持 70 多种语言输入、13 种语言输出,做流式同传;GPT-Realtime-Whisper 实时转写每分钟只要 0.017 美元。正文没披露具体推理跑分和翻译延迟数据,实际效果还得等上手测。

推荐理由:OpenAI 发布三款实时语音模型,覆盖边听边推理、70 多种语言流式同传和每分钟 0.017 美元的实时转写,语音应用的推理能力与成本边界同时被改写。

AI HOT 精选

苹果带摄像头的 AirPods 进入 DVT 阶段,最快 9 月跟新 Siri 一起到

彭博社的 Mark Gurman 说,苹果那款传闻很久、自带摄像头的 AirPods 已经进入设计验证测试(DVT)阶段,外形和功能基本定型了。左右耳机各塞了一颗低分辨率摄像头,不是用来拍照,而是给 Siri 当“眼睛”,让你对着眼前的东西直接提问,比如看到一堆食材问能做什么晚饭。耳机柄为了塞摄像头比 AirPods Pro 3 稍微长一点。

推荐理由:苹果内置摄像头的 AirPods 已进入设计验证测试阶段,外形和功能基本定型,摄像头用于让 Siri 识别眼前物品并回答提问。

AI HOT 精选

OpenAI 发了官方命令行工具 openai-cli,终端里直接调 API,不用写 SDK 代码

OpenAI 在 GitHub 开源了 openai-cli,Apache 2.0 协议,Homebrew 或 Go 都能装。这个工具让你在终端里直接敲命令调用 API,省掉写 SDK 的步骤。它主要干几件事:一是支持 Responses API,能把网页搜索、代码解释器这些云端工具串起来,让模型进业务流程干活。

推荐理由:OpenAI 开源了 openai-cli,开发者可在终端直接调用 API 并串联网页搜索、代码解释器等云端工具,省去编写 SDK 代码的步骤。

The Verge · AI

苹果带摄像头的 AirPods 快量产了,主要给 Siri 当眼睛用

Mark Gurman 爆料,带摄像头的 AirPods 已经进入 DVT(设计验证测试)阶段,离 PVT(生产验证测试)只差一步。苹果内部测试人员正在用原型机,摄像头不拍照片或视频,只捕捉低分辨率画面,用来帮 Siri 回答“这菜怎么做”之类需要看东西的问题。正文没披露具体像素、延迟和功耗数据,也没说什么时候上市。

推荐理由:苹果带摄像头的 AirPods 已进入设计验证测试阶段,摄像头只捕捉低分辨率画面帮 Siri 理解视觉问题,这一形态展示了 AI 硬件在端侧多模态交互上的新方向。

5月7日星期四

OpenAI News

OpenAI 在 API 里上线了三款实时语音模型,能边听边推理、翻译和转写

OpenAI 这次发了三个新模型:GPT‑Realtime‑2 是带 GPT‑5 级推理能力的语音模型,能处理更复杂的请求,说话中间可以插话、改主意,它还能边想边回一句“我查一下”,同时调用多个工具;GPT‑Realtime‑Translate 做实时翻译,支持 70 多种输入语言转 13 种输出语言,语速跟得上说话人。

推荐理由:OpenAI 在 API 上线三款实时语音模型,GPT‑Realtime‑2 支持边推理边调用多个工具,GPT‑Realtime‑Translate 覆盖 70 多种输入语言转 13 种输出语言。

5月5日星期二

r/LocalLLaMA

微软 VibeVoice 语音合成与长音频转写被移植到纯 C++,推理不再需要 Python

LocalAI 把微软的 VibeVoice 模型用 ggml 重写成 C++ 版本,叫 vibevoice.cpp,支持 CPU、CUDA、Metal 和 Vulkan 推理,不用装 Python 环境。语音合成这边,给一段 30 秒的参考录音就能克隆声音,输出 24kHz 的语音。

推荐理由:LocalAI 把微软 VibeVoice 的语音合成与长音频转写重写为纯 C++ 版本,支持 CPU、CUDA、Metal 和 Vulkan 推理,本地部署不再依赖 Python 环境。

5月4日星期一

r/LocalLLaMA

Gemma 4 E2B 在 8GB 安卓手机上跑得动,还搭了个本地语音笔记 App

一位 Reddit 用户把 Gemma 4 E2B(2.4GB 模型)塞进 8GB 内存的 OnePlus CE 5 手机里,做了个完全离线的语音笔记应用。流程是:Whisper Small(244MB)先把语音转成文字,Gemma 4 E2B 再负责把文字拆成笔记并打标签。录一段 10 到 15 秒的语音,从转录到出结果总共花 12 到 15 秒。

推荐理由:一位 Reddit 用户把 2.4GB 的 Gemma 4 E2B 和 Whisper Small 一起塞进 8GB 内存手机,做出完全离线的语音笔记应用,10 到 15 秒语音从转录到出结果约 12 到 15 秒。

5月2日星期六

Hacker News 首页

Spotify 给真人音乐人加“已验证”绿标,用来和 AI 账号区分开

Spotify 开始给符合“真实性标准”的艺人打上绿色对勾和“Verified by Spotify”标识,帮用户分辨账号背后是真人还是 AI。验证条件包括关联社交账号、稳定的听众数据、有周边或演出信息等,官方说听众常搜的艺人里超过 99% 都会拿到这个标,覆盖几十万人。

推荐理由:Spotify 给符合真实性标准的真人艺人加上绿色对勾标识,帮听众分辨账号背后是真人还是 AI,验证条件涉及社交账号关联、听众数据和演出信息。

5月1日星期五

量子位 · 公众号

他用 AI 办了场音乐节,主题是“别读博”

B站UP主“混沌皮切总”用 AI 生成了 42 首“劝退读博”的歌,全网播放量超过 5000 万。一首歌要跑上百次生成,同时用 Suno、MiniMax 音乐、心模拉和 ACE-Step 几个工具来回试。正文没披露具体技术细节,但能看出现在 AI 做歌最花时间的不是生成,而是人得一首首听、一首首挑,这个筛选成本很高。

推荐理由:B站UP主用AI生成42首劝退读博歌曲,播放量超5000万,其中一首要跑上百次生成并在多个音乐工具间反复试听筛选,筛选环节的人力投入是AI做歌的主要成本。

彭博科技

音频行业开始头疼了:39% 的新播客可能是 AI 生成的“播客垃圾”

Podcast Index 抓了九天的新播客数据,发现 39% 很可能是 AI 生成的,行业管这叫“podslop”(播客垃圾)。文章没披露他们用什么方法检测、样本总量多大、以及这些节目分布在哪些平台。这个比例看着挺高,但先别太激动——如果检测手段比较糙,可能会把一些只是用了 AI 辅助的节目也算进去。

推荐理由:Podcast Index 抓取九天新播客数据,发现 39% 可能由 AI 生成,行业称之为播客垃圾,这一比例提供了观察音频平台内容供给变化的量化背景。

4月30日星期四

Google DeepMind

Google DeepMind 发布 AI co-clinician 医疗研究计划

Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非主流证据综合工具;在 140 项问诊技能评估中,它在 68 项达到或超过初级保健医生水平,但专家医生在识别危险信号和关键体格检查上整体仍更优。

推荐理由:Google DeepMind 公布 AI co-clinician 研究计划,在 98 个真实初级保健查询的盲评中 97 例无关键错误,医生更偏好其回答而非主流证据综合工具。

r/LocalLLaMA

用 Kokoro 82M 和 Qwen 在本地把 PDF 转成有声书

Reddit 用户 purellmagents 搭了一套完全跑在本地的 PDF 转有声书流程,用 Kokoro 82M 做语音合成,Qwen 3.5 0.8B 或 2B 处理文本,llama.cpp 做推理,整个应用用 Tauri 2.0 打包,在 M1 Mac 上运行。工作方式是先读前 15 句,边读边准备下 15 句,减少等待。

推荐理由:Reddit 用户用 Kokoro 82M、Qwen 和 llama.cpp 在 M1 Mac 上搭出完全本地的 PDF 转有声书流程,边读前 15 句边准备下 15 句的做法提供了一种降低等待的本地推理组织思路。

4月29日星期三

新智元 · 公众号

谷歌翻译 20 岁,劈柴哥说它换了四代 AI,现在能直接听懂语气了

劈柴哥发帖庆祝谷歌翻译上线 20 年,月活用户到了 10 亿。他梳理了背后的四代技术:最早是统计机器翻译,2016 年换成神经网络翻译,后来用上 PaLM 2 大模型,2024 年一口气加了 110 种语言。最新的是 Gemini 2.5 Flash 的原生音频翻译,不再先把语音转文字再翻译,而是直接处理声音,能保留原话的语调、停顿和节奏。

推荐理由:谷歌翻译上线 20 年,劈柴哥梳理其从统计机器翻译到 Gemini 2.5 Flash 原生音频翻译的四代技术更替,最新方案直接处理声音以保留语调与节奏。

X · @dotey(宝玉)

微软开源语音模型 VibeVoice-ASR 实测:一小时播客 8 分 45 秒转完,但 32GB 内存的 Mac 跑不动

Simon Willison 在 128GB 内存的 M5 Max MacBook Pro 上跑了社区做的 4-bit 量化版 VibeVoice-ASR,模型大小 5.71GB。转写一小时播客用了 8 分 45 秒,prefill 阶段内存峰值冲到 61.5GB,生成阶段稳定在 18GB 左右,所以普通 32GB 笔电基本没戏。

推荐理由:Simon Willison 在 128GB 内存的 M5 Max 上实测微软开源的 VibeVoice-ASR,转写一小时播客耗时 8 分 45 秒,prefill 阶段内存峰值达 61.5GB,为本地部署提供了硬件门槛参考。

4月28日星期二

量子位 · 公众号

面壁智能发 MiniCPM-o 4.5 技术报告,12GB 消费显卡就能跑全双工音视频

面壁智能、OpenBMB、清华 NLP 和数学基础中心放出了 MiniCPM-o 4.5 的技术报告。模型参数约 90 亿,能同时处理视频、音频和文字流。核心设计叫 Omni-Flow,把不同信号放在一条统一时间线上分时复用,省掉了外挂的语音活动检测模块。

推荐理由:面壁智能联合清华等发布 MiniCPM-o 4.5 技术报告,约 90 亿参数模型用 Omni-Flow 在统一时间线上分时复用音视频与文字流,12GB 消费显卡即可运行全双工。

量子位 · 公众号

小米开源 MiMo-V2.5 系列模型,Pro 版 4 小时无人工干预搭出一个 macOS 桌面

小米把 MiMo-V2.5 系列的权重放出来了,包含 Pro Agent、多模态基座、TTS 和 ASR 几个模型。MiMo-V2.5-Pro 在 4.3 小时内连续调用了 672 次工具,在 SysY 基准上拿了满分 233 分,全程没让人接手,直接跑通了一个带 54 个应用的类 macOS 桌面。

推荐理由:小米开源 MiMo-V2.5 系列权重,其中 Pro 版在 4.3 小时内连续调用 672 次工具、无人工干预跑通带 54 个应用的类 macOS 桌面,展示了开源 Agent 在长程任务上的执行能力。

4月25日星期六

Hacker News 首页

Google 上线 Flow Music,用 Lyria 3 做歌、Veo 生成 MV

Google 悄悄上线了 Flow Music 网页版,目前有歌曲、歌单、空间、视频、项目和 Turntable 六个板块。核心功能是跟一个叫 Producer 的对话式工具聊天做歌,官方说它背后是 Lyria 3 模型,能生成带人声的完整歌曲;AI 音乐视频部分接的是 Veo 模型,可以自己控制角色和画面风格。

推荐理由:Google 上线 Flow Music 网页版,把 Lyria 3 做歌和 Veo 生成 MV 收进同一个入口,对话式工具 Producer 可产出带人声的完整歌曲。

4月24日星期五

Hacker News 首页

为什么你应该拒绝让医生用 AI 帮你记病历

Emily M. Bender 和 Decca Muldowney 给了 9 个理由,劝患者在诊室里拒绝 AI 自动记录系统。这类工具会录下你和医生的对话,自动生成病历草稿。她们的核心担忧不是技术出错,而是诊所会把省下的时间拿来塞更多病人,而不是让你多聊一会儿。具体风险包括:录音和文字稿交给第三方公司,隐私保护未必靠谱。

推荐理由:语言学家 Emily M. Bender 与记者 Decca Muldowney 列出 9 个理由,劝患者拒绝诊室里的 AI 自动记录,指出录音与文字稿会交给第三方公司,而省下的时间可能被用来接诊更多病人。

4月23日星期四

The Verge · AI

Google Meet 的 AI 笔记功能现在也能用在面对面会议上了

Google 把 Gemini 的会议纪要功能从线上视频扩展到了线下面对面开会。你只要在房间里用手机或平板打开 Meet,它就能直接录下现场对话并生成文字稿和摘要。之前这个功能只在安卓测试版里小范围试过,现在正式开放了。另外,就算你用的是 Zoom 或微软 Teams 开会,它也能帮你记笔记,不再只绑在 Meet 自己的通话里。

推荐理由:Google 将 Gemini 的会议纪要能力从线上视频延伸到线下面对面场景,并支持 Zoom 和 Teams,会议记录工具的使用边界由此扩展到更多会议形式。

4月20日星期一

Hacker News 首页

Deezer 每天上传的新歌里,44% 是 AI 生成的

Deezer 自己公布的数据:现在每天有将近 7.5 万首 AI 生成的歌上传到平台,占每日新增上传量的 44%,一个月下来超过 200 万首。不过这些歌基本没人听——AI 歌曲的播放量只占总播放量的 1% 到 3%,而且其中 85% 的播放被平台判定为刷量欺诈,直接不给钱。

推荐理由:Deezer 公布每天上传新歌中 44% 由 AI 生成,但这类歌曲播放量只占 1% 到 3%,其中 85% 被平台判定为刷量欺诈。

4月17日星期五

X · @dotey(宝玉)

browser-use 开源 video-use:对着摄像头录完素材,跟 Claude Code 聊两句就能拿到剪好的视频

browser-use 团队把 video-use 开源了,这是一个 Claude Code 技能,你把录好的素材丢进文件夹,告诉 Claude 要剪成什么样,它就能自动裁掉“嗯”“呃”和空白段、调色、加字幕,还能用 Manim 或 Remotion 生成动画叠加层,最后输出 final.mp4。

推荐理由:browser-use 把 video-use 开源为 Claude Code 技能,录好的素材交给它就能自动完成去口癖、调色、字幕和动画叠加并输出成片。

4月16日星期四

Google DeepMind

Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性与表现力的文本转语音模型,已在 Gemini API、Google AI Studio、Vertex AI 和 Google Vids 中开放预览。

推荐理由:Gemini 3.1 Flash TTS 在 Gemini API、AI Studio、Vertex AI 和 Google Vids 开放预览,支持 70 多种语言,并可通过音频标签控制语音风格与节奏。

4月14日星期二

最佳拍档

H100 租赁价五个月涨近 40%,全球 GPU 算力全面断供

SemiAnalysis 的报告显示,从 2025 年 10 月到 2026 年 3 月,英伟达 H100 的一年期租赁价格从每小时每 GPU 1.70 美元涨到了 2.35 美元,涨幅接近 40%。现在想租一个 64 块 GPU 的小集群都很难,现货市场基本无货可租。

推荐理由:SemiAnalysis 报告显示 H100 一年期租赁价五个月从每小时 1.70 美元涨到 2.35 美元,64 块 GPU 的小集群现货已难租到,算力供需紧张落到具体价格上。

4月8日星期三

量子位 · 公众号

小米放出两个语音生成框架,想让普通人也能当“声音导演”

小米大模型应用团队公开了 Any2Speech 和 Midasheng-audio-generate 两个框架。Any2Speech 一次推理能生成最长约 10 分钟的语音,Midasheng 则能根据一段文字描述直接合成包含人声、音乐和环境音的混合音频。

推荐理由:小米大模型应用团队公开 Any2Speech 与 Midasheng 两个语音框架,前者单次推理可生成约 10 分钟语音,后者能按文字描述合成人声、音乐与环境音的混合音频。

量子位 · 公众号

面壁智能、OpenBMB 和清华放出一个 2B 开源语音模型 VoxCPM 2,能说 9 种方言、30 种外语,还复刻了郭德纲的《莽撞人》贯口

VoxCPM 2 是个 20 亿参数的开源语音模型,主打低延迟和少样本复刻。官方说生成经常在 1 秒内完成,给一段 5 秒以上的参考音频就能模仿音色和风格,演示里用它念了语速极快的相声贯口《莽撞人》。技术上它没用传统的声学码本,而是走扩散自回归连续表征路线,支持去噪、LoRA 微调和全量微调。

推荐理由:面壁智能与清华 OpenBMB 开源 20 亿参数语音模型 VoxCPM 2,5 秒参考音频即可复刻音色,并采用扩散自回归连续表征路线。

4月3日星期五

X · @OpenAI

ChatGPT 上车了,现在能在 CarPlay 里用语音模式

OpenAI 把 ChatGPT 的语音模式搬进了 CarPlay,iPhone 用户升级到 iOS 26.4 以上就能在车里用。正文没提支持哪些国家、哪些车型,也没说功能有没有阉割,比如能不能连续对话、能不能读长文章。这次动作的重点是把对话入口塞进驾驶界面,不是发了新模型。

推荐理由:OpenAI 把 ChatGPT 语音模式接入 CarPlay,iPhone 用户升级 iOS 26.4 以上即可在车内使用,这次动作的重点是把对话入口放进驾驶界面,而非发布新模型。

3月24日星期二

Mistral AI

Mistral AI 发布 4B 参数语音合成模型 Voxtral TTS

Mistral AI 发布首个文本转语音模型 Voxtral TTS,4B 参数,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言,具备情感表达与零样本跨语言音色适配能力。

推荐理由:Mistral AI 推出 4B 参数语音合成模型 Voxtral TTS,覆盖 9 种语言并支持零样本跨语言音色适配,其与 ElevenLabs 的对比评测提供了多语言语音质量的一个参照。

2月14日星期六

MIT Technology Review · AI

渐冻症夺走了这位音乐人的声音,AI 让他重新站上舞台唱歌

32 岁的 Patrick Darling 在确诊渐冻症两年后,用 AI 克隆了自己的歌声,2 月 11 日在伦敦重新和乐队一起演出。他的声音克隆不是用录音棚素材做的,而是从嘈杂的手机视频和厨房录音里拼出来的,ElevenLabs 的音乐工具花了大约六周调校。

推荐理由:32 岁的渐冻症音乐人 Patrick Darling 用 AI 克隆歌声,在伦敦重新与乐队同台演出,其声音素材取自嘈杂手机视频和厨房录音,ElevenLabs 调校约六周。

2月9日星期一

36 氪 · 直链

小红书把搜索框改成了语音问答,想让你用说话代替打字来搜生活经验

小红书在1月27日全量上线了“语音问一问”,用户在搜索页长按就能用语音提问,最长能说三分钟,也支持外语和方言。它给出的答案不是通用百科,而是把站内用户分享的真人经验总结成结构化回复,比如剪头发怎么跟理发师沟通这种非标问题。正文没披露背后的语音识别和模型技术方案,也没提延迟和准确率数据。

推荐理由:小红书全量上线语音问一问,把搜索页长按语音提问的答案限定为站内真人经验总结,而非通用百科,为观察内容平台如何承接非标生活问题提供了一个具体样本。

36 氪 · 直链

前百川智能联创焦可离职做来福电台,想造能记住你喜好的 AI 主播

焦可离开百川智能后,在 2025 年初创办了 AI 音频公司“来福电台”。他做的不是单纯的 AI 播客工具,而是 15 个中文和 2 个英文 AI 主播,每个主播风格不同,能根据用户收听历史推荐内容,用户也可以随时打断节目提问或聊天。焦可认为语音交互能产生足够多的长上下文,让 AI 记住用户偏好,这是建立情感链接和个性化服务的关键。

推荐理由:焦可离开百川智能后创办来福电台,做了 17 个风格各异的 AI 主播,能按收听历史推荐内容并支持随时打断对话,其判断是语音交互产生的长上下文让 AI 记住用户偏好。

2月5日星期四

Mistral AI

Mistral 发布 Voxtral Transcribe 2 语音转写模型家族

Mistral 发布 Voxtral Transcribe 2,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文字模型。

推荐理由:Mistral 发布 Voxtral Transcribe 2,其中实时转写模型 Realtime 以 Apache 2.0 开源,延迟可配置到 200 毫秒以内,并支持 13 种语言。

2025年9月30日星期二

OpenAI News

OpenAI 发布 Sora 2 系统卡,视频生成模型能同时出画面和声音了

OpenAI 在 9 月 30 日公布了 Sora 2 的系统卡,说这个新模型在物理规律、画面真实度、音画同步和风格控制上都比上一代强,能更准地跟着用户的指令走。这次发布先走邀请制,在 sora.com 和独立的 iOS App 上小范围开放。安全方面,上线初期禁止上传视频,也禁止上传带真人照片的图片,对涉及未成年人的内容有更严的审核门槛。

推荐理由:OpenAI 公布 Sora 2 系统卡,新模型在物理规律、画面真实度和音画同步上较上一代有提升,并交代了邀请制上线与初期禁止上传真人素材的限制。

OpenAI News

OpenAI 发布 Sora 2,能生成带同步对白和音效的视频,还做了一个社交 App

OpenAI 在 9 月 30 日发布了视频生成模型 Sora 2,同时上线了一个叫 Sora 的 iOS 社交 App。Sora 2 比上一代更遵守物理规律,比如投篮不进会弹框而不是球直接瞬移进筐,也能生成同步的人物对白和环境音效。App 里有个“角色”功能,你录一段视频和音频验证身份后,就能把自己的形象和声音放进任何生成的场景里。

推荐理由:OpenAI 同日发布视频模型 Sora 2 与同名 iOS 社交应用,模型可生成同步对白与环境音效,App 支持验证身份后把本人形象和声音放进生成场景。

2025年8月28日星期四

OpenAI News

OpenAI 发布 gpt-realtime 模型,语音 API 正式上线并支持电话和图片输入

OpenAI 把 Realtime API 从公测转成了正式版,同时推出了新的端到端语音模型 gpt-realtime。这个模型不再走“语音转文字再转语音”的老路,而是直接处理音频,延迟更低,语气和情绪保留得更好。

推荐理由:OpenAI 将 Realtime API 从公测转为正式版并推出端到端语音模型 gpt-realtime,直接处理音频而非先转文字再转语音,延迟更低且语气情绪保留更好。

2025年7月17日星期四

Mistral AI

Mistral 为 Le Chat 推出 Deep Research、语音模式等新功能

Mistral 为 Le Chat 上线一批新功能,包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言思考模式、用于整理对话的 Projects,以及与 Black Forest Labs 合作的高级图像编辑。

推荐理由:Mistral 为 Le Chat 一次上线 Deep Research、语音、多语言推理、Projects 与图像编辑五项功能,其中 Deep Research 由工具增强智能体驱动,可拆解问题并生成带引用的结构化报告。