Apple Watch 对话回看与摘要 AI 功能开始测试
Apple Watch 的 Audio Intelligence 开始在 iOS 27.3 中面向开发者测试,包含声音识别、歌曲识别、Live Rewind 和 Siri Recaps 四项可选功能。
Apple Watch 的 Audio Intelligence 开始在 iOS 27.3 中面向开发者测试,包含声音识别、歌曲识别、Live Rewind 和 Siri Recaps 四项可选功能。
Subvocal 展示可将无声口部动作解码为文本的智能眼镜,目前已接受预订。团队在讨论中解释,系统通过 RF 感知口腔内部运动,经手机或笔记本电脑上的配套应用使用云端解码,端到端延迟通常低于 500ms。初期计划通过连接设备上的按键触发输入,自动检测无声说话活动的功能仍在研发,预计在发货几个月后通过软件更新提供。
YC F26 团队 The Subvocal Company 正在开发一款智能眼镜,通过射频信号读取闭口默念的口型并解码为文字,速度接近正常语速。团队最初在 TreeHacks 用 EMG 电极做原型,因出汗、电气干扰和佩戴体验问题改用 RF 方案。目前产品仍处早期阶段,需练习才能稳定使用。
Rivian 将其 AI 语音助手技术的部分元素授权给大众集团,纳入双方 58 亿美元的合资公司。该助手已于 2026 年 9 月上线 Rivian 的 R1S、R1T 和 R2 车型,可能在大众低成本电动车 ID EVERY1 上首次亮相。Rivian 未披露授权费用和具体适用车型。
Overtone 用一个 .overtone.json 文件保存逐词时间和说话人信息,并为不同画幅分别切分字幕,提供 CLI 和 video.js 插件。已有 SRT 或 WebVTT 可离线重新切分;音视频转录默认结合 OpenAI 与 Azure AI Speech,使用 LLM 纠错,也支持通过 whisper.cpp 和 Ollama 本地运行。
Granola 今天推出听写功能,从会议笔记扩展到跨应用语音输入,与 Wispr 竞争。该功能目前支持 Mac,用户按下“Fn”键即可开始说话,工具会整理并格式化语音转成的文字,可用于笔记、提示词及邮件和消息回复,免费且不限字数。公司表示将很快支持 iOS 和 Windows;Wispr 已在数月前从听写工具扩展到会议笔记。
Deepgram 宣布收购 Pipecat 的开发与维护方 Daily,交易金额未披露,双方表示将保持 Pipecat 开源。Pipecat 可编排实时语音和视频流、STT、大语言模型及 TTS,Daily 联合创始人称 Deepgram 承诺让框架永久开源并保持厂商中立。
NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe,在一个 checkpoint 中整合语音转写、说话人归属、翻译和音频问答,支持 40 种语言转写、31 种语言与英语互译及 13 种语言的说话人归属。
SGLang 的统一交互运行时将推理引擎的基本单位从单次请求改为持续会话,以统一实时语音的轮次、打断和历史截断规则。分析指出,原生全双工更依赖引擎内的会话控制,级联架构主要获得接口与评测便利,前台语音加后台委派所需的异步任务能力尚未完成。状态常驻引擎会增加迁移成本,SGLang 目前不支持断线恢复,评估锁定风险还需检查会话接口的私有扩展及状态能否导出重建。
Nvidia 发布开放语音模型 Nemotron 3.5 Transcribe,通过文本指令整合转录、翻译、说话人识别及音频问答。
推荐理由:Nvidia 用以合成语音为主的数据微调医疗转录模型,将错误率从 23.8% 降至 11.8%,同时记录了通用英语准确率的损失。
英伟达发布免费开放权重模型 Nemotron 3.5 Transcribe,支持最多 40 种语言的音频转录,并推出开源语音数据集 Granary 第 2 版。
Meta 推出一款名为 Waddle World 的“16-bit 宠物养成游戏”,官方称其本质是“伪装成宠物的每日日记”,虚拟宠物会与用户对话并生成涂鸦来图解聊天内容。该应用免费,目前仅面向菲律宾成年用户开放,Meta 未说明是否推广至美国等市场。Meta 近期还悄然上线了 AI 时尚应用 Style Sketch,据称仅在新加坡、印度尼西亚和泰国可用。
实时语音智能体可按组件拆分、轮次判断和后台委派,分为级联、轮次式、原生全双工、原生前台加委派四类架构。级联便于日志审查和组件替换,原生全双工侧重自然交互,GPT-Live 则将即时接话与后台复杂任务分开,应用负责函数执行、权限检查和用户确认。选型应从场景中不能牺牲的要求倒推,文中团队为手机语音助手选择原生前台加委派,为桌面本地指令入口选择级联。
Google 发布下一代世界模型 Genie 4,支持实时操控,并同步生成环境音与人物实时对话。相比 Genie 3,其照片级真实感和物体碰撞等物理模拟有明显进步。用户可用 WASD 和双摇杆控制角色或镜头,也可在运行中用自然语言修改天气、加入物体。
Runway 发布 App Studio,用户可用自然语言构建带独立界面的创意应用,调用图像、视频和音频模型及 Brand Kits、Workflows 等资源。
Google 邀请 15 名 Google Student Ambassadors 分享他们最常用的 Gemini 功能,涵盖 Study notebooks、Gemini Live、Guided Learning、学习指南生成、自定义测验、无限上传、Audio Overviews、Nano Banana 图像生成和 Chrome 中的 Gemini。
腾讯混元于 10 月 26 日发布并开源同声传译大模型 Hy-SimulMT,支持中英语音到语音实时翻译。实测响应时间约 3 秒,低于人类专业译员平均的 4-5 秒。
RainbowSay 是一款 Mac 语言学习工具,可监听影视、视频和播客,在句末暂停播放器并提供翻译、词汇和语法解析。Listening 和 Speaking 支持 57 种语言,实时字幕可翻译为 13 种语言,付费方案最多同时显示 3 种翻译,也支持通过麦克风为授课生成字幕。
William Gibson 在 2020 年小说《Agency》中描绘的实验性 AI 助手 Eunice,能在对话同时自主完成购买常旅客积分等后台操作,这一设想正接近现实。GPT-Live 与 Block 的 Dessa 已带来高度拟人的全双工对话,OpenAI 的 Dots 和 Meta 的 Muse 则推出可 24/7 独立追求目标、在后台行动的智能体。
Destined AI 发布开源语音合成模型 Hurston-1,基于 Maya1 微调,支持美国南部及多个非洲地区的英语口音。模型通过自然语言描述控制声音,默认输出 24 kHz 音频,电话模式输出 8 kHz G.711 音频以接入 Twilio 等电话系统,模型权重采用 Apache-2.0 许可。
TechCrunch 盘点了当前值得关注的 AI 可穿戴设备,包括售价 $49.99 的 Bee 吊坠、$129 的 Friend 情感陪伴吊坠、$99 的 Limitless 录音吊坠、$89 的 Omi、$159 的 Plaud NotePin,以及尚未发货的 Meta Muse 可穿戴设备和 $199 的 Rabbit R1。
Block 发布可本地运行的全双工语音模型 Dessa,支持同时听说,并展示了笑声、停顿和哭声等接近真人的表达。Block 称该模型完全使用人类语音和单张 NVIDIA GPU 训练,知识来自对话数据,情绪表达内置于模型。Dessa 可在 MacBook M4 Max 或更高配置的消费级电脑上运行,目前尚未公开开放,Block 正邀请安全研究人员测试。
Block 发布 AI 语音模型 Dessa,号称首个完全基于人类语音、不含任何文本数据从零训练的模型,直接以音频处理语音,可实时捕捉情绪、讽刺、笑声和停顿。该模型支持全双工交流,可在 MacBook Pro M4 Max 本地运行,训练使用单台 NVIDIA GB200 NVL72。Dessa 尚未公开,团队正招募 AI 安全研究者测试其意外风险。
一名黑客逆向分析自己的三星电视后发现,电视内置 AI 在监听狗和婴儿的声音,随后其 OpenAI 账号被 OpenAI 封禁。该事件在 r/antiai 引发讨论,评论质疑 OpenAI 是否与三星存在未公开的数据共享安排。
Block 旗下 dessa.com 推出对话模型 Dessa,仅使用语音数据训练。该页面当前展示的是 Block 于 2026 年 10 月 21 日生效的隐私声明,说明其收集的姓名、邮箱、设备信息及使用数据,并列出与关联公司和第三方服务商共享信息的范围。
Jack Dorsey 的 Block 宣布语音模型 Dessa,仅用人类对话从零训练,演示交流大体自然,也出现认错人和突然跑题。团队称它是直接处理语音输入与输出的模型,所有知识均来自人类语音,可在 MacBook Pro M4 Max 或更高配置设备上本地运行。团队希望改善人与 AI 的理解及语音情绪识别相关安全问题,将向一小群 AI 安全研究人员提供早期访问权限。
开发者发布 R2D2 for webOS 项目,为 webOS 电视提供本地主页、私有远程浏览器和按键说话语音助手,由一台 aarch64 Linux 主机运行 Chromium 与语音模型,电视仅作显示、应用和遥控端。该项目需电视 root 权限并修改厂商系统服务,仅针对特定固件版本验证,Home、浏览器和遥控语音已端到端跑通,其他电视与固件组合尚未验证。
Daniel Murrell 推出 OnKey,一款免费开源的 Mac 练唱工具,可学习歌曲旋律、实时显示演唱音高并逐句评分。歌曲播放结束后,它在本地分离主唱人声,用 CREPE 追踪音高、GAME 建模音符;需要 Apple Silicon(M1 或更新)及 macOS 14.2 或更新版本。
Anima 使用 GPT‑6 处理临床文档、GPT‑Live 支持电话接待,据其报告,诊所电话等待时间从 40 至 50 分钟降至 10 分钟,缩短至少 75%。
OpenAI 正式开放基于 GPT‑6 Luna 的 Decisions API,处理限定答案的决策时,比通过 Responses API 使用 GPT‑6 Luna 最多快 10x。
推荐理由:OpenAI 将限定答案的分类与路由决策交给专用 API,让应用工作流中的高频小决策减少延迟与成本累积。
Nirva 完成 2500 万美元 pre-Series A 轮融资,加上年初的 800 万美元,累计融资达 3300 万美元。其首款设备是重约 8 克、续航最长 3 天的吊坠,也可作手链佩戴,通过用户录入的语音样本建模,只记录佩戴者本人并过滤周围他人对话,处理后默认不保留音频与转录。该设备定价 249 美元,11 月开始接受订单,目标年底前向早期用户发货。
Google 面向美国 Apple CarPlay 用户上线 Google Maps 中的对话式 Gemini 导航,并称全球范围也在陆续推送。用户可点击车机屏幕上的 Gemini 图标,用语音提出多步骤问题,例如先询问景点推荐再让其规划避开收费路线的导航。该功能暂未包含昨日为 Android Auto 和内置 Google 汽车发布的 Personal Intelligence 个性化能力。
Modal 近日推出基于 Modal Servers 的 Sticky Sessions,保证同一会话的所有请求路由到同一容器,并按活跃会话数自动扩缩容。开发者可通过 @modal.sessioned() 创建服务器,用 SDK 或 HTTP API 启动会话;签名会话 token 支持多个客户端访问同一会话。
Elevenlabs 发布 Eleven Realtime v1 Max 和 v1 Mini 两款语音到语音模型,面向实时 AI 对话。v1 Max 在 Big Bench Audio 基准上得分为 98.8%,响应时间为 0.57 秒,面向客服等复杂任务;v1 Mini 主打低成本自然对话,能区分用户说完话与仅发出“嗯哼”等回应。
Mistral AI 发布面向实时语音智能体的 Voxtral 3 模型家族,将听取、思考、工具调用与说话整合进单一流式管线。系统包含 Voxtral Small Transcribe 3、Voxtral Mini TTS 3 和基于 LiveKit 的语音智能体 SDK,转录覆盖超过 50 种语言,语音输出支持超过 35 种语言及 50 种方言,并支持情绪适配。
Mistral AI 发布 Voxtral 3 语音识别与语音生成模型系列,并推出整合听取、推理、工具调用和发声的实时语音智能体 SDK。转录支持 50+ 种语言,实时转录延迟低于 500ms;语音生成支持 35+ 种语言和 50+ 种方言,可按上下文调整情绪、语速和重音。
推荐理由:Mistral 将语音识别、推理、工具调用和语音生成整合为流式管线,各阶段模型可独立替换,减少更换语言或声音时重写智能体的需求。
Yelp 新增 Check for Me 功能,由语音智能体代用户致电餐厅查询等位时间,并通过短信返回结果。用户在餐厅页面输入用餐人数和电话号码即可使用;Yelp AI 助手也新增 OpenTable 订位集成、偏好记忆和自定义提醒,并支持查看过去 30 天的聊天记录。
会议记录工具 Otter.ai 周二宣布从 General Catalyst 的 Customer Value Fund 获得 $320 million 不稀释股权的融资,用于企业业务增长、市场拓展、国际扩张和产品创新。
开源儿童阅读应用 Yara Reads 上线,免费且无需账号,故事中每个单词都可用孩子已掌握的自然拼读发音拼出,点击单词即显示发音按钮。应用内置单词检查器,按发音而非拼写逐词校验故事,遇到未学发音的单词会报错。用户可接入 Claude、ChatGPT 等支持 MCP 的智能体,在孩子已学发音范围内生成故事,代码采用 MIT 许可,故事与插图采用 CC BY 4.0 许可。
可灵发布 Kling 4.0,支持单次生成最长 30 秒视频、双声道立体声音频及超过 10 种语言的口型同步,并推出轻量版 Kling 4.0 Flash。主模型支持最多 10 张关键帧图像、8,000 tokens 提示词及最多 15 个参考素材,可通过 MCP 和 CLI 接入自动化工作流;Flash 侧重更快、更低成本的生成,上限为 720p、20 秒。