跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

514 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 441–460 条 · 共 514 条

4月8日星期三

量子位 · 公众号

小米放出两个语音生成框架,想让普通人也能当“声音导演”

小米大模型应用团队公开了 Any2Speech 和 Midasheng-audio-generate 两个框架。Any2Speech 一次推理能生成最长约 10 分钟的语音,Midasheng 则能根据一段文字描述直接合成包含人声、音乐和环境音的混合音频。技术方案里提到了 GST 标注、双路径规划加维度丢弃、Flow Matching 以及五字段结构化...

推荐理由:小米放出两套语音框架,核心看点是可控长音频和场景统一建模,一句提示词出混合音频、单次推理能跑10分钟,这两个点确实抓人。技术细节也给了,不是纯画饼。但我会先打个折:基准跑分没给,训练数据多大不知道,开不开源、能不能商用也没说,这些信息缺口让实际价值不好判断。整体有亮点但缺关键验证,放在 featured 低段比较合适。

量子位 · 公众号

DeepSeek 深夜更新网页版,新增快速和专家模式,灰度测试视觉模型

DeepSeek 网页版悄悄加了两个模式:快速模式主打日常对话,专家模式则专攻代码、网页搜索和更难的生成任务。有用户通过对话套话,模型自己说专家模式就是 V4,但官方没发公告,正文也没披露模型 ID、上下文规格、定价和发布时间,这点先别太激动。目前专家模式限量供应,不支持多模态和文件上传,有用户测出上下文上限大约 13.3 万 token。另外,视觉模...

推荐理由:我会先打个折:V4 这个说法目前只有网友实测和模型自述,官方没确认模型名、价格和上下文窗口,这点先别太激动。但文章把能复现的行为讲清楚了——专家模式偏代码和复杂生成、限量、不能传文件,还给了约 133K token 的长度上限,对实际用的人有参考价值。真正该盯的是官方后续会不会补参数和上下文说明,现在信息缺口不小。

4月7日星期二

Latent Space

Gemma 4 首周下载量破 200 万,本地跑模型成了新趋势

Google 的 Gemma 4 上线第一周就冲到约 200 万次下载。做个对比:Gemma 3 过去一年总共 670 万次,Gemma 2 从 2024 年 6 月到现在 140 万次,而 Qwen 3.5 在大约一个半月里拿了约 2700 万次。这次最值得关注的是本地部署的速度——有人用 iPhone 17 Pro 跑 Gemma 4 E2B,通过...

推荐理由:这条消息的看点不是 Google 又发了个模型,而是首周 200 万下载这个数字本身,以及它和 Qwen 3.5 一个半月 2700 万的对比——开源模型的采用速度在明显变快。更实在的是有人已经在 iPhone 上跑出 40 tok/s,这对做端侧部署的人来说是个可参考的实测数据,不是公关稿里的理论值。我会先打个折:下载量不等于日活,正文也没披露留存或实际调用量,所以别直接当成市场份额来看。但生态支持列得挺全,至少说明主流推理框架没掉队,这点对选型有帮助。

4月3日星期五

X · @op7418(歸藏)

阿里发了 Qwen 3.6 Plus,上下文拉到 100 万 token,Agent 和编程能力提升明显

阿里在百炼上线了 Qwen 3.6 Plus,主打 Agent 任务和编程能力,相比 3.5 版有明显提升。图像和文档理解也加强了,数学图像识别、真实世界问答和 OCR 表现都不错。这次默认支持 100 万 token 上下文,最长输出接近 99.1 万 token,输入 6.4 万 token,比之前 256K 的版本开发体验好很多。价格是输入每百万...

推荐理由:阿里放出 Qwen 3.6 Plus,是国内模型一次实打实的更新。HKR 三项都站得住,核心是 100 万上下文和 2/12 元定价这个组合拳,对实际干活的人诱惑很大。但正文没给具体测评分数、对比基线和测试条件,所以先不打最高级,等看到跑分再说。

X · @op7418(歸藏)

谷歌发布 Gemma 4,四个尺寸全 Apache 2.0 开源,主打本地跑 agent 和多模态

Gemma 4 一口气发了四个版本:E2B 给手机和 IoT 用,E4B 给移动端和 Jetson/树莓派,26B MoE 每次只激活 3.8B 参数、延迟低吞吐高,31B 全密集版适合桌面或单卡 H100。这次把 agent 工作流当第一优先级,原生支持函数调用、JSON 输出和系统指令,还直接能处理图像、视频和语音转文本,可以做本地语音助手。全部用...

推荐理由:谷歌发 Gemma 4 是一次有分量的开源模型更新。HKR 三项都成立:26B MoE 只激活 3.8B 的部署弹性够抓人,四个规格和商用许可给了新事实,成本敏感场景的参考价值也明确。分数定在 81 是因为基准、上下文窗口和测试细节都没披露,我会先打个折,这点先别太激动。

X · @dotey(宝玉)

晚点发了一篇 DeepSeek 深度报道,讲 V4 发布前的人员变动、路线选择和梁文锋的管理逻辑

晚点 LatePost 这篇报道卡在 V4 发布前夕,信息量不小。先说人员:DeepSeek 确认走了四位核心成员,包括 R1 核心作者郭达雅(近期离职,可能去大厂)、第一代 LLM 作者王炳宣(去年底被腾讯挖走),以及 OCR 和多模态方向的两位。猎头开价翻 2 到 3 倍,有的公司直接给 8 位数总包,而 DeepSeek 的期权没标价,让一些人心...

推荐理由:这不是 V4 发布,但信息量够硬:4 人离职确认、发布推迟到 4 月、100 多人的研究团队规模、猎头报价翻倍,还有算子库迁移到 TileLang 的路线变化。HKR 三项都站得住。正文没给 V4 的参数、价格和基准成绩,所以到不了发布级或 p1,但作为 V4 前的信号已经够看了。

X · @dotey(宝玉)

Google 发布 Gemma 4 开源模型家族,全系改用 Apache 2.0 协议

Google 把 Gemma 4 全系列换成了 Apache 2.0 协议,商用、修改、分发不再受限,之前自家协议里的灰色地带这次清掉了。系列包含四个尺寸:31B Dense、26B MoE(混合专家架构)、E4B 和 E2B。31B 在 Arena AI 开源模型文本榜排第三,26B 排第六,Google 说它们表现超过体量大 20 倍的模型。大模型...

推荐理由:这次发布的分量,许可证变更和模型规格差不多重。Apache 2.0 意味着小公司和独立开发者可以放心拿来改、拿来商用,不用再为法律条款头疼。四个尺寸里,31B 能跑在单张 H100 上,26B 是 MoE 架构,推理成本会更低,这两点对实际部署的人比跑分更有吸引力。原生支持函数调用和 JSON 输出,摆明了是冲着让模型直接进业务流程干活去的。正文没给详细评测链接和横向对比数据,所以先别急着说它性能碾压谁,但就开放程度和工程友好度来说,这波更新挺实在。

Google DeepMind

Google DeepMind 发布 Gemma 4 开源模型家族

Google DeepMind 发布 Gemma 4,称其为迄今最智能的开源模型,面向高级推理与智能体工作流,采用 Apache 2.0 许可。该系列包含 E2B、E4B、26B MoE 和 31B Dense 四种尺寸,31B 在 Arena AI 文本榜位列全球开源模型第 3,26B 位列第 6。

推荐理由:Gemma 4 以 Apache 2.0 开源并覆盖端侧到工作站四种尺寸,可据此判断开源模型的部署与微调选择。

4月1日星期三

MIT Technology Review · AI

在家训练人形机器人的零工:尼日利亚医学生头顶 iPhone 拍做家务

Micro1 这家公司雇了 50 多个国家的几千名零工,让他们把 iPhone 绑在头上,拍自己叠被子、洗碗、做饭的视频,再把这些真实动作数据卖给做人形机器人的公司。一个尼日利亚的医学生时薪 15 美元,在当地算高收入,但他觉得每天重复熨衣服很无聊。文章说 2025 年人形机器人拿到的投资超过 60 亿美元,机器人公司每年花在买这类数据上的钱超过 1 ...

推荐理由:这篇我会放进 featured。在家拍家务视频这个画面本身就够抓人,而且文章给出了规模、薪酬和支出的具体数字,不是空谈。更值得盯的是它把一条隐藏的数据管线摊开了:工人知道视频是给机器人训练用的,但正文没披露这些数据怎么存、跟谁共享、能不能删。这种治理上的模糊,比融资数字更说明行业现在还处在野蛮生长阶段。

硅谷101 播客

E231|从B2B到A2A:阿里国际张阔谈AI如何把采购沟通从一周压到一天

阿里国际总裁张阔在访谈里给了个很具体的数字:他们的采购AI产品Accio,能把跨境采购的沟通时间砍到原来的五分之一,从大概一周变成一天。怎么做到的?就是把市场调研、设计稿生成、跨语言沟通、供应商筛选这些环节串成一条AI工作流,让买家带着专业的设计包去跟卖家谈,而不是从零开始比划。Accio今年3月月活到了1000万,还在逐月快速增长。张阔的核心判断是B...

推荐理由:这不是一次大版本发布,但它是高管一手访谈,有 1000 万月活和采购周期压缩到五分之一这两个硬数字。HKR 三项都踩中了,不过事件分量还够不上模型发布或重大产品更新,所以放在 featured 而不是 p1。正文把 A2A 解释成买卖双方和平台流程都由 Agent 重构,这点比单个产品数据更有看头,但具体技术细节和验证方式没展开,我会先打个折。

3月24日星期二

Mistral AI

Mistral AI 发布 4B 参数语音合成模型 Voxtral TTS

Mistral AI 发布首个文本转语音模型 Voxtral TTS,4B 参数,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言,具备情感表达与零样本跨语言音色适配能力。

推荐理由:原文给出 4B 参数、9 种语言、70ms 延迟与定价,读者可据此判断企业语音智能体的成本与选型空间。

3月18日星期三

MIT Technology Review · AI

五角大楼计划让 AI 公司在机密数据上训练模型

五角大楼正在讨论建一个安全环境,让 OpenAI、xAI 这类公司用机密数据训练军用版大模型。以前这些模型只能在涉密环境里回答问题,不能拿数据去学习,这次是头一回允许直接“吃”进机密情报。训练会在认证过的数据中心进行,数据归国防部,公司人员只在极少数情况下、有安全许可才能接触。官方说会先用非机密数据(比如商业卫星图)做测试,看效果再推进。最大的隐患是泄...

推荐理由:我会先打个折:目前只是规划阶段的说法,不是已签合同、已拨预算或已部署的项目,所以分数没给到 85 以上。但 hook 很明确——用机密数据训练这件事本身就少见,加上有具体的评估门槛和数据所有权安排,信息量够。泄密风险那段尤其值得盯:同一个模型如果服务不同密级部门,训练时吃进去的机密信息可能被再次吐出来,正文没展开怎么防,这是个关键缺口。

3月17日星期二

OpenAI News

OpenAI 发了 GPT-5.4 mini 和 nano,主打编程和子任务,mini 跑得比 GPT-5 mini 快一倍多

OpenAI 在 3 月 17 号推出了 GPT-5.4 mini 和 nano,都是给高吞吐、低延迟场景用的轻量模型。mini 在编程、推理、看图、调工具上都比上一代 GPT-5 mini 强,速度还快了一倍多。跑分上,mini 在 SWE-Bench Pro 拿到 54.4%,跟大哥 GPT-5.4 的 57.7% 差距不大,但延迟低很多,适合需要...

推荐理由:这是 OpenAI 官方模型发布,不是小修小补。我会先打个折:虽然叫 GPT-5.4 mini,但别当它是 GPT-5.4 的完整缩小版,更像是一个专攻编码和子代理任务的轻量选手。真正值得盯的是它用更低价格和更快速度,把 SWE-Bench Pro 拉到 54.4%,离大模型只差 3.3 个百分点——这点先别太激动,正文没披露其他基准的对比,不知道通用能力缩水多少。nano 更极端,只走 API,价格压到输入 0.20 美元,明显是给大批量、简单任务准备的。整体看,OpenAI 在推‘够用且便宜’的代理专用模型,对频繁调用代码工具的场景挺省钱。

Mistral AI

Mistral 发布 Mistral Small 4,统一推理、多模态与编码能力

Mistral AI 发布 Mistral Small 4,这是首个把 Magistral 推理、Pixtral 多模态和 Devstral 编码智能体能力统一到单一模型的 Mistral 模型,采用 Apache 2.0 许可。

推荐理由:Mistral Small 4 把推理、多模态与编码智能体合并进单一开源模型,可据此判断统一模型对部署成本的影响。

MIT Technology Review · AI

OpenAI 的技术可能出现在伊朗冲突的哪些环节

OpenAI 跟五角大楼签了涉密协议刚过两周,MIT Technology Review 就划出了三个可能用到它家技术的场景。一是目标排序:分析师把潜在目标清单丢给模型,让它结合后勤、情报等数据排出优先打击顺序,但正文没解释人工复核到底怎么提速。二是反无人机分析:OpenAI 之前跟 Anduril 合作,用模型做实时威胁识别和拦截建议,不过两家都没更...

推荐理由:MIT Technology Review 把 OpenAI 的涉密国防合作往伊朗冲突上套,列出目标排序、反无人机分析和行政支持三个可能落点。我会先打个折:文章没给出部署时间表,也没实锤任何战场使用,所以判断要收着点。但选题本身踩在军事 AI 的敏感线上,加上 OpenAI 刚进涉密圈,这个时间点发出来,话题性够强。

3月13日星期五

MIT Technology Review · AI

五角大楼官员透露,生成式 AI 可能被用来给打击目标排优先级

一位美国国防部官员向 MIT Technology Review 描述了军方可能怎么用生成式 AI 做目标排序:把目标清单喂给聊天模型,让它结合飞机位置等因素排出优先打击顺序,输出建议再由人审核。这个聊天层可能架在军方已有的 Maven 系统上,用来加快搜索和分析。Maven 之前主要靠计算机视觉从无人机画面里找目标,界面是地图和仪表盘,操作员得自己盯...

推荐理由:HKR 全中:标题的钩子是聊天机器人参与目标排序,正文给了叠在 Maven 上的具体工作流和人工复核环节。分数我维持在 80,不往上加,因为官员描述的是“可以这样用”的可能性,提速幅度和是否已实战都没确认,这点先别太激动。

3月9日星期一

MIT Technology Review · AI

AI 正把伊朗冲突变成一场实时观战秀

作者一周内看了十几个伊朗战争仪表盘,它们把卫星图、船舶追踪、AI 摘要和赌盘链接拼在一起,把战争变成了可以边吃爆米花边看的实时界面。一个由 a16z 员工搭建的仪表盘直接接入了 Kalshi 的下注数据,而调查记者 Craig Silverman 已经记录了 20 个类似的工具。问题出在信息质量上:英国《金融时报》报道过 AI 生成的虚假卫星图正在网上...

推荐理由:我会先打个折:这不是产品发布或模型突破,而是一篇有事实支撑的评论。H 靠战争面板加博彩这个钩子立住了,K 靠具体案例和数字撑起来,R 打中了从业者对 AI 信息质量和伦理的敏感神经。文章没给解决方案,但把问题摆得很清楚,所以放在 featured 合适。

3月5日星期四

36 氪 · 直链

帕西尼拿了超10亿B轮融资,估值过百亿,说要用百亿级真实多模态数据训模型

帕西尼宣布完成超10亿元人民币的B轮融资,估值突破百亿,领投方是黄浦江资本、凯泰资本和信安资本。公司自称是全球具身感知领域估值最高的企业。这笔钱的一个核心用途是训练他们自研的VTLA大模型,训练数据号称是“全球唯一百亿级实采全模态数据”。不过正文没披露这个模型的具体架构、参数量、实际任务表现,也没说数据具体包含哪些模态、怎么采集和标注的。百亿级数据听起...

推荐理由:这条消息核心就一件事:帕西尼拿了笔大钱,估值站上百亿。金额和估值数字本身有冲击力,但正文对模型能力、客户落地、量产进度一概没提,所以分数停在76,不往上调。百亿级实采数据是个值得盯的点,不过现在只能当个信号看,别急着下结论。

2月28日星期六

36 氪 · 直链

阿里千问计划推出 AI 眼镜、耳机和指环,把点外卖、打车功能搬出手机

阿里内部人士透露,千问将在 2026 年面向全球发布三款 AI 可穿戴硬件:眼镜、耳机和指环。眼镜会在 MWC 2026 亮相,3 月 2 日开放预约。千问 App 上已有的点外卖、打车等功能会直接迁移到这些设备上。阿里把这件事看得很重,去年底已经将千问 App、夸克和 AI 硬件业务合并成一个“千问 C 端事业群”。模型端也做了配合,新开源的 Qwe...

推荐理由:这篇独家把阿里的硬件路线图摊开了,三款设备一起上,摆明是要把千问 App 里的外卖、打车能力搬到眼镜和耳机上。我会先打个折,毕竟还没看到真机和实测,但 Qwen3.5-Plus 的成本和吞吐数据如果属实,跑端侧推理确实省钱了。值得从业者盯的是生态联动那部分,正文没细说硬件和支付宝、高德的具体打通方式,这点先别太激动,但方向本身比单品参数重要。

2月27日星期五

36 氪 · 直链

中科第五纪一个月融了几亿元,给宇树机器人做“大脑”

中科第五纪在2026年初一个月内完成了Pre-A和Pre-A+两轮融资,总额数亿元,红杉中国、东方富海、芯能创投等机构参与。它同时拿到了宇树科技“核心生态合作伙伴”的身份,从2025年起就作为宇树机器人的“大脑”模型供应商,进入电力巡检和工业搬运场景。创始人刘年丰说,现在投资人不再只看机器人能不能干各种杂活,更在意它能不能在具体场景里被客户复购。他们的...

推荐理由:具身智能加宇树供应链这个组合,天然有话题性和产业信号,所以H和R都成立。文章里公司自己报的数字——3到5条示范、97%成功率、按单机收费——虽然没第三方复现,但至少是可核对的硬信息,K也站得住。没给更高分是因为融资额只说“数亿元”比较模糊,而且所有性能数据都来自公司自述,没有独立验证。