跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 441–460 条 · 共 592 条

4月30日星期四

Hacker News 首页

SOB 基准测试:专门给大模型的结构化输出能力挑错

Interfaze 发布了一个叫 SOB 的基准测试,专门看大模型从文本、图片、音频里提取信息并输出成 JSON 时,到底靠不靠谱。它不像老测试只看 JSON 格式对不对,而是重点查字段里的值准不准——比如发票金额有没有瞎编。测试覆盖了 5000 条文本、209 张图片和 115 段音频,每道题都有人工核对过的标准答案。

推荐理由:Interfaze 发布 SOB 基准,用 5000 条文本、209 张图片和 115 段音频测大模型结构化输出,重点查字段值是否准确而非仅 JSON 格式。

4月29日星期三

r/LocalLLaMA

Mistral 发布 1280 亿参数模型,支持图文输入和函数调用,高收入公司商用需额外授权

Mistral AI 在 Hugging Face 上放出了 Mistral Medium 3.5,一个 1280 亿参数的稠密模型,上下文窗口拉到 25.6 万 token。它能吃文本和图片,支持函数调用和 JSON 格式输出,推理强度可以按请求设成“无”或“高”。

推荐理由:Mistral AI 在 Hugging Face 发布 1280 亿参数稠密模型 Mistral Medium 3.5,支持图文输入、函数调用与可调推理强度,上下文窗口达 25.6 万 token。

X · @op7418(歸藏)

DeepSeek 多模态模型全量上线,网页版识图模式能用了

DeepSeek 把多模态模型全量推上线了,现在打开网页版就能用识图模式。从体验看,这应该是一个独立的多模态模型,不是把图片转文字再丢给纯文本模型那种拼接方案。正文没披露模型名字、参数量、定价和 API 开放时间,这些关键信息都还缺着,想接进自己流程的朋友得再等等。

推荐理由:DeepSeek 将多模态模型全量上线,网页版识图模式已可直接使用,从体验看是独立多模态模型而非图片转文字拼接方案。

新智元 · 公众号

谷歌翻译 20 岁,劈柴哥说它换了四代 AI,现在能直接听懂语气了

劈柴哥发帖庆祝谷歌翻译上线 20 年,月活用户到了 10 亿。他梳理了背后的四代技术:最早是统计机器翻译,2016 年换成神经网络翻译,后来用上 PaLM 2 大模型,2024 年一口气加了 110 种语言。最新的是 Gemini 2.5 Flash 的原生音频翻译,不再先把语音转文字再翻译,而是直接处理声音,能保留原话的语调、停顿和节奏。

推荐理由:谷歌翻译上线 20 年,劈柴哥梳理其从统计机器翻译到 Gemini 2.5 Flash 原生音频翻译的四代技术更替,最新方案直接处理声音以保留语调与节奏。

新智元 · 公众号

生数科技 MotuBrain 在 WorldArena 和 RoboTwin2.0 两个榜单同时登顶

生数科技新模型 MotuBrain 拿了两个第一:在 WorldArena 世界模型榜单上得分 63.77 EWM,在 RoboTwin2.0 的干净和随机两个测试里分别拿到 95.8 和 96.1 分。

推荐理由:生数科技 MotuBrain 在 WorldArena 与 RoboTwin2.0 两个榜单同时登顶,WorldArena 得分 63.77 EWM,RoboTwin2.0 干净与随机测试分别为 95.8 和 96.1 分。

量子位 · 公众号

UCL 等团队开源 Avenir-Web,一个不用额外训练就让网页智能体干活更稳的框架,在 ONLINE-MIND2WEB 上跑到 53.7%

Avenir-Web 是 UCL、普林斯顿和爱丁堡大学一起开源的一个网页智能体框架,主打不训练、直接给模型套上就能用。它在 ONLINE-MIND2WEB 这个包含 136 个网站、300 个真实在线任务的测试里,成功率做到了 53.7%。

推荐理由:UCL、普林斯顿和爱丁堡团队开源的 Avenir-Web 无需额外训练即可接入模型,在包含 136 个网站、300 个真实任务的 ONLINE-MIND2WEB 上成功率达到 53.7%。

量子位 · 公众号

DeepSeek 多模态模型开始灰度测试,能识别图片里的饮料和杯子

DeepSeek 研究员确认 V4 视觉版已经在灰度测试,官网首页上线了图片识别入口。一张截图显示,模型花了 4 秒识别出一张文字不多的图片里的饮料种类和杯子类型。正文没披露灰度覆盖范围、API 是否开放以及定价,所以能不能用上、花多少钱还不清楚。

推荐理由:DeepSeek 研究员确认 V4 视觉版已进入灰度测试,官网首页上线图片识别入口,截图显示模型用 4 秒识别出图中饮料种类与杯子类型。

量子位 · 公众号

生数科技认领了那个神秘登顶的机器人模型,叫 MotuBrain,在两项评测里拿了高分,还放了个三台机器人接力干活的演示

4 月中旬有个叫 MotuBrain 的模型在 WorldArena 和 RoboTwin2.0 两个榜单上突然登顶,生数科技在 4 月 29 日认领了它。RoboTwin2.0 的干净环境和随机干扰环境分别拿了 95.8 和 96.1 分。

推荐理由:生数科技认领了此前在 WorldArena 和 RoboTwin2.0 登顶的 MotuBrain,并放出三台机器人接力完成长程任务的演示,展示视频公司跨入具身智能后的落地形态。

r/LocalLLaMA

商汤发布 SenseNova-U1:一个原生架构同时搞定看图理解和生图,不再靠外挂适配器

商汤放出了 SenseNova-U1 系列,主打“原生统一多模态”,意思是模型内部直接处理文字和图像,不用再像以前那样给语言模型外接一个图像适配器来翻译视觉信息。这次公开了 8B 和 A3B 两种 MoT(Mixture of Tokens)规格的权重,其中 A3B 的参数量更小,适合本地跑。

推荐理由:商汤开源 SenseNova-U1 系列,模型内部直接处理文字与图像,不再外接图像适配器,并公开 8B 和 A3B 两种 MoT 规格权重,其中 A3B 参数量更小、适合本地运行。

彭博科技

苹果要在 iOS 27 和 macOS 27 里重做照片编辑,主打 AI 修图

彭博社这篇报道的正文被付费墙挡住了,只抓到了标题和一段机器人验证页面,所以具体功能、用了什么模型、支持哪些机型、什么时候上线,正文都没披露。从标题看,苹果准备在系统自带的照片 App 里塞进一批 AI 编辑工具,关键词是“扩展、增强、重新构图”,听起来像是能自动补全画面边缘、提画质、帮你重新裁切构图。

推荐理由:彭博社报道苹果计划在 iOS 27 和 macOS 27 的照片 App 中引入 AI 编辑工具,关键词为扩展、增强与重新构图,指向系统级修图功能的走向。

NVIDIA 博客

英伟达发布 Nemotron 3 Nano Omni:一个模型同时看懂图文、听懂语音,做 AI 代理时吞吐量号称是同类 9 倍

英伟达在 2026 年 4 月 28 日开源了 Nemotron 3 Nano Omni,一个能同时处理文字、图片、音频、视频、文档、图表和屏幕界面的多模态模型。它用了 30B-A3B 的混合专家架构(MoE),实际激活的参数量是 3B,配合 Conv3D 和 EVS 技术来处理音视频,上下文窗口拉到 256K。

推荐理由:英伟达开源 Nemotron 3 Nano Omni,一个模型同时处理图文音视频,激活参数 3B、上下文 256K,为想搭多模态 agent 的团队提供了一条开源路径。

4月28日星期二

量子位 · 公众号

面壁智能发 MiniCPM-o 4.5 技术报告,12GB 消费显卡就能跑全双工音视频

面壁智能、OpenBMB、清华 NLP 和数学基础中心放出了 MiniCPM-o 4.5 的技术报告。模型参数约 90 亿,能同时处理视频、音频和文字流。核心设计叫 Omni-Flow,把不同信号放在一条统一时间线上分时复用,省掉了外挂的语音活动检测模块。

推荐理由:面壁智能联合清华等发布 MiniCPM-o 4.5 技术报告,约 90 亿参数模型用 Omni-Flow 在统一时间线上分时复用音视频与文字流,12GB 消费显卡即可运行全双工。

量子位 · 公众号

商汤开源 SenseNova-U1:不卷参数卷架构,把图像理解和生成塞进同一个模型

商汤放出了两个开源模型 SenseNova-U1,一个 8B 参数,另一个是总参数量 38B 的 MoE 版本,都用了一套叫 NEO-unify 的架构。它砍掉了传统的视觉编码器和 VAE,直接处理像素,在单张 H100 或 H200 上大概 9 秒能生成一张 2048×2048 的图。核心卖点是图文交错推理,也就是模型能边看文字边看图、边想边出图。

推荐理由:商汤开源两个 SenseNova-U1 模型,用 NEO-unify 架构去掉视觉编码器和 VAE 直接处理像素,单张 H100 或 H200 约 9 秒生成一张 2048×2048 图像。

机器之心 · 公众号

联影智能开源了首个能看懂医疗视频的模型方案,还带了一个52万条数据的评测集

联影智能放出了 uAI-NEXUS-MedVLM,一个专门让大模型理解超声、内窥镜这类医疗视频的开源方案,配套论文中了 CVPR 2026。他们同时发布了一个叫 MedVidBench 的评测集,包含 53.2 万条视频-指令对,覆盖 8 种医疗视频来源和 8 类任务。

推荐理由:联影智能开源了面向超声、内窥镜等医疗视频的大模型方案 uAI-NEXUS-MedVLM,并同步发布含 53.2 万条视频指令对的 MedVidBench 评测集。

新智元 · 公众号

NUS 和 NTU 搞了个叫 Pask 的系统,能在 1.5 秒内边听边猜你想干嘛,还带永久记忆

Pask 是新加坡国立和南洋理工联合发布的一个系统,论文编号 arXiv:2604.08000。它主要靠三个模块干活:DD、MM 和 PAS,其中 IntentFlow 这个组件能在 1.5 秒内实时检测用户意图。核心赌的是实时意图识别,而不是把执行链路拉长。

推荐理由:新加坡国立与南洋理工联合发布的 Pask 系统,其 IntentFlow 组件能在 1.5 秒内实时检测用户意图,并配有永久记忆,为主动式 AI 提供了一条实时意图识别而非拉长执行链的技术路径。

r/LocalLLaMA

微软放出 TRELLIS.2:一个开源 40 亿参数图生 3D 模型,能直接出带贴图的资产

微软在 Reddit 上发了个帖子,标题信息量挺大,但帖子正文被 403 屏蔽了,看不到具体细节。从标题看,TRELLIS.2 是个开源的图生 3D 模型,参数量 40 亿。它能生成最高 1536³ 分辨率的 PBR 纹理资产,也就是带物理渲染材质的 3D 模型,不是白模。

推荐理由:微软开源了 40 亿参数的图生 3D 模型 TRELLIS.2,可生成最高 1536³ 分辨率、带 PBR 材质的 3D 资产,关注开源 3D 生成模型能力边界的人可以看看。

4月27日星期一

The Verge · AI

Canva 的 AI 工具把设计里的“巴勒斯坦”自动改成了“乌克兰”,公司已道歉

Canva 的 Magic Layers 功能本来是把平面图拆成可编辑图层,结果被用户发现它会偷偷把文字里的“Palestine”替换成“Ukraine”。X 用户 @ros_ie9 测试时,“cats for Palestine”变成了“cats for Ukraine”,但“Gaza”这个词没受影响。Canva 说已经修了,但没解释触发机制是什么。

推荐理由:Canva 的 Magic Layers 把设计文字中的 Palestine 自动替换为 Ukraine,公司已确认修复但未说明触发机制,这一具体案例涉及 AI 编辑工具对政治词汇的处理边界。

新智元 · 公众号

奥特曼喊完“红色警戒”五个月,GPT Image 2 在图像竞技场三项登顶,把谷歌甩开一大截

GPT Image 2 上线不到半天就在 Arena 图像榜拿了三个第一。文生图得分 1512,比第二名 Nano Banana 2 高出 241 分,Arena 说这是图像榜有史以来最大分差。盲测胜率 93%,文字渲染能力一口气涨了 316 分。核心变化是模型会“先想再画”:先规划构图、自己检查结果、能联网搜图,还能一次出 8 张风格统一的图。

推荐理由:GPT Image 2 上线不到半天在 Arena 图像榜拿下三个第一,文生图 1512 分比第二名高 241 分,盲测胜率 93%,核心变化是模型先规划构图再出图。

量子位 · 公众号

Meshy 用户破千万后开始做 3D 打印实物,ARR 一年翻了 14 倍

Meshy 的注册用户超过一千万,ARR(年经常性收入)做到 4000 万美元,2025 年收入同比翻了 14 倍。他们新推的 Meshy Creative Lab 能直接生成钥匙扣、冰箱贴、键帽这类小物件的 3D 模型,但正文没披露实物下单功能是否已上线。

推荐理由:Meshy 注册用户突破一千万、ARR 达 4000 万美元,新推的 Creative Lab 可直接生成钥匙扣、冰箱贴等小物件模型,展示 AI 生成 3D 内容向实物消费场景延伸的路径。

机器之心 · 公众号

苹果新论文问:多模态模型没开口的 logits 里,到底藏了多少画面信息?

苹果这篇论文直接测了一个安全问题:视觉语言模型在生成回答前,内部那串“候选词概率”(logits)会不会把图片细节漏出去。他们在 CLEVR 和 MSCOCO 上做实验,发现只靠排名前 30 到 80 的 logits 值,就能反推出图片里有没有噪声、目标物体的特征,甚至部分背景属性。

推荐理由:苹果在 CLEVR 和 MSCOCO 上实验发现,仅凭排名前 30 到 80 的 logits 就能反推出图片噪声、目标特征和部分背景属性,为视觉语言模型的输出接口风险提供了可量化的证据。