跳到正文

#多模态

今日 4 条

4月29日星期三

量子位 · 公众号

UCL 等团队开源 Avenir-Web,一个不用额外训练就让网页智能体干活更稳的框架,在 ONLINE-MIND2WEB 上跑到 53.7%

Avenir-Web 是 UCL、普林斯顿和爱丁堡大学一起开源的一个网页智能体框架,主打不训练、直接给模型套上就能用。它在 ONLINE-MIND2WEB 这个包含 136 个网站、300 个真实在线任务的测试里,成功率做到了 53.7%。

推荐理由:UCL、普林斯顿和爱丁堡团队开源的 Avenir-Web 无需额外训练即可接入模型,在包含 136 个网站、300 个真实任务的 ONLINE-MIND2WEB 上成功率达到 53.7%。

量子位 · 公众号

DeepSeek 多模态模型开始灰度测试,能识别图片里的饮料和杯子

DeepSeek 研究员确认 V4 视觉版已经在灰度测试,官网首页上线了图片识别入口。一张截图显示,模型花了 4 秒识别出一张文字不多的图片里的饮料种类和杯子类型。正文没披露灰度覆盖范围、API 是否开放以及定价,所以能不能用上、花多少钱还不清楚。

推荐理由:DeepSeek 研究员确认 V4 视觉版已进入灰度测试,官网首页上线图片识别入口,截图显示模型用 4 秒识别出图中饮料种类与杯子类型。

量子位 · 公众号

生数科技认领了那个神秘登顶的机器人模型,叫 MotuBrain,在两项评测里拿了高分,还放了个三台机器人接力干活的演示

4 月中旬有个叫 MotuBrain 的模型在 WorldArena 和 RoboTwin2.0 两个榜单上突然登顶,生数科技在 4 月 29 日认领了它。RoboTwin2.0 的干净环境和随机干扰环境分别拿了 95.8 和 96.1 分。

推荐理由:生数科技认领了此前在 WorldArena 和 RoboTwin2.0 登顶的 MotuBrain,并放出三台机器人接力完成长程任务的演示,展示视频公司跨入具身智能后的落地形态。

r/LocalLLaMA

商汤发布 SenseNova-U1:一个原生架构同时搞定看图理解和生图,不再靠外挂适配器

商汤放出了 SenseNova-U1 系列,主打“原生统一多模态”,意思是模型内部直接处理文字和图像,不用再像以前那样给语言模型外接一个图像适配器来翻译视觉信息。这次公开了 8B 和 A3B 两种 MoT(Mixture of Tokens)规格的权重,其中 A3B 的参数量更小,适合本地跑。

推荐理由:商汤开源 SenseNova-U1 系列,模型内部直接处理文字与图像,不再外接图像适配器,并公开 8B 和 A3B 两种 MoT 规格权重,其中 A3B 参数量更小、适合本地运行。

彭博科技

苹果要在 iOS 27 和 macOS 27 里重做照片编辑,主打 AI 修图

彭博社这篇报道的正文被付费墙挡住了,只抓到了标题和一段机器人验证页面,所以具体功能、用了什么模型、支持哪些机型、什么时候上线,正文都没披露。从标题看,苹果准备在系统自带的照片 App 里塞进一批 AI 编辑工具,关键词是“扩展、增强、重新构图”,听起来像是能自动补全画面边缘、提画质、帮你重新裁切构图。

推荐理由:彭博社报道苹果计划在 iOS 27 和 macOS 27 的照片 App 中引入 AI 编辑工具,关键词为扩展、增强与重新构图,指向系统级修图功能的走向。

NVIDIA 博客

英伟达发布 Nemotron 3 Nano Omni:一个模型同时看懂图文、听懂语音,做 AI 代理时吞吐量号称是同类 9 倍

英伟达在 2026 年 4 月 28 日开源了 Nemotron 3 Nano Omni,一个能同时处理文字、图片、音频、视频、文档、图表和屏幕界面的多模态模型。它用了 30B-A3B 的混合专家架构(MoE),实际激活的参数量是 3B,配合 Conv3D 和 EVS 技术来处理音视频,上下文窗口拉到 256K。

推荐理由:英伟达开源 Nemotron 3 Nano Omni,一个模型同时处理图文音视频,激活参数 3B、上下文 256K,为想搭多模态 agent 的团队提供了一条开源路径。

4月28日星期二

量子位 · 公众号

面壁智能发 MiniCPM-o 4.5 技术报告,12GB 消费显卡就能跑全双工音视频

面壁智能、OpenBMB、清华 NLP 和数学基础中心放出了 MiniCPM-o 4.5 的技术报告。模型参数约 90 亿,能同时处理视频、音频和文字流。核心设计叫 Omni-Flow,把不同信号放在一条统一时间线上分时复用,省掉了外挂的语音活动检测模块。

推荐理由:面壁智能联合清华等发布 MiniCPM-o 4.5 技术报告,约 90 亿参数模型用 Omni-Flow 在统一时间线上分时复用音视频与文字流,12GB 消费显卡即可运行全双工。

量子位 · 公众号

商汤开源 SenseNova-U1:不卷参数卷架构,把图像理解和生成塞进同一个模型

商汤放出了两个开源模型 SenseNova-U1,一个 8B 参数,另一个是总参数量 38B 的 MoE 版本,都用了一套叫 NEO-unify 的架构。它砍掉了传统的视觉编码器和 VAE,直接处理像素,在单张 H100 或 H200 上大概 9 秒能生成一张 2048×2048 的图。核心卖点是图文交错推理,也就是模型能边看文字边看图、边想边出图。

推荐理由:商汤开源两个 SenseNova-U1 模型,用 NEO-unify 架构去掉视觉编码器和 VAE 直接处理像素,单张 H100 或 H200 约 9 秒生成一张 2048×2048 图像。

机器之心 · 公众号

联影智能开源了首个能看懂医疗视频的模型方案,还带了一个52万条数据的评测集

联影智能放出了 uAI-NEXUS-MedVLM,一个专门让大模型理解超声、内窥镜这类医疗视频的开源方案,配套论文中了 CVPR 2026。他们同时发布了一个叫 MedVidBench 的评测集,包含 53.2 万条视频-指令对,覆盖 8 种医疗视频来源和 8 类任务。

推荐理由:联影智能开源了面向超声、内窥镜等医疗视频的大模型方案 uAI-NEXUS-MedVLM,并同步发布含 53.2 万条视频指令对的 MedVidBench 评测集。

新智元 · 公众号

NUS 和 NTU 搞了个叫 Pask 的系统,能在 1.5 秒内边听边猜你想干嘛,还带永久记忆

Pask 是新加坡国立和南洋理工联合发布的一个系统,论文编号 arXiv:2604.08000。它主要靠三个模块干活:DD、MM 和 PAS,其中 IntentFlow 这个组件能在 1.5 秒内实时检测用户意图。核心赌的是实时意图识别,而不是把执行链路拉长。

推荐理由:新加坡国立与南洋理工联合发布的 Pask 系统,其 IntentFlow 组件能在 1.5 秒内实时检测用户意图,并配有永久记忆,为主动式 AI 提供了一条实时意图识别而非拉长执行链的技术路径。

r/LocalLLaMA

微软放出 TRELLIS.2:一个开源 40 亿参数图生 3D 模型,能直接出带贴图的资产

微软在 Reddit 上发了个帖子,标题信息量挺大,但帖子正文被 403 屏蔽了,看不到具体细节。从标题看,TRELLIS.2 是个开源的图生 3D 模型,参数量 40 亿。它能生成最高 1536³ 分辨率的 PBR 纹理资产,也就是带物理渲染材质的 3D 模型,不是白模。

推荐理由:微软开源了 40 亿参数的图生 3D 模型 TRELLIS.2,可生成最高 1536³ 分辨率、带 PBR 材质的 3D 资产,关注开源 3D 生成模型能力边界的人可以看看。

4月27日星期一

The Verge · AI

Canva 的 AI 工具把设计里的“巴勒斯坦”自动改成了“乌克兰”,公司已道歉

Canva 的 Magic Layers 功能本来是把平面图拆成可编辑图层,结果被用户发现它会偷偷把文字里的“Palestine”替换成“Ukraine”。X 用户 @ros_ie9 测试时,“cats for Palestine”变成了“cats for Ukraine”,但“Gaza”这个词没受影响。Canva 说已经修了,但没解释触发机制是什么。

推荐理由:Canva 的 Magic Layers 把设计文字中的 Palestine 自动替换为 Ukraine,公司已确认修复但未说明触发机制,这一具体案例涉及 AI 编辑工具对政治词汇的处理边界。

新智元 · 公众号

奥特曼喊完“红色警戒”五个月,GPT Image 2 在图像竞技场三项登顶,把谷歌甩开一大截

GPT Image 2 上线不到半天就在 Arena 图像榜拿了三个第一。文生图得分 1512,比第二名 Nano Banana 2 高出 241 分,Arena 说这是图像榜有史以来最大分差。盲测胜率 93%,文字渲染能力一口气涨了 316 分。核心变化是模型会“先想再画”:先规划构图、自己检查结果、能联网搜图,还能一次出 8 张风格统一的图。

推荐理由:GPT Image 2 上线不到半天在 Arena 图像榜拿下三个第一,文生图 1512 分比第二名高 241 分,盲测胜率 93%,核心变化是模型先规划构图再出图。

量子位 · 公众号

Meshy 用户破千万后开始做 3D 打印实物,ARR 一年翻了 14 倍

Meshy 的注册用户超过一千万,ARR(年经常性收入)做到 4000 万美元,2025 年收入同比翻了 14 倍。他们新推的 Meshy Creative Lab 能直接生成钥匙扣、冰箱贴、键帽这类小物件的 3D 模型,但正文没披露实物下单功能是否已上线。

推荐理由:Meshy 注册用户突破一千万、ARR 达 4000 万美元,新推的 Creative Lab 可直接生成钥匙扣、冰箱贴等小物件模型,展示 AI 生成 3D 内容向实物消费场景延伸的路径。

机器之心 · 公众号

苹果新论文问:多模态模型没开口的 logits 里,到底藏了多少画面信息?

苹果这篇论文直接测了一个安全问题:视觉语言模型在生成回答前,内部那串“候选词概率”(logits)会不会把图片细节漏出去。他们在 CLEVR 和 MSCOCO 上做实验,发现只靠排名前 30 到 80 的 logits 值,就能反推出图片里有没有噪声、目标物体的特征,甚至部分背景属性。

推荐理由:苹果在 CLEVR 和 MSCOCO 上实验发现,仅凭排名前 30 到 80 的 logits 就能反推出图片噪声、目标特征和部分背景属性,为视觉语言模型的输出接口风险提供了可量化的证据。

机器之心 · 公众号

Meshy 6 发布,这家靠 99 行代码复刻冰雪奇缘起家的公司,现在在欧美 3D AI 市场占了六成份额

Meshy AI 发了 Meshy 6,正文没披露具体技术细节。公司说自己在欧美发达市场占有率超过 60%,三年积累了 1000 万用户、年经常性收入超 4000 万美元,用 AI 生成了 1 亿多个 3D 模型。37 互娱用下来,基础雕刻工作量少了 30% 到 40%,说明工具确实能嵌进美术管线里省人力。

推荐理由:Meshy 6 发布,公司称在欧美 3D AI 市场占有率超 60%,三年积累 1000 万用户、年经常性收入超 4000 万美元;37 互娱反馈基础雕刻工作量减少 30% 到 40%。

4月25日星期六

Hacker News 首页

Google 上线 Flow Music,用 Lyria 3 做歌、Veo 生成 MV

Google 悄悄上线了 Flow Music 网页版,目前有歌曲、歌单、空间、视频、项目和 Turntable 六个板块。核心功能是跟一个叫 Producer 的对话式工具聊天做歌,官方说它背后是 Lyria 3 模型,能生成带人声的完整歌曲;AI 音乐视频部分接的是 Veo 模型,可以自己控制角色和画面风格。

推荐理由:Google 上线 Flow Music 网页版,把 Lyria 3 做歌和 Veo 生成 MV 收进同一个入口,对话式工具 Producer 可产出带人声的完整歌曲。

TechCrunch · AI

ComfyUI 拿了 3000 万美元,估值冲到 5 亿,卖点是让创作者自己搭 AI 生图/视频的工作流

TechCrunch 消息,ComfyUI 刚融了 3000 万美元,估值 5 亿。它的工具不是又一个模型,而是给创作者一个可视化节点界面,像搭乐高一样把 AI 生图、视频、音频的步骤串起来,精细控制出图效果。正文没披露投资方、融资轮次、具体定价和发布时间,所以这笔钱到底怎么花、商业化节奏如何,现在还不清楚。

推荐理由:ComfyUI 以 3000 万美元融资、5 亿估值,把可视化节点式 AI 生图与视频工作流推向市场,其价值在于创作者能自行串联步骤、精细控制出图效果。

Hacker News 首页

TIPSv2:Google DeepMind 给视觉语言模型换了套预训练配方,零样本分割涨了 14.1 分

Google DeepMind 发了 TIPSv2,一篇 CVPR 2026 论文,改了三处预训练方法,让视觉模型在零样本分割上明显变强。核心发现是:用蒸馏训练出来的小模型,在图像区域和文本的对齐能力上反而超过了大模型老师,原因在于老师模型在预训练时没管那些没被遮住的图像块。

推荐理由:Google DeepMind 发布 TIPSv2,对遮挡与可见图像块都加自蒸馏损失,零样本分割提升 14.1 mIoU,并借 Head-only EMA 减少 42% 训练参数。

The Verge · AI

一本新书复盘了 Maven 项目:美军是怎么从嫌弃 AI 到离不开它的

Katrina Manson 的新书梳理了 Maven 项目从 2017 年用计算机视觉分析无人机视频起步,到后来演变成 Maven Smart System 的全过程。书里最抓眼球的一个数字是:在对伊朗行动的头 24 小时里,美军靠这套 AI 系统辅助打了一千多个目标,规模差不多是二十年前伊拉克“震慑”行动的两倍。

推荐理由:Katrina Manson 的新书复盘了 Maven 从 2017 年分析无人机视频到演变为 Maven Smart System 的过程,其中对伊朗行动头 24 小时辅助打击一千多个目标的规模,约为二十年前伊拉克震慑行动的两倍。

4月24日星期五

机器之心 · 公众号

复旦等团队提出 HERMES:把 KV 缓存当分层记忆用,流式视频理解首 token 延迟最高降 10 倍

这篇讲的是复旦大学、上海科学智能研究院和新加坡国立大学一起搞的 HERMES,一个不用重新训练就能加速流式视频理解的框架。核心思路是把模型里的 KV 缓存(你可以理解成模型在推理时记下的“草稿纸”)重新组织成三层记忆:当前帧的短期记忆、最近几帧的中期记忆,以及更早帧压缩后的长期记忆。

推荐理由:复旦大学等团队提出免训练的 HERMES 框架,把 KV 缓存组织成三层记忆来加速流式视频理解,首 token 延迟最高降低 10 倍,为实时视频场景的推理优化提供了一条可迁移思路。

机器之心 · 公众号

机器人跑赢人类马拉松后,资本开始从硬件转向“大脑”

荣耀的人形机器人“闪电”在北京亦庄半马跑出50分26秒,比人类男子世界纪录57分20秒还快。宇树H1在1.9公里弯道赛段也跑出4分13秒。文章说2026年一季度具身智能融资近200笔、总额超300亿元,4月16日灵初智能又拿了4.55亿美元Pre-A轮。信号很直接:钱正从机器人本体流向模型和智能系统,硬件能卷的差不多到头了。

推荐理由:荣耀人形机器人半马跑出50分26秒,超过人类男子世界纪录,同期具身智能一季度融资近200笔、超300亿元,资金正从本体转向模型与智能系统。

新智元 · 公众号

谷歌和何恺明团队搞了个 Vision Banana,想把所有视觉任务统一成“生成像素”这一种操作

Vision Banana 是谷歌 DeepMind 跟何恺明他们一起做的视觉模型,核心思路是用一套“像素生成”的界面去覆盖检测、分割、生成和编辑这些活,不再每种任务单独搞一个模型。

推荐理由:谷歌 DeepMind 与何恺明团队提出 Vision Banana,用像素生成这一种输出统一检测、分割、生成和编辑,不再为每个任务单独挂模型头。

Hacker News 首页

GPT-5.5 在漏洞挖掘上追平了没公开的 Mythos,而且人人都能用

安全公司 XBOW 用真实漏洞库测了 GPT-5.5,漏报率压到 10%,比 GPT-5 的 40% 和 Opus 4.6 的 18% 都低。更关键的是,GPT-5.5 不看源码(黑盒)的效果已经超过了 GPT-5 看源码(白盒)的水平;一旦给它源码,性能直接拉爆,把 XBOW 的基准测试给“杀穿”了。

推荐理由:安全公司 XBOW 用真实漏洞库测试 GPT-5.5,其黑盒漏报率降至 10%,低于 GPT-5 白盒的 40% 和 Opus 4.6 的 18%。

4月23日星期四

量子位 · 公众号

Qwen3.6-27B 开源,参数只有前代旗舰的十五分之一,但在智能体编程上反超了 397B 模型

Qwen 放出了 Qwen3.6-27B 的权重,一个 270 亿参数的稠密模型。官方说它在四项智能体编程基准上全面超过了自家上一代 3970 亿参数的旗舰 Qwen3.5-397B。

推荐理由:Qwen 开源 270 亿参数的稠密模型 Qwen3.6-27B,官方称其在四项智能体编程基准上超过自家 3970 亿参数的上一代旗舰。

新智元 · 公众号

踏石智航拿了4.55亿美金Pre-A轮,红杉和高瓴一起领投

踏石智航在4月16号宣布完成4.55亿美元Pre-A轮融资,红杉中国、高瓴创投和美团联合领投。这笔钱创下了国内具身智能单轮和Pre-A轮融资的纪录。公司说他们的AWE3.0四模态模型把没见过视角的任务成功率提升了3倍,执行抖动降低了约45%,A1机器人还拿了个一小时完成亚毫米线束组装的吉尼斯纪录。

推荐理由:踏石智航完成4.55亿美元Pre-A轮融资,由红杉中国、高瓴创投和美团联合领投,这一金额创下国内具身智能单轮融资纪录,其AWE3.0模型与A1机器人的落地指标也一并披露。

Hacker News 首页

Flipbook:一个完全由图片模型实时生成的无限视觉浏览器

Flipbook 把整个网页变成一张张像素图片,你点击任何地方,它都会生成一张更深一层的新图片,没有 HTML、没有代码、没有文字图层。所有文字都是图片模型直接画出来的,所以偶尔会画歪或写错,这点随着模型变强会改善。内容来自智能体联网搜索和模型自己的知识,准确度大概跟用 ChatGPT、Gemini 这类对话产品查到的差不多。

推荐理由:Flipbook 把网页变成实时生成的像素图片,点击任意位置就生成更深一层的新图,文字也由图片模型直接画出,呈现了生成式界面在交互机制上的一种做法。

4月22日星期三

Hacker News 首页

Qwen 开源 27B 稠密模型,编程能力超过自家 397B 的 MoE 老旗舰

Qwen 放出了 Qwen3.6-27B,一个 270 亿参数的稠密模型,主打编程,而且直接开源。它最狠的地方是跑分超过了上一代 3970 亿总参数(每次激活 170 亿)的 MoE 模型 Qwen3.5-397B-A17B。在 SWE-bench Verified 上拿了 77.2 分,比老旗舰的 76.2 高。

推荐理由:Qwen 开源 270 亿参数的稠密编程模型 Qwen3.6-27B,在 SWE-bench Verified 上以 77.2 分超过上一代 3970 亿总参数的 MoE 旗舰,小体量稠密模型与超大 MoE 的这次对比是主要看点。

量子位 · 公众号

商汤绝影把32B总参、3B激活的模型塞进车机,跑分压过GPT-5.4和Opus 4.6

商汤绝影发布了一个叫Sage的车载端侧多模态模型,总参数32B,但每次推理只激活3B参数。它在PinchBench上拿了94%,比Claude Opus 4.6的93.3%和GPT-5.4的90.5%都高。模型跑在Nvidia OrinX上,首字延迟约0.5秒,单token生成约0.03秒,吞吐80 tok/s。

推荐理由:商汤绝影发布车载端侧多模态模型Sage,32B总参数每次只激活3B,在PinchBench上以94%超过Claude Opus 4.6和GPT-5.4,并给出OrinX上的延迟与吞吐数据。

Latent Space

OpenAI 发布 GPT-Image-2,图像生成模型开始能看懂文字、画 UI 和做排版了

OpenAI 正式推出了 GPT-Image-2,在 ChatGPT、Codex 和 API 里都能用。这次更新最明显的变化是文字渲染、排版和编辑能力大幅提升,能直接生成幻灯片、信息图、UI 稿和二维码,还支持多语言。模型分“思考”和“不思考”两个版本,思考版可以自己上网搜资料、生成多个候选图并自我检查。

推荐理由:OpenAI 将 GPT-Image-2 铺到 ChatGPT、Codex 和 API,文字渲染、排版编辑与多语言能力提升,可直接生成幻灯片、信息图和 UI 稿。

X · @dotey(宝玉)

OpenAI 图片生成升级到 2.0,能听懂复杂指令、写对多国文字,所有 ChatGPT 和 Codex 用户都能用了

ChatGPT 的图片生成功能今天全面升级到 2.0,免费用户也能用。这次最大的改进是能处理复杂构图了,比如带文字的 UI 界面、密集排版,小字和图标渲染比之前靠谱很多。输出分辨率最高 2K,宽高比从 3:1 到 1:3 都支持,做横幅海报可以直接出图。多语言文字生成也有提升,OpenAI 说中文、日文、阿拉伯文这些非英文文本能写得语义连贯,不再乱码。

推荐理由:ChatGPT 图片生成升级到 2.0,免费用户也能用,复杂排版和多国文字渲染的稳定性提升,输出最高 2K 并支持 3:1 到 1:3 的宽高比。

X · @OpenAI

OpenAI 发了 ChatGPT Images 2.0,说画图更准、能直接拿来用

OpenAI 在 X 上官宣了 ChatGPT Images 2.0,定位是能处理复杂视觉任务、出图直接可用的图像模型。帖子提到三点升级:编辑更精细、版式更丰富,以及加入了“思考级智能”,但没解释这具体指什么能力。视频演示看起来效果不错,不过正文没披露模型规模、定价、延迟和推送范围,我会先打个折——等看到实测和成本再说。

推荐理由:OpenAI 发布 ChatGPT Images 2.0,称编辑更精细、版式更丰富并加入思考级智能,但未说明模型规模、定价与推送范围,适合先了解官方给出的升级方向。

彭博科技

OpenAI 发了新版生图模型,专门强化了图表和科学示意图的生成能力

OpenAI 更新了它的图像生成软件,这次的重点不是画得更美,而是让模型能更准确地生成复杂图表和科学示意图。正文没披露模型名字、发布时间、定价、跑分数据或具体技术方案,目前能看到的信号是 OpenAI 在往专业场景里推,而不是继续卷通用画质。

推荐理由:OpenAI 更新图像生成软件,把重点放在复杂图表和科学示意图的准确性上,而非通用画质。这为关注图像模型在专业场景落地的人提供了方向性参考。

The Verge · AI

OpenAI 更新图片生成器,现在能联网搜资料来画图了

ChatGPT Images 2.0 这次最大的变化不是画质,而是能上网查资料。你选一个会思考的模型,它就能根据一个提示词生成一组图片,比如直接搜网页信息来画一本杂志封面。背后跑的是 GPT Image 2 模型,目前 Plus、Pro、Business 和 Enterprise 用户能用。

推荐理由:OpenAI 为 ChatGPT Images 2.0 加入联网检索,模型可先查网页资料再生成一组图片,Plus、Pro、Business 和 Enterprise 用户已可使用。

TechCrunch · AI

Clarifai 删掉了从 OkCupid 拿来的 300 万张用户照片,这些照片曾被用来训练人脸识别模型

Clarifai 跟 FTC 和解后,删了 300 万张照片和用这些数据训出来的模型。照片是 2014 年从约会软件 OkCupid 要来的,当时 OkCupid 的高管还投了 Clarifai。说白了就是投资人和被投公司之间私下传了用户数据,拿去训人脸识别 AI。正文没披露和解的具体条款、怎么验证删除是否彻底,也没说删模型对现有产品性能有多大影响。

推荐理由:Clarifai 与 FTC 和解后删除 300 万张 OkCupid 用户照片及据此训练的人脸识别模型,这批数据是 2014 年 OkCupid 高管投资 Clarifai 期间提供的。

4月21日星期二

Ben's Bites

Claude 新增设计面板,问几个问题就能出原型图

Anthropic 给 Claude 加了一个“设计”标签页,会先弹出 5 到 10 个问题跟你互动,然后直接生成线框图或高保真原型。作者实测发现,传图片转设计的流程在原型模式下效果不错。目前这个功能还在研究预览阶段,有独立的使用额度,20 美元月费套餐一周大概只能跑两三次大尺寸生成。

推荐理由:Anthropic 为 Claude 加入设计标签页,通过 5 到 10 轮问答生成线框图或高保真原型,并披露了研究预览阶段的额度限制。

机器之心 · 公众号

Monet:让多模态模型在脑子里直接画图推理,不用每次都调外部工具

Monet 把 Qwen2.5-VL-7B 改造成 Monet-7B,核心是让模型在连续的视觉潜空间里做抽象推理,而不是每次都去调用外部画图或识别工具。训练分三步:先用 12.5 万条数据做监督微调,再用 VLPO 强化学习对齐偏好。在分布内任务上比原版模型提升 3% 到 9.75%,在分布外的抽象视觉推理上提升 2.31%。

推荐理由:Monet 把 Qwen2.5-VL-7B 改造成在连续视觉潜空间内完成抽象推理的模型,训练分监督微调与 VLPO 强化学习两步,分布内任务提升 3% 到 9.75%。

OpenAI News

OpenAI 发了 ChatGPT Images 2.0,主打文字渲染、多语言和视觉推理

OpenAI 在 4 月 21 日官宣了 ChatGPT Images 2.0,说新模型在三个地方有提升:画面里的文字更准、多语言排版更稳、能根据复杂指令做视觉推理。官方放了一堆样图,从海报、漫画到杂志内页都有,看着确实比上一代强。但正文没披露模型架构、出图分辨率、价格、延迟和具体上线时间,也没给对比数据。

推荐理由:OpenAI 发布 ChatGPT Images 2.0,官方称在画面文字准确性、多语言排版和复杂指令的视觉推理三方面有提升,并放出海报、漫画、杂志内页等样图。

Latent Space

月之暗面发布 Kimi K2.6 开源模型,在长任务执行上对标 Claude Opus 4.6

月之暗面推出了 Kimi K2.6,一个总参数 1 万亿的混合专家模型,每次推理激活 320 亿参数,支持 25.6 万 token 的上下文窗口。它主打的是长时间、多步骤的智能体任务,官方宣称能连续跑 12 小时以上、调用超 4000 次工具、并行管理 300 个子智能体。

推荐理由:月之暗面发布总参数1万亿的Kimi K2.6开源模型,主打长时间多步骤智能体任务,官方称可连续运行12小时以上并并行管理300个子智能体。

Hacker News 首页

膨胀伪影:大模型输出的瑕疵不是压缩痕迹,而是解压时脑补过头的证据

Matt Ström-Awn 把大模型生成内容里的毛病叫做“膨胀伪影”,而不是压缩伪影。他的逻辑是:模型从模糊的训练数据里往外“解压”时,会在信心不足的地方用训练分布里的高频模式硬填,于是就有了那些套话、过度注释的代码、六指手和穿模视频。

推荐理由:Matt Ström-Awn 把大模型生成内容里的套话、六指手和穿模视频归为解压时用高频模式硬填的膨胀伪影,为理解这些瑕疵的来源提供了一条不同于压缩失真的解释路径。