跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 461–480 条 · 共 592 条

4月27日星期一

机器之心 · 公众号

Meshy 6 发布,这家靠 99 行代码复刻冰雪奇缘起家的公司,现在在欧美 3D AI 市场占了六成份额

Meshy AI 发了 Meshy 6,正文没披露具体技术细节。公司说自己在欧美发达市场占有率超过 60%,三年积累了 1000 万用户、年经常性收入超 4000 万美元,用 AI 生成了 1 亿多个 3D 模型。37 互娱用下来,基础雕刻工作量少了 30% 到 40%,说明工具确实能嵌进美术管线里省人力。

推荐理由:Meshy 6 发布,公司称在欧美 3D AI 市场占有率超 60%,三年积累 1000 万用户、年经常性收入超 4000 万美元;37 互娱反馈基础雕刻工作量减少 30% 到 40%。

4月25日星期六

Hacker News 首页

Google 上线 Flow Music,用 Lyria 3 做歌、Veo 生成 MV

Google 悄悄上线了 Flow Music 网页版,目前有歌曲、歌单、空间、视频、项目和 Turntable 六个板块。核心功能是跟一个叫 Producer 的对话式工具聊天做歌,官方说它背后是 Lyria 3 模型,能生成带人声的完整歌曲;AI 音乐视频部分接的是 Veo 模型,可以自己控制角色和画面风格。

推荐理由:Google 上线 Flow Music 网页版,把 Lyria 3 做歌和 Veo 生成 MV 收进同一个入口,对话式工具 Producer 可产出带人声的完整歌曲。

TechCrunch · AI

ComfyUI 拿了 3000 万美元,估值冲到 5 亿,卖点是让创作者自己搭 AI 生图/视频的工作流

TechCrunch 消息,ComfyUI 刚融了 3000 万美元,估值 5 亿。它的工具不是又一个模型,而是给创作者一个可视化节点界面,像搭乐高一样把 AI 生图、视频、音频的步骤串起来,精细控制出图效果。正文没披露投资方、融资轮次、具体定价和发布时间,所以这笔钱到底怎么花、商业化节奏如何,现在还不清楚。

推荐理由:ComfyUI 以 3000 万美元融资、5 亿估值,把可视化节点式 AI 生图与视频工作流推向市场,其价值在于创作者能自行串联步骤、精细控制出图效果。

Hacker News 首页

TIPSv2:Google DeepMind 给视觉语言模型换了套预训练配方,零样本分割涨了 14.1 分

Google DeepMind 发了 TIPSv2,一篇 CVPR 2026 论文,改了三处预训练方法,让视觉模型在零样本分割上明显变强。核心发现是:用蒸馏训练出来的小模型,在图像区域和文本的对齐能力上反而超过了大模型老师,原因在于老师模型在预训练时没管那些没被遮住的图像块。

推荐理由:Google DeepMind 发布 TIPSv2,对遮挡与可见图像块都加自蒸馏损失,零样本分割提升 14.1 mIoU,并借 Head-only EMA 减少 42% 训练参数。

The Verge · AI

一本新书复盘了 Maven 项目:美军是怎么从嫌弃 AI 到离不开它的

Katrina Manson 的新书梳理了 Maven 项目从 2017 年用计算机视觉分析无人机视频起步,到后来演变成 Maven Smart System 的全过程。书里最抓眼球的一个数字是:在对伊朗行动的头 24 小时里,美军靠这套 AI 系统辅助打了一千多个目标,规模差不多是二十年前伊拉克“震慑”行动的两倍。

推荐理由:Katrina Manson 的新书复盘了 Maven 从 2017 年分析无人机视频到演变为 Maven Smart System 的过程,其中对伊朗行动头 24 小时辅助打击一千多个目标的规模,约为二十年前伊拉克震慑行动的两倍。

4月24日星期五

机器之心 · 公众号

复旦等团队提出 HERMES:把 KV 缓存当分层记忆用,流式视频理解首 token 延迟最高降 10 倍

这篇讲的是复旦大学、上海科学智能研究院和新加坡国立大学一起搞的 HERMES,一个不用重新训练就能加速流式视频理解的框架。核心思路是把模型里的 KV 缓存(你可以理解成模型在推理时记下的“草稿纸”)重新组织成三层记忆:当前帧的短期记忆、最近几帧的中期记忆,以及更早帧压缩后的长期记忆。

推荐理由:复旦大学等团队提出免训练的 HERMES 框架,把 KV 缓存组织成三层记忆来加速流式视频理解,首 token 延迟最高降低 10 倍,为实时视频场景的推理优化提供了一条可迁移思路。

机器之心 · 公众号

机器人跑赢人类马拉松后,资本开始从硬件转向“大脑”

荣耀的人形机器人“闪电”在北京亦庄半马跑出50分26秒,比人类男子世界纪录57分20秒还快。宇树H1在1.9公里弯道赛段也跑出4分13秒。文章说2026年一季度具身智能融资近200笔、总额超300亿元,4月16日灵初智能又拿了4.55亿美元Pre-A轮。信号很直接:钱正从机器人本体流向模型和智能系统,硬件能卷的差不多到头了。

推荐理由:荣耀人形机器人半马跑出50分26秒,超过人类男子世界纪录,同期具身智能一季度融资近200笔、超300亿元,资金正从本体转向模型与智能系统。

新智元 · 公众号

谷歌和何恺明团队搞了个 Vision Banana,想把所有视觉任务统一成“生成像素”这一种操作

Vision Banana 是谷歌 DeepMind 跟何恺明他们一起做的视觉模型,核心思路是用一套“像素生成”的界面去覆盖检测、分割、生成和编辑这些活,不再每种任务单独搞一个模型。

推荐理由:谷歌 DeepMind 与何恺明团队提出 Vision Banana,用像素生成这一种输出统一检测、分割、生成和编辑,不再为每个任务单独挂模型头。

Hacker News 首页

GPT-5.5 在漏洞挖掘上追平了没公开的 Mythos,而且人人都能用

安全公司 XBOW 用真实漏洞库测了 GPT-5.5,漏报率压到 10%,比 GPT-5 的 40% 和 Opus 4.6 的 18% 都低。更关键的是,GPT-5.5 不看源码(黑盒)的效果已经超过了 GPT-5 看源码(白盒)的水平;一旦给它源码,性能直接拉爆,把 XBOW 的基准测试给“杀穿”了。

推荐理由:安全公司 XBOW 用真实漏洞库测试 GPT-5.5,其黑盒漏报率降至 10%,低于 GPT-5 白盒的 40% 和 Opus 4.6 的 18%。

4月23日星期四

量子位 · 公众号

Qwen3.6-27B 开源,参数只有前代旗舰的十五分之一,但在智能体编程上反超了 397B 模型

Qwen 放出了 Qwen3.6-27B 的权重,一个 270 亿参数的稠密模型。官方说它在四项智能体编程基准上全面超过了自家上一代 3970 亿参数的旗舰 Qwen3.5-397B。

推荐理由:Qwen 开源 270 亿参数的稠密模型 Qwen3.6-27B,官方称其在四项智能体编程基准上超过自家 3970 亿参数的上一代旗舰。

新智元 · 公众号

踏石智航拿了4.55亿美金Pre-A轮,红杉和高瓴一起领投

踏石智航在4月16号宣布完成4.55亿美元Pre-A轮融资,红杉中国、高瓴创投和美团联合领投。这笔钱创下了国内具身智能单轮和Pre-A轮融资的纪录。公司说他们的AWE3.0四模态模型把没见过视角的任务成功率提升了3倍,执行抖动降低了约45%,A1机器人还拿了个一小时完成亚毫米线束组装的吉尼斯纪录。

推荐理由:踏石智航完成4.55亿美元Pre-A轮融资,由红杉中国、高瓴创投和美团联合领投,这一金额创下国内具身智能单轮融资纪录,其AWE3.0模型与A1机器人的落地指标也一并披露。

Hacker News 首页

Flipbook:一个完全由图片模型实时生成的无限视觉浏览器

Flipbook 把整个网页变成一张张像素图片,你点击任何地方,它都会生成一张更深一层的新图片,没有 HTML、没有代码、没有文字图层。所有文字都是图片模型直接画出来的,所以偶尔会画歪或写错,这点随着模型变强会改善。内容来自智能体联网搜索和模型自己的知识,准确度大概跟用 ChatGPT、Gemini 这类对话产品查到的差不多。

推荐理由:Flipbook 把网页变成实时生成的像素图片,点击任意位置就生成更深一层的新图,文字也由图片模型直接画出,呈现了生成式界面在交互机制上的一种做法。

4月22日星期三

Hacker News 首页

Qwen 开源 27B 稠密模型,编程能力超过自家 397B 的 MoE 老旗舰

Qwen 放出了 Qwen3.6-27B,一个 270 亿参数的稠密模型,主打编程,而且直接开源。它最狠的地方是跑分超过了上一代 3970 亿总参数(每次激活 170 亿)的 MoE 模型 Qwen3.5-397B-A17B。在 SWE-bench Verified 上拿了 77.2 分,比老旗舰的 76.2 高。

推荐理由:Qwen 开源 270 亿参数的稠密编程模型 Qwen3.6-27B,在 SWE-bench Verified 上以 77.2 分超过上一代 3970 亿总参数的 MoE 旗舰,小体量稠密模型与超大 MoE 的这次对比是主要看点。

量子位 · 公众号

商汤绝影把32B总参、3B激活的模型塞进车机,跑分压过GPT-5.4和Opus 4.6

商汤绝影发布了一个叫Sage的车载端侧多模态模型,总参数32B,但每次推理只激活3B参数。它在PinchBench上拿了94%,比Claude Opus 4.6的93.3%和GPT-5.4的90.5%都高。模型跑在Nvidia OrinX上,首字延迟约0.5秒,单token生成约0.03秒,吞吐80 tok/s。

推荐理由:商汤绝影发布车载端侧多模态模型Sage,32B总参数每次只激活3B,在PinchBench上以94%超过Claude Opus 4.6和GPT-5.4,并给出OrinX上的延迟与吞吐数据。

Latent Space

OpenAI 发布 GPT-Image-2,图像生成模型开始能看懂文字、画 UI 和做排版了

OpenAI 正式推出了 GPT-Image-2,在 ChatGPT、Codex 和 API 里都能用。这次更新最明显的变化是文字渲染、排版和编辑能力大幅提升,能直接生成幻灯片、信息图、UI 稿和二维码,还支持多语言。模型分“思考”和“不思考”两个版本,思考版可以自己上网搜资料、生成多个候选图并自我检查。

推荐理由:OpenAI 将 GPT-Image-2 铺到 ChatGPT、Codex 和 API,文字渲染、排版编辑与多语言能力提升,可直接生成幻灯片、信息图和 UI 稿。

X · @dotey(宝玉)

OpenAI 图片生成升级到 2.0,能听懂复杂指令、写对多国文字,所有 ChatGPT 和 Codex 用户都能用了

ChatGPT 的图片生成功能今天全面升级到 2.0,免费用户也能用。这次最大的改进是能处理复杂构图了,比如带文字的 UI 界面、密集排版,小字和图标渲染比之前靠谱很多。输出分辨率最高 2K,宽高比从 3:1 到 1:3 都支持,做横幅海报可以直接出图。多语言文字生成也有提升,OpenAI 说中文、日文、阿拉伯文这些非英文文本能写得语义连贯,不再乱码。

推荐理由:ChatGPT 图片生成升级到 2.0,免费用户也能用,复杂排版和多国文字渲染的稳定性提升,输出最高 2K 并支持 3:1 到 1:3 的宽高比。

X · @OpenAI

OpenAI 发了 ChatGPT Images 2.0,说画图更准、能直接拿来用

OpenAI 在 X 上官宣了 ChatGPT Images 2.0,定位是能处理复杂视觉任务、出图直接可用的图像模型。帖子提到三点升级:编辑更精细、版式更丰富,以及加入了“思考级智能”,但没解释这具体指什么能力。视频演示看起来效果不错,不过正文没披露模型规模、定价、延迟和推送范围,我会先打个折——等看到实测和成本再说。

推荐理由:OpenAI 发布 ChatGPT Images 2.0,称编辑更精细、版式更丰富并加入思考级智能,但未说明模型规模、定价与推送范围,适合先了解官方给出的升级方向。

彭博科技

OpenAI 发了新版生图模型,专门强化了图表和科学示意图的生成能力

OpenAI 更新了它的图像生成软件,这次的重点不是画得更美,而是让模型能更准确地生成复杂图表和科学示意图。正文没披露模型名字、发布时间、定价、跑分数据或具体技术方案,目前能看到的信号是 OpenAI 在往专业场景里推,而不是继续卷通用画质。

推荐理由:OpenAI 更新图像生成软件,把重点放在复杂图表和科学示意图的准确性上,而非通用画质。这为关注图像模型在专业场景落地的人提供了方向性参考。

The Verge · AI

OpenAI 更新图片生成器,现在能联网搜资料来画图了

ChatGPT Images 2.0 这次最大的变化不是画质,而是能上网查资料。你选一个会思考的模型,它就能根据一个提示词生成一组图片,比如直接搜网页信息来画一本杂志封面。背后跑的是 GPT Image 2 模型,目前 Plus、Pro、Business 和 Enterprise 用户能用。

推荐理由:OpenAI 为 ChatGPT Images 2.0 加入联网检索,模型可先查网页资料再生成一组图片,Plus、Pro、Business 和 Enterprise 用户已可使用。

TechCrunch · AI

Clarifai 删掉了从 OkCupid 拿来的 300 万张用户照片,这些照片曾被用来训练人脸识别模型

Clarifai 跟 FTC 和解后,删了 300 万张照片和用这些数据训出来的模型。照片是 2014 年从约会软件 OkCupid 要来的,当时 OkCupid 的高管还投了 Clarifai。说白了就是投资人和被投公司之间私下传了用户数据,拿去训人脸识别 AI。正文没披露和解的具体条款、怎么验证删除是否彻底,也没说删模型对现有产品性能有多大影响。

推荐理由:Clarifai 与 FTC 和解后删除 300 万张 OkCupid 用户照片及据此训练的人脸识别模型,这批数据是 2014 年 OkCupid 高管投资 Clarifai 期间提供的。