跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

514 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 181–200 条 · 共 514 条

6月1日星期一

AI HOT 精选

MiniMax 开源 M3 模型,把写代码、读长文和看图听声塞进一个系统,跑分压过 GPT-5.5 但成本只要十二分之一

MiniMax 放出了一个叫 M3 的开源模型,把代码能力、一次能读 100 万 token 的长上下文和原生多模态(能直接处理图像、音频)做在了一起。在 SWE-Bench Pro 这个代码基准上拿了 59.0%,比 GPT-5.5 的 58.6% 和 Gemini 3.1 Pro 的 54.2% 都高一点;在 BrowseComp 自主浏览任务上 ...

推荐理由:我会先打个折:目前只有一条 X 帖子,没看到官方技术报告或第三方独立评测,所以分数压在 78–84 区间。但 M3 确实把编码、超长上下文和多模态打包开源,SWE-Bench Pro 59.0% 不算顶尖但够用,成本只有 GPT-5.5 的约 1/12,对想省钱又有长上下文需求的团队是个实在选项。这点先别太激动,等正式文档和更多实测出来再调判断。

Latent Space

视频智能体是下一个方向:Ethan He 谈 xAI Grok Imagine 的三个月从零到一

Ethan He 在 NVIDIA 做完 Cosmos 世界模型后跳到了 xAI,带着一个小团队三个月就做出了 Grok Imagine。他有个很直接的观点:视频模型现在的智能主要来自语言模型,不是靠堆视频数据训练出来的。下一个 Sora 级别的突破不会是更好的视频生成模型,而是能规划、生成、修改、反复打磨一个完整创意任务的视频智能体。这期播客聊了从零...

推荐理由:我会先打个折:这篇是访谈级别的信号,不是论文或产品发布。它给了“三个月小团队从零搭建”这个事实,也点出了视频 Agent、音视频对齐和推理加速这几个方向,但正文没披露任何基准分数、具体成本数字或可复现的测试方法。所以它更像一份来自 xAI 内部的路线图预告,能帮你判断他们在往哪使劲,但暂时没法拿来做技术选型。对关注视频模型和多模态 Agent 的人来说值得扫一眼,别当结论用。

AI HOT 精选

NVIDIA 开源 Cosmos 3:一个模型搞定物理世界的看、想、动

NVIDIA 在 GTC Taipei 把 Cosmos 3 完全开源了,模型权重、代码和数据集都放了出来。它被叫做首个物理 AI 全能模型,意思是能直接看懂真实世界、预测接下来会发生什么,并给出机器人该做的动作。这次发了两个尺寸:Super 版 320 亿参数,Nano 版 80 亿参数。正文没提具体跑分和硬件门槛,实际部署成本还得自己测。

推荐理由:HKR 三项都成立:钩子是 NVIDIA 开源物理 AI 模型,知识增量是 32B/8B 双版本加全套开放物料,受众是机器人、仿真方向的从业者。正文信息很薄,没给基准测试、没提许可证细节,所以分数压在 78–84 区间,不往上拔。

新智元 · 公众号

阶跃星辰发布 Step 3.7 Flash,196B 参数的 MoE 模型每次推理只激活 11B,速度冲到 400 tokens/秒,跑 Agent 任务...

阶跃星辰这次放出的 Step 3.7 Flash 是个混合专家模型,总参数量 196B,还挂了一个 1.8B 的视觉编码器,但每次推理实际只动用 11B 参数,所以能跑到每秒 400 个 token。官方说在 Agent 任务上,它的成本只有 Claude 的零头。不过正文因为微信环境验证没抓到具体内容,实际跑分、具体任务对比和定价细节都没披露,这点先...

推荐理由:速度和参数数字都摆出来了,标题里那个成本对比很抓人。但正文没披露具体定价、基准测试的细节和开源条款,所以分数只能停在 82 这个质量更新档位。

机器之心 · 公众号

OpenAI 为机器人团队招兵买马,由 Sora 负责人带队,部分岗位底薪开到 34 万美元以上

OpenAI 放出了十多个旧金山的机器人岗位,团队由 Sora 的负责人 Aditya Ramesh 带队,是从他之前的 Worldsim 项目演变过来的。其中执行器设计工程师的底薪现金在 34.2 万到 44.5 万美元之间,另外还有 PPU 激励。不过原文因为微信环境异常,具体岗位职责和团队规模都没披露,只能看到招聘信息的大致框架。

推荐理由:这条消息有明确的团队、负责人和薪资数字,不是模型或产品发布,但作为招聘信号已经够硬。我会先打个折:目前只是招人阶段,离实际产品还有距离,这点先别太激动。不过 OpenAI 把机器人当成全栈方向来做,薪酬又直接对标顶级硬件人才,对同行抢人和行业风向都有参考价值,所以放在 featured 档位没问题。

机器之心 · 公众号

VAST 发布 Project Eden,世界模型第一次能像游戏一样“存档”了

VAST 推出了一个叫 Project Eden 的三层世界模型架构,把场景的持久状态和画面渲染拆开了。简单说,就是给 AI 生成的 3D 世界加了个“存档”功能,你改过的东西下次打开还在,不用每次都重新生成。文章还提到 VAST 在 A+ 和 A++ 轮一共融了将近 2 亿美元。不过正文因为微信页面环境异常被屏蔽了,具体技术细节和效果演示都没看到,这...

推荐理由:我会先打个折:VAST 不是一线基础模型实验室,正文也没披露具体基准测试结果或开放接入方式,所以分数落在 78–84 区间。但 Project Eden 把世界状态推演和视觉渲染拆成三层,还给了“存档”这个产品钩子,加上近 2 亿美元的融资规模,对关注仿真基础设施的从业者来说信息量够硬。

量子位 · 公众号

招商局狮子山实验室开源 LiOS 架构,把云端大模型延迟压到 30 毫秒,还送了个叠衣服数据集

招商局狮子山人工智能实验室放出了一个叫 LiOS 的边云架构,专门解决机器人怎么用上云端大模型的问题。他们跨机器测下来,从本地摄像头到云端 GPU 显存,单向延迟大约 30 毫秒,这个数字对很多实时控制场景已经够用了。架构里低延迟视频传输模块直接开源,还附带了一个 LeFold 叠衣服数据集。不过正文因为微信环境异常没加载出来,具体用了什么模型、在哪些...

推荐理由:我会先打个折:招商局狮子山实验室不是头部平台,也没看到多源交叉验证,所以影响力止步中等。但这条消息确实给了干货——30ms相机到云端显存的延迟数字,说明端云协同在物理世界干活有戏,不是纯画饼。开源图传模块和叠衣数据集也算实在,同行能直接拿来测。正文没披露具体模型规模、功耗和复杂场景下的抖动,这点先别太激动。

量子位 · 公众号

VAST 拿了近 2 亿美元,首次公开世界模型 Eden 的技术路线

VAST 在 A+ 和 A++ 轮融了近 2 亿美元,同时公布了 Project Eden 世界模型的架构。这套架构把“世界状态怎么变”和“画面怎么渲染”拆开了:先有一个结构化的状态层来推演变化,中间加一层条件接口做翻译,最后再用生成式渲染层出图。正文没披露具体估值、投资方和模型落地时间表,技术细节也只给了三层框架,没有实验数据和验证指标。

推荐理由:VAST拿了近2亿美元A+和A++轮,同时把Project Eden的三层架构亮出来:状态层管世界推演,条件接口层接外部输入,生成式渲染层负责最终画面。这个拆法让世界模型不再是一团黑盒,对做3D和具身智能的人有启发。不过正文没给出任何量化指标、开源时间或实际跑通的场景,所以我会先打个折,不往顶格推。

AI HOT 精选

Runway 与 NVIDIA 联手搞了个 Cosmos Coalition,要一起做开放的世界模型

Runway 宣布以创始成员身份加入 Cosmos Coalition,跟 NVIDIA 和一批头部 AI 实验室搭伙,目标是共建并开源面向物理 AI 的前沿世界模型。第一个项目是 Runway 和 NVIDIA 联合开发的一个基础模型。世界模型说白了就是让 AI 能理解物理规律、预测下一步会发生什么、并据此行动,Runway 说这是他们从第一天就在押...

推荐理由:我会先打个折:正文只给了个标题和一句话摘要,没披露模型规模、训练数据、许可证和任何跑分,所以没法判断实际能力。但 Runway 加 NVIDIA 这个组合,加上“开源物理世界模型”这个定位,确实戳中了机器人、具身智能那帮人现在最头疼的事——没有好用的开源基础模型。这点先别太激动,等他们把模型和协议放出来再看。

AI HOT 精选

英伟达开源 Cosmos 3:一个能看懂物理世界、还能生成动作的 32B 模型

英伟达把 Cosmos 3 称为第一个完全开放的物理 AI 全能模型,意思是它不只能识别图像,还内置了视觉推理、生成 3D 世界状态和直接输出动作的能力。这次放出两个尺寸:Super 版 320 亿参数,Nano 版 80 亿参数。正文没提训练数据规模、具体跑分和推理成本,所以实际能用多好、跑起来贵不贵还得等实测。

推荐理由:我会先打个折:正文是单篇发布稿,没给基准测试、没提许可证细节,也没说训练数据规模和实际部署条件,所以分数卡在 78–84 区间。亮点在于 NVIDIA 第一次把视觉推理、世界生成和动作生成打包成一个开放物理 AI 模型,并给出两个具体尺寸,这对机器人圈子的信号意义不小。但缺少验证信息,这点先别太激动。

AI HOT 精选

MiniMax 开源 M3 模型:一个模型搞定编程、100 万 token 上下文和原生多模态

MiniMax 把 M3 模型开源了,权重公开可下载。它把三个能力塞进了一个模型里:编程水平摸到了 GPT-5.5 和 Gemini 3.1 Pro 的边(SWE-Bench Pro 得分 59.0%),能处理 100 万 token 的超长上下文,还原生支持图片和视频输入。长上下文不卡顿的关键是他们自研的 MSA 稀疏注意力机制——在 100 万 t...

推荐理由:MiniMax M3开源了一个把文本、图像、音频塞进同一个模型的一体方案,上下文窗口拉到100万token。最实在的点是MSA注意力机制,每token计算成本降到前代的1/20,长文本推理能省不少钱。编码和Agent跑分看着不错,但正文没给出具体对比对象和测试细节,这点先别太激动。整体是一次有诚意的开源发布,信息量够,但验证还缺一环,所以放在featured而不是P1。

AI HOT 精选

Qwen3.7-Plus:一个能看图、写代码、操作界面的多模态智能体模型

Qwen 发布了 Qwen3.7-Plus,把视觉理解和语言能力塞进同一个模型里,让它能直接看懂屏幕、操作手机 App、根据截图写前端代码,还能在命令行和图形界面之间来回切换干活。在 Terminal Bench 2.0 终端任务上拿了 70.3 分,比 Opus 4.6 Max 和 DeepSeek-V4-Pro Max 都高;在 Deep-Plan...

推荐理由:我会先打个折:正文只给了功能清单,没给任何硬指标。7 类能力听着挺全,聊天、看图、读文档、搜网页、调工具都塞进去了,但没参数、没价格、没上线日期,等于只看了个目录。这点先别太激动。不过 Qwen 这条线每次更新都会牵动国内从业者的注意力,尤其是把多模态和智能体绑在一起推,说明他们想在应用层抢身位。信息虽然薄,但话题本身够热,放在 featured 里提醒大家盯后续是合理的。

彭博科技

一个 29 岁游戏玩家创办的 3D 建模公司 Vast 刚拿了近 2 亿美元,估值冲到 10 亿,成了中国最新的 AI 独角兽

Vast 这轮融了将近 2 亿美元,估值达到 10 亿美元,正式跨进独角兽门槛。创始人是个 29 岁的游戏玩家,公司做的是用 AI 生成 3D 模型。不过正文没披露具体投资人是谁,也没说产品参数、技术路线和实际客户规模。光看融资金额和估值,在当下市场能拿到这个体量的钱,说明资本对 AI 驱动的 3D 内容生产方向还挺买账的。但没看到产品落地和收入数据,...

推荐理由:这条消息的钩子很足——创始人身份和估值数字都够直接。我会先打个折:正文没披露投资方是谁,也没说产品到底什么参数、效果怎么样,所以只能当融资信号看,别急着把它当成技术突破。对从业者来说,知道又一家 3D 方向的公司在拿大钱就够了,剩下的等产品出来再判断。

OpenAI News

OpenAI 封禁一批疑似来自中国的账号,这些账号用 ChatGPT 生成评论和漫画,干预美国科技政策与关税讨论

OpenAI 在 2026 年 6 月的威胁报告里披露,他们封掉了一批 ChatGPT 账号,这些账号很可能来自中国。操作者用简体中文写提示词、挂 VPN,让模型批量生成英文短评和政治漫画,主要攻击美国的关税、稀土、AI 和 5G 政策,并明确要求漫画里只能出现特朗普,不能出现中国或习近平。同一批账号还生成中文“水军”内容,攻击美国和以色列,放大反犹太...

推荐理由:OpenAI 自己发的威胁报告,把一起疑似来自中国的 AI 影响行动说得有鼻子有眼,手法、目标、规避策略全抖出来了。这事踩中了 AI 安全、地缘政治和内容审核三条敏感线,但本质上是一份安全事件通报,不是产品突破或技术论文,所以分数卡在 78 分这个区间,没往上走。

5月31日星期日

新智元 · 公众号

复旦系团队发布时空一体世界动作模型 STI-WM,称能同时吃进 RGB、点云和本体感知数据做百秒级任务规划

这篇文章来自微信公众号,但页面被环境验证挡住了,正文内容完全看不到。标题和摘要里提到的“复旦铁三角”和“最优物理 AI 路径”都是原文的说法,具体技术细节、实验数据和模型架构都没法核实。已知信息是:一个叫 STI-WM 的模型,主打时空一体的世界动作建模,用在机器人上,支持 RGB 图像、点云和机器人自身状态感知三种输入,能做上百秒的任务规划。另外还提...

推荐理由:这篇东西我会先打个折——全是公司自己说的,没给公开 benchmark 也没说模型能不能复现。但信息量确实不小:STI-WM 把视觉、点云和机器人自身状态揉进一个模型里,号称一次能规划上百秒的动作,这比现在多数 demo 里几秒的规划长得多。半年融了 5 轮、Pre-A 轮 3 个亿,还拉了 NVIDIA 站台,资本侧的信号比技术侧更实。对做机器人落地的人,这条至少能看出一条技术路线和资源密度,所以放在 featured 门槛上。

量子位 · 公众号

复旦系团队发布机器人世界动作模型 STI-WM,把时空信息揉在一起做长任务

沐神智能搞了个叫 STI-WM 的模型,专门给机器人用的。它把 RGB 画面、深度点云和机器人自身状态(比如关节角度)同时喂进去,首创了时空一体的架构,不再是先看空间再看时间的两段式处理。官方说它能支撑上百秒的长任务推演,中间出错了还能闭环重新规划。不过正文没给出具体的基准测试分数,也没提部署成本,所以实际效果和性价比还得等更多数据。

推荐理由:我会先打个折:正文没披露权重是否开源、有没有标准 benchmark 对比、百秒推演在什么场景下验证的,这些关键信息都缺。但 STI-WM 把 RGB、深度点云和本体输入揉进一个时空一体架构,直接做百秒级推演,这个思路对做机器人世界模型的人有参考价值。眸深智能又是复旦系团队,英伟达也出现在标签里,产业和学术两边都有点关联。综合来看,信息够新、够具体,但验证强度不明,所以放在 featured 门槛附近,不往上拔。

5月30日星期六

AI HOT 精选

有人用 AI 生成假黑人形象,在 TikTok 上卖 Shein 的廉价货

The Verge 记者发现,TikTok、Facebook 和 Instagram 上出现了一批用 AI 生成的“黑人创作者”账号,比如一个叫“Aliyah”的虚构人物,假装是手工匠人,实际在卖 Shein 上 9 美元批来的皮带扣,转手标价 40 美元。这些账号靠 AI 头像和编造的身份故事,利用人们对黑人手工品牌的支持心理来赚差价,本质上就是数字...

推荐理由:这事抓人眼球的地方在于骗术够具体:AI 捏出一整套黑人创作者人设,专门瞄准“支持手工原创”的善意去卖劣质货。跨三个平台铺内容说明操作门槛低、可复制性强,但正文没给受骗人数或金额,所以严重程度得打个折。安全风险是实打实的,合成身份加代发货这套组合拳,平台现在很难防。

AI HOT 精选

Google 把两个新图像模型 Nano Banana Pro 和 Nano Banana 2 挂上了 Gemini API

Google AI Developers 发推说 Nano Banana Pro(对应 gemini-3-pro-image)和 Nano Banana 2(对应 gemini-3.1-flash-image)已经正式发布,可以直接通过 Gemini API 调用。推文里贴了一些社区示例展示效果,但正文没披露定价、跑分、单次生成耗时或调用频率上限,想上...

推荐理由:我会先打个折:这就是个产品更新,不是技术突破。Google 把两个图像模型挂上 Gemini API 标成生产可用,对想用的人是个信号,但正文没披露价格、没给跑分、也没说调用限制,所以没法判断性价比。名字叫 Nano Banana,听着像玩梗,但背后就是 gemini-3-pro-image 和 gemini-3.1-flash-image,别被名字带偏。

量子位 · 公众号

帮 Gemini 拿下 IMO 金牌的建模负责人,差点去当了职业钢琴家

这篇文章讲的是 Yi Tay,他在 Gemini Deep Think 拿到 IMO 金牌级成绩时担任建模联合负责人。他 2023 年参与创立了 Reka AI,639 天后又回到了 Google DeepMind。文章还提到他 2012 年就考过了 Trinity 古典钢琴副学士文凭,差点走上职业演奏的路。不过正文因为微信环境验证拦截,具体技术细节和...

推荐理由:这是一篇人物特写,不是 Gemini 能力发布稿。核心价值在于 Yi Tay 在 IMO 金牌成果里的具体角色、他创办 Reka 又回归的经历,以及 639 天这个精确时间跨度。文章没展开技术细节,所以重要性停在人物和行业信号层面,76 分放在 featured 档是合适的。

机器之心 · 公众号

苹果搞了个叫 PICO 的图像压缩方案,画质不变,文件能小到三分之一

苹果发了篇论文介绍 PICO,一个用 AI 做图像压缩的编解码器。在主观画质差不多的情况下,它比 AV1、VVC 和 JPEG AI 省 57% 到 70% 的码率,也就是说文件体积能压到原来的三分之一甚至更少。在 iPhone 17 Pro Max 上跑,压一张 1200 万像素的照片要 230 毫秒,解压要 150 毫秒。正文没具体讲模型结构和训练...

推荐理由:HKR 三项都成立:PICO 有明确的 57%–70% 码率节省和 230 毫秒端侧编码数据,不是纯概念。但正文没提产品化时间,目前还是研究发布,所以分数放在 78–84 这个区间。