跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 261–280 条 · 共 592 条

6月1日星期一

AI HOT 精选

NVIDIA 开源 Cosmos 3:一个模型搞定物理世界的看、想、动

NVIDIA 在 GTC Taipei 把 Cosmos 3 完全开源了,模型权重、代码和数据集都放了出来。它被叫做首个物理 AI 全能模型,意思是能直接看懂真实世界、预测接下来会发生什么,并给出机器人该做的动作。这次发了两个尺寸:Super 版 320 亿参数,Nano 版 80 亿参数。正文没提具体跑分和硬件门槛,实际部署成本还得自己测。

推荐理由:NVIDIA 将 Cosmos 3 的权重、代码和数据集全部开源,并给出 320 亿与 80 亿参数两个版本,为机器人方向提供了可直接取用的物理世界理解与动作生成模型。

新智元 · 公众号

400 tokens/秒!阶跃Step 3.7 Flash,把Agent任务成本打到Claude零头

阶跃星辰这次放出的 Step 3.7 Flash 是个混合专家模型,总参数量 196B,还挂了一个 1.8B 的视觉编码器,但每次推理实际只动用 11B 参数,所以能跑到每秒 400 个 token。官方说在 Agent 任务上,它的成本只有 Claude 的零头。

推荐理由:阶跃星辰发布 Step 3.7 Flash,196B 总参数每次推理只激活 11B,官方称 Agent 任务成本仅为 Claude 的零头。

机器之心 · 公众号

OpenAI 为机器人团队招兵买马,由 Sora 负责人带队,部分岗位底薪开到 34 万美元以上

OpenAI 放出了十多个旧金山的机器人岗位,团队由 Sora 的负责人 Aditya Ramesh 带队,是从他之前的 Worldsim 项目演变过来的。其中执行器设计工程师的底薪现金在 34.2 万到 44.5 万美元之间,另外还有 PPU 激励。不过原文因为微信环境异常,具体岗位职责和团队规模都没披露,只能看到招聘信息的大致框架。

推荐理由:OpenAI 在旧金山放出十多个机器人岗位,由 Sora 负责人 Aditya Ramesh 带队,执行器设计工程师底薪现金 34.2 万至 44.5 万美元。

机器之心 · 公众号

VAST 发布 Project Eden,世界模型第一次能像游戏一样“存档”了

VAST 推出了一个叫 Project Eden 的三层世界模型架构,把场景的持久状态和画面渲染拆开了。简单说,就是给 AI 生成的 3D 世界加了个“存档”功能,你改过的东西下次打开还在,不用每次都重新生成。文章还提到 VAST 在 A+ 和 A++ 轮一共融了将近 2 亿美元。

推荐理由:VAST 发布 Project Eden 三层世界模型架构,将场景持久状态与画面渲染分离,使 AI 生成的 3D 世界具备存档能力,改动后再次打开仍然保留。

量子位 · 公众号

招商局狮子山实验室开源 LiOS 架构,把云端大模型延迟压到 30 毫秒,还送了个叠衣服数据集

招商局狮子山人工智能实验室放出了一个叫 LiOS 的边云架构,专门解决机器人怎么用上云端大模型的问题。他们跨机器测下来,从本地摄像头到云端 GPU 显存,单向延迟大约 30 毫秒,这个数字对很多实时控制场景已经够用了。架构里低延迟视频传输模块直接开源,还附带了一个 LeFold 叠衣服数据集。

推荐理由:招商局狮子山实验室开源 LiOS 边云架构,实测本地摄像头到云端 GPU 显存单向延迟约 30 毫秒,并开放低延迟视频传输模块与 LeFold 叠衣服数据集。

量子位 · 公众号

VAST 拿了近 2 亿美元,首次公开世界模型 Eden 的技术路线

VAST 在 A+ 和 A++ 轮融了近 2 亿美元,同时公布了 Project Eden 世界模型的架构。这套架构把“世界状态怎么变”和“画面怎么渲染”拆开了:先有一个结构化的状态层来推演变化,中间加一层条件接口做翻译,最后再用生成式渲染层出图。正文没披露具体估值、投资方和模型落地时间表,技术细节也只给了三层框架,没有实验数据和验证指标。

推荐理由:VAST在近2亿美元融资时公开Project Eden世界模型架构,把世界状态推演与画面渲染拆成状态层、条件接口层和生成式渲染层,为理解世界模型的技术分工提供了一份具体框架。

AI HOT 精选

Runway 与 NVIDIA 联手搞了个 Cosmos Coalition,要一起做开放的世界模型

Runway 宣布以创始成员身份加入 Cosmos Coalition,跟 NVIDIA 和一批头部 AI 实验室搭伙,目标是共建并开源面向物理 AI 的前沿世界模型。第一个项目是 Runway 和 NVIDIA 联合开发的一个基础模型。

推荐理由:Runway 以创始成员身份加入 Cosmos Coalition,与 NVIDIA 及多家 AI 实验室共建开源物理 AI 世界模型,其与 NVIDIA 联合开发的基础模型是联盟启动后的第一个项目。

AI HOT 精选

英伟达开源 Cosmos 3:一个能看懂物理世界、还能生成动作的 32B 模型

英伟达把 Cosmos 3 称为第一个完全开放的物理 AI 全能模型,意思是它不只能识别图像,还内置了视觉推理、生成 3D 世界状态和直接输出动作的能力。这次放出两个尺寸:Super 版 320 亿参数,Nano 版 80 亿参数。正文没提训练数据规模、具体跑分和推理成本,所以实际能用多好、跑起来贵不贵还得等实测。

推荐理由:英伟达开源 Cosmos 3 物理 AI 模型,同时放出 320 亿参数的 Super 版和 80 亿参数的 Nano 版,把视觉推理、3D 世界状态生成与动作输出整合进同一模型。

AI HOT 精选

MiniMax 开源 M3 模型:一个模型搞定编程、100 万 token 上下文和原生多模态

MiniMax 把 M3 模型开源了,权重公开可下载。它把三个能力塞进了一个模型里:编程水平摸到了 GPT-5.5 和 Gemini 3.1 Pro 的边(SWE-Bench Pro 得分 59.0%),能处理 100 万 token 的超长上下文,还原生支持图片和视频输入。

推荐理由:MiniMax 开源 M3 并公开权重,把编程、100 万 token 上下文和原生多模态合入同一模型,SWE-Bench Pro 得分 59.0%。

AI HOT 精选

Qwen3.7-Plus:一个能看图、写代码、操作界面的多模态智能体模型

Qwen 发布了 Qwen3.7-Plus,把视觉理解和语言能力塞进同一个模型里,让它能直接看懂屏幕、操作手机 App、根据截图写前端代码,还能在命令行和图形界面之间来回切换干活。在 Terminal Bench 2.0 终端任务上拿了 70.3 分,比 Opus 4.6 Max 和 DeepSeek-V4-Pro Max 都高。

推荐理由:Qwen 发布 Qwen3.7-Plus,把视觉理解与语言能力合入同一模型,能看屏幕、操作 App、按截图写前端代码,在 Terminal Bench 2.0 上以 70.3 分高于 Opus 4.6 Max 和 DeepSeek-V4-Pro Max。

彭博科技

一个 29 岁游戏玩家创办的 3D 建模公司 Vast 刚拿了近 2 亿美元,估值冲到 10 亿,成了中国最新的 AI 独角兽

Vast 这轮融了将近 2 亿美元,估值达到 10 亿美元,正式跨进独角兽门槛。创始人是个 29 岁的游戏玩家,公司做的是用 AI 生成 3D 模型。不过正文没披露具体投资人是谁,也没说产品参数、技术路线和实际客户规模。光看融资金额和估值,在当下市场能拿到这个体量的钱,说明资本对 AI 驱动的 3D 内容生产方向还挺买账的。

推荐理由:29 岁游戏玩家创办的 Vast 用 AI 生成 3D 模型,本轮融资近 2 亿美元、估值达 10 亿美元,资本对 AI 驱动 3D 内容生产方向的投入力度由此显现。

OpenAI News

OpenAI 封禁一批疑似来自中国的账号,这些账号用 ChatGPT 生成评论和漫画,干预美国科技政策与关税讨论

OpenAI 在 2026 年 6 月的威胁报告里披露,他们封掉了一批 ChatGPT 账号,这些账号很可能来自中国。操作者用简体中文写提示词、挂 VPN,让模型批量生成英文短评和政治漫画,主要攻击美国的关税、稀土、AI 和 5G 政策,并明确要求漫画里只能出现特朗普,不能出现中国或习近平。

推荐理由:OpenAI 在威胁报告中披露封禁一批疑似来自中国的账号,这些账号用简体中文提示词批量生成英文评论和漫画,定向介入美国关税与科技政策讨论。

5月31日星期日

新智元 · 公众号

复旦系团队发布时空一体世界动作模型 STI-WM,称能同时吃进 RGB、点云和本体感知数据做百秒级任务规划

这篇文章来自微信公众号,但页面被环境验证挡住了,正文内容完全看不到。标题和摘要里提到的“复旦铁三角”和“最优物理 AI 路径”都是原文的说法,具体技术细节、实验数据和模型架构都没法核实。已知信息是:一个叫 STI-WM 的模型,主打时空一体的世界动作建模,用在机器人上,支持 RGB 图像、点云和机器人自身状态感知三种输入,能做上百秒的任务规划。

推荐理由:复旦系团队发布 STI-WM 世界动作模型,将 RGB、点云与机器人本体感知统一输入,支持上百秒的任务规划,其多模态融合思路为机器人长程动作建模提供了一条可参考的技术路径。

量子位 · 公众号

复旦系团队发布机器人世界动作模型 STI-WM,把时空信息揉在一起做长任务

沐神智能搞了个叫 STI-WM 的模型,专门给机器人用的。它把 RGB 画面、深度点云和机器人自身状态(比如关节角度)同时喂进去,首创了时空一体的架构,不再是先看空间再看时间的两段式处理。官方说它能支撑上百秒的长任务推演,中间出错了还能闭环重新规划。不过正文没给出具体的基准测试分数,也没提部署成本,所以实际效果和性价比还得等更多数据。

推荐理由:沐神智能发布 STI-WM,把 RGB、深度点云与机器人关节状态同时输入一个时空一体架构,支撑上百秒长任务推演并支持出错后重新规划。

5月30日星期六

AI HOT 精选

有人用 AI 生成假黑人形象,在 TikTok 上卖 Shein 的廉价货

The Verge 记者发现,TikTok、Facebook 和 Instagram 上出现了一批用 AI 生成的“黑人创作者”账号,比如一个叫“Aliyah”的虚构人物,假装是手工匠人,实际在卖 Shein 上 9 美元批来的皮带扣,转手标价 40 美元。

推荐理由:The Verge 记者发现 TikTok 等平台上出现 AI 生成的虚构黑人创作者账号,用假手艺人设把 Shein 上 9 美元的皮带扣标价 40 美元出售。

AI HOT 精选

Google 把两个新图像模型 Nano Banana Pro 和 Nano Banana 2 挂上了 Gemini API

Google AI Developers 发推说 Nano Banana Pro(对应 gemini-3-pro-image)和 Nano Banana 2(对应 gemini-3.1-flash-image)已经正式发布,可以直接通过 Gemini API 调用。

推荐理由:Google 将 gemini-3-pro-image 和 gemini-3.1-flash-image 两个图像模型以 Nano Banana Pro 和 Nano Banana 2 的名称挂上 Gemini API,开发者可直接调用。

量子位 · 公众号

帮 Gemini 拿下 IMO 金牌的建模负责人,差点去当了职业钢琴家

这篇文章讲的是 Yi Tay,他在 Gemini Deep Think 拿到 IMO 金牌级成绩时担任建模联合负责人。他 2023 年参与创立了 Reka AI,639 天后又回到了 Google DeepMind。文章还提到他 2012 年就考过了 Trinity 古典钢琴副学士文凭,差点走上职业演奏的路。

推荐理由:Yi Tay 在 Gemini Deep Think 拿下 IMO 金牌级成绩时担任建模联合负责人,此前参与创立 Reka AI,639 天后回到 Google DeepMind。

机器之心 · 公众号

苹果搞了个叫 PICO 的图像压缩方案,画质不变,文件能小到三分之一

苹果发了篇论文介绍 PICO,一个用 AI 做图像压缩的编解码器。在主观画质差不多的情况下,它比 AV1、VVC 和 JPEG AI 省 57% 到 70% 的码率,也就是说文件体积能压到原来的三分之一甚至更少。在 iPhone 17 Pro Max 上跑,压一张 1200 万像素的照片要 230 毫秒,解压要 150 毫秒。

推荐理由:苹果论文介绍 PICO 图像编解码器,在主观画质相近时比 AV1、VVC 和 JPEG AI 省 57% 到 70% 码率,并在 iPhone 17 Pro Max 上给出端侧编解码耗时。

机器之心 · 公众号

英伟达和清华的 γ-World 把世界模型从单机改成了联机,登顶 HuggingFace 日榜

这篇推文本身因为微信环境验证没抓到正文,我只能根据已有的英文摘要和标题来还原。γ-World 是一个多智能体世界模型,核心是把多个 AI 角色放在同一个虚拟环境里互动。它用了一种叫“单纯形位置编码”的方法和 hub token 机制,把多个智能体之间的交互计算成本从平方级降到了线性级。

推荐理由:英伟达与清华团队提出多智能体世界模型 γ-World,用单纯形位置编码和 hub token 把智能体间交互的计算成本从平方级降到线性级。

AI HOT 精选

OpenAI 放出一个实时翻译语音模型,70 多种语言输入,13 种语言输出

OpenAI 发了 gpt-realtime-translate,一个专门做语音翻译的模型。你对着它说 70 多种语言里的任意一种,它能直接用 13 种目标语言把语音播出来。OpenAI 说大模型虽然强,但特定任务还是得上专用模型。目前这个功能已经在智能眼镜上跑起来了,不过正文没披露延迟、准确率和具体硬件细节。

推荐理由:OpenAI 发布专做语音翻译的 gpt-realtime-translate,支持 70 多种语言输入、13 种语言输出,并已落地智能眼镜,可了解专用模型在实时翻译场景的取舍。