跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 241–260 条 · 共 592 条

6月4日星期四

AI HOT 精选

Ideogram 4.0 开源,跑分自称全球最强,文字渲染和排版控制是亮点

Ideogram 发布了 4.0 版本,一个 93 亿参数的开源文生图模型。它把文字和图像信息放在同一条处理流水线上(单流 DiT 架构),并用了 Qwen3-VL-8B 当文本编码器。最突出的能力是能在图里准确写出长段文字,适合做海报和封面。另外,它训练时让模型理解了元素的位置关系,你用提示词就能指定版式和对象布局。

推荐理由:Ideogram 4.0 以 93 亿参数开源,把文字与图像放进同一条处理流水线,长段文字渲染和按提示词指定版式布局是主要能力,适合关注海报与封面生成的人了解。

FT · 科技

英国议员起诉马斯克的 xAI,想用假色情图片案测试 AI 公司要不要为模型输出负责

英国工党议员 Jess Asato 把马斯克旗下 xAI 告了,起因是系统生成了她的虚假性相关图片。这案子被当成一个测试案例,核心是想搞清楚:AI 模型开发者到底要不要为模型吐出的内容承担法律责任。不过目前公开信息很少——正文没披露具体是哪个模型、图片是怎么生成的、索赔金额多少,也没说法庭排期。

推荐理由:英国工党议员 Jess Asato 起诉马斯克的 xAI,指其系统生成她的虚假性相关图片,案件被作为测试案例,核心是 AI 模型开发者是否要为模型输出承担法律责任。

Hacker News 首页

谷歌发布 Gemma 4 12B:一个去掉独立图像编码器的多模态模型

谷歌在官方博客宣布了 Gemma 4 12B,主打“统一、无编码器”的多模态设计。简单说,它不再像传统模型那样给图片单独配一个视觉编码器,而是让同一个模型直接处理文字和图像。博客里没给架构细节、训练数据、基准跑分、定价和开源协议,只提了一句“能在笔记本上跑高性能多模态智能”。

推荐理由:谷歌发布 Gemma 4 12B,采用去掉独立视觉编码器的统一多模态设计,让同一模型直接处理文字和图像,为观察多模态架构省去独立编码器这一路线提供了实例。

6月3日星期三

r/LocalLLaMA

谷歌放出 Gemma 4 系列,12B 模型能看图文、听音频,上下文窗口拉到 256K

谷歌 DeepMind 把 Gemma 4 系列的开源权重挂上了 Hugging Face,一共五个尺寸。其中 12B 这个版本支持文本、图片和音频三种输入,同时放出了指令微调版和预训练版。它原生支持系统提示词和函数调用,上下文窗口最长能到 256K token,意味着一次可以塞进很长的文档或对话记录。

推荐理由:谷歌 DeepMind 在 Hugging Face 放出 Gemma 4 系列五个尺寸的开源权重,其中 12B 版本同时支持文本、图片和音频输入,上下文窗口最长 256K token。

MIT Technology Review · AI

特朗普签了新 AI 行政令,Anduril 和 Meta 在给美军做能“用眼神下命令”的 AR 眼镜

特朗普废掉旧令不到两周,又签了一份新的 AI 行政令。核心变化是:要求科技公司在发布前沿模型前 30 天,自愿把模型交给政府审查,但不设强制许可证。对比之前被搁置的版本(要求提前 90 天提交),这次明显缩水了,不过也算从完全不管迈向了轻度监管。

推荐理由:特朗普签署新 AI 行政令,要求科技公司在发布前沿模型前 30 天自愿提交政府审查,相比此前搁置的 90 天版本有所缩短,勾勒出美国前沿模型监管从无到有的过渡状态。

机器之心 · 公众号

蚂蚁灵波在 RSS 2026 提出首个自回归因果世界模型,用 50 条演示数据就能让机器人学会通用操控

蚂蚁灵波和港科大搞了个叫 LingBot-VA 的模型,把“预测画面接下来怎么变”和“判断该做什么动作”合到一个自回归框架里。论文说,每个任务只用 50 条真实世界的演示数据微调,在 RoboTwin 2.0 的简单和困难设定下,成功率分别到了 92.0% 和 91.1%。

推荐理由:蚂蚁灵波与港科大提出 LingBot-VA,把画面预测与动作决策合入自回归框架,每个任务仅用 50 条真实演示数据微调,在 RoboTwin 2.0 上报告了 92.0% 和 91.1% 的成功率。

Latent Space

微软一口气发了7个新模型,MAI-Thinking-1是主打,还附了109页技术报告

微软在Build大会上发布了7个MAI系列模型,覆盖文本推理、代码、图像、语音转文字和语音合成。主角是MAI-Thinking-1,一个35B活跃参数的混合专家模型,支持256K上下文窗口。它被定位为微软首个推理模型,训练数据链条干净,没有用任何第三方模型做蒸馏。随模型一起公开的109页技术报告在圈内评价很高,因为透明度给得足。

推荐理由:微软在Build大会发布7个MAI系列模型,主打35B活跃参数的推理模型MAI-Thinking-1,并公开109页技术报告,训练数据未用第三方模型蒸馏。

量子位 · 公众号

大晓机器人和南洋理工搞了个统一物理3D生成框架,刚体、软体、带关节的物体都能一次搞定

这个框架叫PhysX-Omni,目标是让生成的3D模型直接能进物理仿真跑起来,不用再手动修。它把刚体、软体和关节体三类物体的生成统一到一个流程里,省掉了以前要分开处理的麻烦。配套的PhysXVerse数据集有8700个资产,覆盖2900个类别,规模不小。

推荐理由:大晓机器人与南洋理工把刚体、软体和关节体的3D生成统一进PhysX-Omni一个流程,配套PhysXVerse数据集含8700个资产、覆盖2900个类别,省去分开处理再手动修模的环节。

AI HOT 精选

xAI 发布 Grok Imagine 1.5 预览版,一张静态图就能生成 720p 视频

xAI 在 API 里放出了 grok-imagine-video-1.5-preview 模型,能把单张静态图片变成一段动态视频。你给它一张起始帧,再用自然语言描述想要的镜头运动、节奏和音效,它就会按你的指令生成一段最高 720p 的短片。官方说模型会尽量保留原图的光影和细节,让视频像是原图的延续,而不是重新画了一遍。

推荐理由:xAI 在 API 中放出图像转视频预览模型,输入单张静态图并用自然语言描述镜头与音效,即可生成最高 720p 短片,官方称会保留原图光影细节。

AI HOT 精选

Runway 把 Aleph 2.0 视频编辑放上 API,最长能改 30 秒 1080p 多镜头片段

Runway 的 Aleph 2.0 视频编辑功能现在可以通过 API 调用了,你可以把它直接嵌进自己的应用或产品里。它支持对最长 30 秒、1080p 的多镜头视频做局部修改,只动你想改的那部分,其他画面不变。正文没提价格、调用频率限制、处理延迟和地区可用性,这些实际落地要用的信息都还没给。

推荐理由:Runway 将 Aleph 2.0 视频编辑能力开放为 API,支持对最长 30 秒、1080p 的多镜头片段做局部修改,开发者可把它嵌入自有应用或产品。

r/LocalLLaMA

用 LiteRT 跑 Gemma 4 E4B,文字生成比 Q4 GGUF 快 2.4 倍,图片处理几乎没变

有人在 RTX 4060 Ti 16GB 上实测了 Gemma 4 E4B 模型。用 LiteRT 引擎跑文字生成,平均每秒能出 157.2 个 token,而用 llama.cpp 的 Q4 GGUF 格式只有 66.3 tok/s,快了大约 2.4 倍。

推荐理由:作者在 RTX 4060 Ti 上实测 Gemma 4 E4B,LiteRT 文字生成达 157.2 tok/s,约为 llama.cpp Q4 GGUF 的 2.4 倍,图片处理两者接近。

The Verge · AI

微软在 Build 2026 上发了 Project Solara,一个给 AI 硬件跑智能体的安卓系统

微软在 Build 2026 大会上公布了 Project Solara,一个专门为跑 AI 智能体的硬件设计的操作系统。它底层是安卓,不是 Windows。现场展示了两个概念机:一个是类似 Echo Show 的桌面设备,用人脸识别解锁后可以直接调用各种 AI 智能体;另一个是可穿戴工牌,带摄像头和指纹扫描,能唤醒 AI 智能体。

推荐理由:微软在 Build 2026 公布 Project Solara,一个底层用安卓、专为运行 AI 智能体的硬件设计的系统,现场还展示桌面设备和可穿戴工牌两台概念机。

6月2日星期二

AI HOT 精选

阶跃星辰放出 Step 3.7 Flash,开放权重,主打帮智能体写代码

阶跃星辰发了个新模型 Step 3.7 Flash,把权重开放了,你可以直接下载用。它的定位是给智能体编程场景用,强调工具调用可靠,还能处理多模态输入。同一天 MiniMax 也开源了 M3,两家模型都已经能在 Kilo 平台上跑。正文没披露具体的跑分、参数量或硬件门槛,所以实际快不快、省不省资源还得自己测。

推荐理由:阶跃星辰开放 Step 3.7 Flash 权重,面向智能体编程,强调工具调用与多模态输入,同日 MiniMax 开源 M3,两家模型均可在 Kilo 平台运行。

r/LocalLLaMA

NVIDIA 在 Hugging Face 上放出 Cosmos 3 世界模型,能同时吃文字、图片、视频并生成视频、音频和动作指令

NVIDIA 把 Cosmos 3 系列模型挂上了 Hugging Face,这次发了两个尺寸:Nano 版 160 亿参数,Super 版 640 亿参数。它是个全模态世界模型,输入可以混着来——文字、图片、视频甚至动作轨迹都行,输出也不止视频,还能直接吐图片、音频和下一步的动作指令。

推荐理由:NVIDIA 将 Cosmos 3 世界模型开源到 Hugging Face,提供 160 亿和 640 亿参数两个版本,输入可混合文字、图片、视频与动作轨迹,输出覆盖视频、图片、音频和动作指令。

量子位 · 公众号

老黄带着英伟达 CPU 杀进 PC 赛道

英伟达要在今年秋天把一台叫 RTX Spark 的 Windows 电脑推向市场。这台机器把一块 Blackwell 架构的 RTX 显卡和一颗 20 核 Arm 架构的 Grace CPU 焊在一起,通过 NVLink-C2C 高速互联,共享 128GB 统一内存。

推荐理由:英伟达把20核Grace CPU与Blackwell显卡通过NVLink-C2C封装进Windows整机,共享128GB统一内存,为本地运行大模型提供了一种不同于独立显卡的硬件方案。

Latent Space

英伟达连发三弹:Cosmos 3 世界模型、Nemotron 3 Ultra 大模型,还有一台叫 Spark 的个人超算

英伟达在台北电脑展上放出了一波开源模型和硬件。Cosmos 3 是一个能同时处理文字、图片、视频、音频和动作的“世界模型”,用了混合 Transformer 架构,把负责推理和负责生成的两个模块拼在一起。它分 Nano(16B)和 Super(64B)两个尺寸,其中 Super 微调后的文生图和图生视频能力,在开放权重模型里直接冲到了第一。

推荐理由:英伟达在台北电脑展一次放出世界模型、大模型和本地推理硬件,Cosmos 3 的混合 Transformer 架构与 16B、64B 两个尺寸给出了具体技术锚点。

AI HOT 精选

NVIDIA Cosmos 3 在开放权重模型里拿了图像和视频生成双料第一

NVIDIA 的 Cosmos 3 在 Artificial Analysis 的开放权重榜单上,文本生图和图片转视频两项都排到了第一。它用了一种叫 Mixture-of-Transformers 的架构,把自回归推理器和扩散生成器拼在一起,有 16B 参数的 Nano 版和 64B 参数的 Super 版。

推荐理由:NVIDIA 的 Cosmos 3 在 Artificial Analysis 开放权重榜单上同时拿下文本生图和图片转视频第一,其 Mixture-of-Transformers 架构把自回归推理器与扩散生成器组合在一起。

AI HOT 精选

Gemini Omni 能生成你的数字分身,放进视频里

Gemini App 发帖演示了用 Gemini Omni 捏一个长相和声音都像你的数字分身,然后直接塞进视频创作里。帖子没提这个功能什么时候上线、要不要付费,也没说怎么防止别人拿你的形象乱用。

推荐理由:Gemini App 演示用 Gemini Omni 生成长相和声音都像本人的数字分身,再放进视频创作,官方放出这一功能点,呈现视频创作与虚拟人方向的产品进展。

6月1日星期一

AI HOT 精选

MiniMax 开源 M3 模型,把写代码、读长文和看图听声塞进一个系统,跑分压过 GPT-5.5 但成本只要十二分之一

MiniMax 放出了一个叫 M3 的开源模型,把代码能力、一次能读 100 万 token 的长上下文和原生多模态(能直接处理图像、音频)做在了一起。在 SWE-Bench Pro 这个代码基准上拿了 59.0%,比 GPT-5.5 的 58.6% 和 Gemini 3.1 Pro 的 54.2% 都高一点。

推荐理由:MiniMax 开源 M3,将代码、百万 token 长上下文与原生多模态集成于一个模型,SWE-Bench Pro 得分 59.0%,略高于 GPT-5.5 的 58.6%。

Latent Space

视频智能体是下一个方向:Ethan He 谈 xAI Grok Imagine 的三个月从零到一

Ethan He 在 NVIDIA 做完 Cosmos 世界模型后跳到了 xAI,带着一个小团队三个月就做出了 Grok Imagine。他有个很直接的观点:视频模型现在的智能主要来自语言模型,不是靠堆视频数据训练出来的。下一个 Sora 级别的突破不会是更好的视频生成模型,而是能规划、生成、修改、反复打磨一个完整创意任务的视频智能体。

推荐理由:xAI 的 Ethan He 带小团队三个月做出 Grok Imagine,并判断视频模型的智能主要来自语言模型,下一个突破在能规划、生成、修改完整创意任务的视频智能体。