跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 341–360 条 · 共 592 条

5月20日星期三

AI HOT 精选

Google I/O 发了几个 Gemini 新东西:新设计、智能体功能、Omni 和 3.5 Flash 模型

Google 在 I/O 大会上扔了一串 Gemini 更新。设计上用了“神经表达技术”,听起来像是让交互更自然,但正文没解释具体怎么实现。智能体功能提到了每日简报和 Gemini Spark,还没说什么时候能用。模型这边出了 Gemini Omni 和 3.5 Flash,参数规模、跑分、价格和发布时间一概没提,我会先打个折,等有实测再判断。

推荐理由:Google 在 I/O 大会上集中发布 Gemini 的设计更新、智能体功能以及 Omni 和 3.5 Flash 两款模型,呈现其产品线当前的布局方向。

r/LocalLLaMA

英伟达放出 Nemotron-Labs-Diffusion 模型,用扩散解码把 8B 模型跑到 850 tok/s

英伟达发了 Nemotron-Labs-Diffusion 系列,包含 3B、8B 和 14B 三个稠密模型。这组模型同时支持传统的自回归解码和新的扩散并行解码,还带了一种叫 self-speculation 的加速技巧。

推荐理由:英伟达发布 Nemotron-Labs-Diffusion 系列,3B 到 14B 三个稠密模型同时支持自回归与扩散并行解码,并加入 self-speculation 加速技巧。

AI HOT 精选

谷歌搜索 25 年来最大改版:用 Gemini 3.5 Flash 把搜索框变成聊天框

谷歌在 I/O 大会上宣布搜索业务改版,核心是把搜索入口从“敲关键词”改成“直接说完整需求”。底层用新发布的 Gemini 3.5 Flash 模型跑响应,官方说速度是 GPT-5.5 的四倍,但没给具体延迟数据。AI Mode 上线一年后月活过了 10 亿,查询量每季度翻倍,说明用户确实在用。

推荐理由:谷歌在 I/O 大会宣布搜索入口从敲关键词改为直接说完整需求,底层由新发布的 Gemini 3.5 Flash 驱动,AI Mode 月活已过 10 亿、查询量每季度翻倍。

The Verge · AI

Gemini 将接入沃尔沃 EX60 的外部摄像头,帮你读懂停车标志

Google 和沃尔沃在 I/O 大会上说,Gemini 会连上还没发布的 EX60 SUV 的外部摄像头,第一个功能是解释那些让人头疼的停车标志。这靠的是沃尔沃车机本来就用了 Google 的 Android Automotive 系统。Google 还提了一嘴,以后可能让 Gemini 回忆路过的路牌之类,但正文没展开说具体还有哪些场景。

推荐理由:Google 与沃尔沃在 I/O 大会上宣布,Gemini 将接入尚未发布的 EX60 外部摄像头,用于解读停车标志,多模态能力由此进入车载场景。

The Verge · AI

Google I/O 2026 一口气发了 13 个 AI 更新,Gemini 3.5 直接成了默认模型

Google 在 I/O 2026 上发布了新模型 Gemini 3.5 Flash,今天起它就是 Gemini 应用和搜索里 AI Mode 的默认模型了。更强的 Gemini 3.5 Pro 下个月才来。

推荐理由:Google 在 I/O 2026 发布 Gemini 3.5 Flash,并把它设为 Gemini 应用和搜索 AI Mode 的默认模型,更强的 Pro 版要等到下个月。

AI HOT 精选

谷歌发布 Gemini 3.5 Flash,智商分涨到 55,速度超 280 tokens/秒,但运行成本贵了 5.5 倍

谷歌把 Gemini Flash 系列更新到了 3.5 版,智商评分从上一代的 46 分提到 55 分,直接超过了 Grok 4.3 和 Claude Sonnet 4.6。进步主要在两方面:一是让模型进业务流程干活(代理任务)更靠谱了,二是知识真实性提升,幻觉明显减少。输出速度超过每秒 280 个 token,在速度和智商之间卡了个好位置。

推荐理由:谷歌将 Gemini Flash 更新到 3.5 版,智商评分从 46 提到 55,输出速度超过每秒 280 个 token,运行成本涨到上一代的 5.5 倍。

TechCrunch · AI

Google 把街景塞进 Genie 世界模型,现在能直接生成可交互的街道模拟

Google DeepMind 把 Street View 街景数据接入了自家的世界模型 Project Genie,让它能根据真实街道照片生成可交互的 3D 场景。你可以像玩游戏一样在模拟街道里走动,还能调天气、看极端气候下的样子。

推荐理由:Google DeepMind 将街景数据接入世界模型 Project Genie,能由真实街道照片生成可交互 3D 场景并调节天气,为机器人与游戏仿真提供现成地图素材。

TechCrunch · AI

OpenAI 给自家模型生成的图片加了两种防伪标记,查起来更方便了

OpenAI 宣布了两项措施来标记自家模型生成的图片。一是加入 C2PA 开放标准,在图片的元数据里直接写明“这是 AI 生成的”;二是把 Google 的 SynthID 水印技术集成到产品里,这是一种肉眼看不见的水印,想擦掉也没那么容易。这两招都只对 OpenAI 自家产品生成的图片生效,正文没提是否支持以前生成的老图,也没说具体什么时候上线。

推荐理由:OpenAI 为自家模型生成的图片同时接入 C2PA 元数据标注和 Google 的 SynthID 隐形水印,两条溯源路径并行,图像来源识别多了一种跨厂商的技术组合。

TechCrunch · AI

谷歌发布 Gemini Omni:用文字、图片和音频就能直接生成视频

谷歌推出了新的多模态模型 Gemini Omni,能把文字、图片、音频和视频作为输入,通过对话直接生成或编辑视频。首发版本叫 Omni Flash,主打跨模态推理,也就是模型能同时理解不同格式的信息并据此产出视频。但文章没公布具体上线时间、价格、上下文长度限制、跑分成绩,也没说 API 什么时候开放。

推荐理由:谷歌推出多模态模型 Gemini Omni,可把文字、图片、音频和视频作为输入,通过对话直接生成或编辑视频,首发版本 Omni Flash 主打跨模态推理。

AI HOT 精选

谷歌发布 Gemini Omni 模型,任意输入都能生成任意输出,一句话就能改视频

谷歌在 I/O 2026 大会上推出了 Gemini Omni,这是 Gemini 家族目前能力最全的版本,能同时处理文字、图片、音频和视频,并直接生成这些格式的内容。现场演示了对话式视频编辑,用户说句话就能换掉视频里的角色或背景。

推荐理由:谷歌在 I/O 2026 发布 Gemini Omni,可跨文字、图片、音频、视频互转,现场演示了用一句话替换视频角色或背景的对话式编辑。

AI HOT 精选

Gemini Omni 发布:先拿视频生成试水,目标是“什么都能生成”

Google DeepMind 发了条推,说 Gemini Omni 是他们朝“用任何内容生成任何内容”迈出的第一步,首发功能是视频生成。它把 Gemini 的理解能力和自家的生成式媒体系统揉在一起,号称在多模态理解和编辑上有大跨步。但正文没披露模型参数、价格和什么时候能用,我会先打个折——目前只有一句口号和一段视频演示,具体效果和限制还得等后续公开。

推荐理由:Google DeepMind 发布 Gemini Omni,把 Gemini 的理解能力与生成式媒体系统结合,首发功能为视频生成,目标是用任何内容生成任何内容。

AI HOT 精选

谷歌 I/O 大会公布数据:每月处理 Token 量超 3200 万亿,一年翻了 7 倍

谷歌 CEO 皮查伊在 2026 年 I/O 大会上甩出了一组数据:今年 5 月,谷歌平台每月处理的 Token 量超过 3200 万亿,比去年同期涨了 7 倍。这个数字说明谷歌 AI 服务的调用规模在急剧膨胀。同时,Gemini App 的月活用户超过了 9 亿,同比翻了一番多,每日请求量也涨了 7 倍多。

推荐理由:谷歌在 I/O 大会上披露,其平台每月处理的 Token 量超过 3200 万亿,同比增长 7 倍,Gemini App 月活也突破 9 亿,这组数据给出了谷歌 AI 服务当前调用规模的量级参考。

AI HOT 精选

NVIDIA 开源 LongLive 2.0,用 4-bit 量化把长视频生成跑进实时

NVIDIA 把 LongLive 2.0 整套训练和推理代码都放出来了,主打 FP4 量化加并行加速,在 50 亿参数的模型上能跑到每秒 45.7 帧,比很多短视频方案还快。它支持真实视频训练、蒸馏、多镜头生成、序列并行、KV 缓存优化和异步解码部署,专门解决以前长视频生成要么慢到没法用、要么只能做几秒片段的毛病。

推荐理由:NVIDIA 将 LongLive 2.0 的训练与推理代码全部开源,在 50 亿参数模型上以 4-bit 量化实现每秒 45.7 帧,为长视频生成的低成本部署提供了可复用的工程路径。

5月19日星期二

r/LocalLLaMA

字节跳动开源了一个 3B 参数模型,想用一个小体量搞定看图、看视频、生图和修图

字节跳动放出了一个叫 Lance 的开源模型,激活参数只有 3B,但试图把图像和视频的理解、生成、编辑都塞进一个模型里。帖子说它是从头训练的,用了分阶段的多任务训练配方,训练硬件是 128 张 A100 GPU。正文没披露训练时长、具体数据规模和各项任务的实测分数,所以实际效果和泛化能力还得等跑分和社区实测。

推荐理由:字节跳动开源 Lance 模型,用 3B 激活参数把图像视频的理解、生成与编辑放进同一个模型,并公开了分阶段多任务训练配方和 128 张 A100 的训练配置。

AI HOT 精选

OpenAI 给 AI 生图加了双重防伪:一层是信息标签,一层是隐形水印

OpenAI 公布了一套内容溯源方案,主要做三件事。第一,他们正式拿到了 C2PA 标准认证,以后用 DALL·E、Sora 等工具生成的图片都会自带一份可验证的“数字出生证明”,记录是谁做的、怎么改的。第二,他们和 Google DeepMind 合作,在 ChatGPT、Codex 和 API 生成的图片里嵌入了 SynthID 隐形水印。

推荐理由:OpenAI 将 C2PA 内容凭证与 Google DeepMind 的 SynthID 隐形水印同时用于 DALL·E、Sora 等生成图片,并给出验证工具,两套主流溯源标准由此并行落地。

量子位 · 公众号

摩尔线程发布国产全栈具身智能仿真平台,机器狗“小飞”全程在自家 GPU 上完成训练

摩尔线程推出了 MT Lambda 仿真平台,把物理引擎、渲染和 AI 模型训练整合到一起,用自家的 GPU 跑通了从模拟到真机的完整流程。现场演示的机器狗“小飞”在仿真里学会走路后,直接迁移到实物上就能跑。不过正文因为需要验证码没能完整抓取,具体的技术参数、训练时长和成功率数据都没披露,这点先别太激动。

推荐理由:摩尔线程发布 MT Lambda 仿真平台,将物理引擎、渲染与 AI 训练整合在自家 GPU 上,机器狗小飞在仿真中学会走路后直接迁移到实物。

量子位 · 公众号

Odyssey 放出 Agora-1 世界模型,能四个人同时在线打 FPS,比李飞飞团队还快一步

Odyssey 发布了一个叫 Agora-1 的世界模型,主打实时生成可玩的 FPS 场景,最多支持四个真人或 AI 玩家在同一张图里对战。它把物理模拟和画面渲染拆开跑,训练数据用的是《黄金眼》游戏内部状态,不是单纯看视频学样子。正文没披露具体延迟和硬件成本,所以实际跑起来卡不卡、贵不贵还不清楚。

推荐理由:Odyssey 发布 Agora-1 世界模型,支持四名真人或 AI 玩家在同一张 FPS 地图对战,训练数据取自《黄金眼》游戏内部状态,物理模拟与画面渲染分开运行。

纽约时报中文网

中国AI短剧每分钟成本200元,演员开始接不到戏了

一些中国公司现在不用摄像机、剧组和真人演员,就能以每分钟约30美元(200元人民币)的成本批量生产AI短剧。DataEye数据显示,仅今年3月就有近5万部AI短剧上传到抖音,几乎赶上该平台2025年全年总量。

推荐理由:中国公司以每分钟约200元成本批量生产AI短剧,仅今年3月抖音上传量就近5万部,接近该平台2025年全年总量。

AI HOT 精选

Qwen3.7预览版上线竞技场,阿里视觉排名冲到第五

阿里云在 X 上官宣 Qwen3.7-Plus-Preview 已经挂上竞技场,同时提到自家在视觉榜单上排到第五。帖子没给具体跑分、参评模型数量,也没说 Qwen3.7 系列什么时候正式发,只说“迫不及待要发布”。我会先打个折:排名第五听着不错,但不知道跟谁比、怎么比,这点先别太激动。

推荐理由:阿里云将 Qwen3.7-Plus-Preview 挂上竞技场,并称视觉榜单排名第五,但未公布跑分、参评模型数量和正式发布时间。

AI HOT 精选

NVIDIA 用 LoRA/DoRA 微调 Cosmos Predict 2.5,让它能生成机器人第一视角视频

NVIDIA 发了一篇技术博客,教你怎么用 LoRA 和 DoRA 这两种轻量微调方法,去训练他们自家的 Cosmos Predict 2.5 视频模型。目标是让模型能根据文字指令,生成机器人看到的画面,比如机械臂在桌上抓东西。

推荐理由:NVIDIA 在技术博客中演示用 LoRA 和 DoRA 轻量微调 Cosmos Predict 2.5,让模型按文字指令生成机械臂抓取等机器人第一视角画面,为具身智能提供一条低成本造训练视频的路径。