跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 321–340 条 · 共 592 条

5月21日星期四

TechCrunch · AI

Hark 拿了 7 亿美元 A 轮,要做一套神秘的“通用”AI 交互界面

Hark 这家 AI 公司刚宣布融了 7 亿美元,估值直接拉到 60 亿。他们想做一个能跨 App、跨设备干活的个人 AI 助手,今年夏天先放出能同时处理文字、图像、声音的多模态模型,之后再推专用硬件。但正文没披露具体投资人名单之外的细节,也没说模型参数、性能基准、硬件长什么样、什么时候能买到。

推荐理由:Hark 以 7 亿美元 A 轮融资把估值做到 60 亿,计划今夏先推出文字、图像、声音多模态模型,再落地专用硬件,指向跨 App、跨设备的个人 AI 助手方向。

新智元 · 公众号

中科大两篇顶会论文:教多模态大模型持续学新知识,同时不忘旧本事

中科大团队在顶会上发了两篇工作,专门解决多模态大模型“学新忘旧”的问题。一篇是 MMEVOKE,搞了一个包含 159 个子类、9422 个样本的评测集,用来检验模型在持续学习中会不会把之前的知识覆盖掉。另一篇是 KORE,提出用知识树扩充样本,再通过零空间约束微调来减少遗忘。

推荐理由:中科大团队用 MMEVOKE 评测集和 KORE 微调方法,针对多模态大模型持续学习中的遗忘问题给出可复用的评测与训练思路。

机器之心 · 公众号

VAST 和清华搞了个新方法,让 3D 生成把算力花在刀刃上,高斯点数量砍半画质还能打

这篇论文正文被微信环境验证挡住了,看不到具体技术细节。从标题和已知信息看,他们提出了一种叫 DeG 的 3D 生成方法,核心思路是让模型自己学会在物体细节丰富的地方多放高斯点、在平坦区域少放点,而不是均匀撒点。这样能用不到一半的高斯点数量,达到跟 TRELLIS 差不多的画面质量。

推荐理由:VAST 与清华提出 DeG 方法,让模型按物体细节密度分配高斯点,用不到一半的点数达到 TRELLIS 相近画质。

机器之心 · 公众号

谢赛宁团队发布第二代表征自编码器 RAEv2,训练效率大幅提升

谢赛宁团队、Adobe Research 和澳大利亚国立大学放出了 RAEv2。在 ImageNet-256 上训练 80 轮后,生成质量指标 gFID 做到了 1.06。更关键的是效率:衡量收敛速度的 EPFID@2 从上一代需要的 177 轮训练直接压缩到 35 轮,计算量维持在 189 GFLOPs 没涨。

推荐理由:谢赛宁团队联合 Adobe Research 和澳大利亚国立大学发布 RAEv2,在 ImageNet-256 上把收敛所需训练轮数从上一代的 177 轮压到 35 轮,计算量维持在 189 GFLOPs。

AI HOT 精选

腾讯发布操作系统层级的 AI 助手“马维斯”,Windows、Mac、安卓同步上线

腾讯公关总监张军宣布 AI 助手“马维斯”正式上线,覆盖 Windows、Mac 和安卓。它不是一个普通的聊天窗口,而是直接长在系统层,能理解文件结构、归类解析文档、识别处理图片,甚至帮你修电脑。官方说市面上 Agent 能做的事它基本都能做,还能调度不同模型、在电脑上操控手机应用。

推荐理由:腾讯将 AI 助手马维斯直接做进操作系统层,Windows、Mac 和安卓三端同步上线,可解析文档、识别图片并操控手机应用,桌面 Agent 的形态由此从应用内扩展到系统级。

The Verge · AI

YouTube Shorts 现在能用 AI 把别人的视频改成动画或给你换头

YouTube 给 Shorts 的“混剪”功能加了一个叫“重新想象”的选项,背后用的是 Gemini Omni 模型。你可以直接拿别人发过的短视频,让 AI 把画面风格改成动漫、替换画面里的东西,或者把自己的脸塞进原视频里。创作者可以在上传时决定允不允许别人用 AI 改动自己的内容。正文没提生成一次要多久、有没有水印,也没说免费用户能用几次。

推荐理由:YouTube 为 Shorts 混剪加入 AI 重想象功能,可把他人视频改成动漫风格或替换画面人物,创作者上传时能自行决定是否允许被改动。

5月20日星期三

Hacker News 首页

字节跳动开源 Lance:一个模型同时搞定图片和视频的理解、生成与编辑

Lance 是字节跳动放出的一个多模态研究项目,把看图、看视频、生成图片、生成视频和编辑这些事塞进了同一个模型里。模型激活参数只有 3B,个头不大,训练用了不到 128 张 GPU,对想复现或微调的人来说门槛不算高。代码、论文和模型权重都公开了,但项目页没写具体的 benchmark 跑分和商用许可条款,这点先别太激动,得自己去翻论文和 HF 页面确认。

推荐理由:字节跳动开源 Lance,把图像与视频的理解、生成和编辑放进同一个模型,激活参数 3B,训练用不到 128 张 GPU,代码、论文和权重均已公开。

The Verge · AI

AI 内容打标签这事,到了见真章的时候

Google 在 I/O 大会上说,现在能更广地验证 SynthID 给 AI 图片打的水印了;另一边 C2PA 也在推一套叫 Content Credentials 的标准,想给图片、视频、音频都加上来源元数据。说白了,就是两套技术路线在比赛谁能更靠谱地告诉你“这东西是不是 AI 生成的”。

推荐理由:Google 扩大 SynthID 水印验证范围,C2PA 则推进 Content Credentials 来源元数据标准,两条技术路线在 AI 内容溯源上的进展构成直接对照。

新智元 · 公众号

驭势科技在港交所上市,成为全场景L4自动驾驶第一股,市值超百亿港元

驭势科技今天在港交所挂牌,发行价每股60.30港元,公开发售部分超额认购6777倍。公司主要做机场、厂区这类封闭场景的L4级无人驾驶物流车和接驳车,2025年在大中华区机场L4商用车市场占了90.5%的份额。不过原文因为微信环境验证拦截,正文内容没抓到,具体的财务数据、技术路线和募资用途都没披露,这些关键信息得去翻招股书才能确认。

推荐理由:驭势科技在港交所挂牌,机场L4商用车市占率90.5%,公开发售超额认购6777倍,这条资讯呈现了自动驾驶企业在封闭场景商业化落地的进展。

AI HOT 精选

Kling AI 上线原生 4K 视频生成,不再靠后期放大,直接出真 4K

Kling AI 在 4 月 23 日放出一个原生 4K 视频生成模型,不是先做低分辨率再放大,而是从生成阶段就按 4K 来跑。官方说好莱坞团队和 Wonder Studios 已经在用,制片人反馈这是他们工作流里第一个原生 4K 基础模型,Wonder Studios 特别提到原生生成能避免传统放大带来的角色变形,画面一致性更好。

推荐理由:Kling AI 上线原生 4K 视频生成模型,从生成阶段直接按 4K 输出,而非低分辨率放大,官方称已有好莱坞团队和 Wonder Studios 在实际工作流中使用。

机器之心 · 公众号

谷歌 I/O 大会后,搜索框直接变成了 AI 智能体入口

谷歌在 I/O 大会上发布了 Gemini 3.5 Flash,并把 AI 模式直接嵌进了搜索框。公司说现在它的 AI 服务每月要处理超过 3200 万亿个 token,已经有超过 850 万开发者在使用 Gemini。不过这篇文章因为微信平台的环境验证问题,正文内容没能加载出来,所以具体的模型参数、性能对比和实际体验细节都没法确认。

推荐理由:谷歌把 Gemini 3.5 Flash 与 AI 模式直接嵌入搜索框,搜索入口由此变成智能体入口,其 AI 服务每月处理超 3200 万亿 token、850 万开发者使用 Gemini。

Latent Space

Google I/O 2026:Gemini 3.5 Flash 发布,百万 token 上下文、四种思考模式,主打编程和干活快

Google 在 I/O 大会上把 Gemini 重新定位成消费级 AI 入口和开发者代理平台。最核心的发布是 Gemini 3.5 Flash,今天就能用,上下文窗口 100 万 token,单次最多输出 6.5 万 token,提供“极简/低/中/高”四档思考深度,并且能在多轮对话里保留思考过程。

推荐理由:Gemini 3.5 Flash 在 I/O 发布当天即可使用,100 万 token 上下文与四档思考深度直接决定长文档处理和编程任务的成本与响应方式。

AI HOT 精选

通义千问发布 Qwen3.7-Max,主打长时间自主干活和跨平台编程

Qwen 团队推出了 Qwen3.7-Max,一个专为智能体场景设计的闭源模型。它最显眼的能力是能长时间自主执行任务,官方演示了一个连续跑 35 小时、调用上千次工具的内核优化任务。在编程方面,它在 Terminal Bench 2.0 上拿了 69.7 分,超过了 DeepSeek-V4-Pro Max 的 67.9 分。

推荐理由:通义千问推出面向智能体场景的闭源模型 Qwen3.7-Max,官方演示其连续运行 35 小时、调用上千次工具完成内核优化,编程测试得分超过 DeepSeek-V4-Pro Max。

AI HOT 精选

Gemini Omni 能拿你的脸和声音做数字分身,以后拍视频不用真人出镜了

Gemini Omni 上线了一个新功能,你可以用自己的长相和声音创建一个数字分身。建好之后,这个分身就能替你出镜生成视频,不用每次都重新上传照片。正文没提这个功能要不要钱、在哪些地区能用、什么时候正式上线,我会先打个折观望。

推荐理由:Gemini Omni 支持用户用个人形象和声音创建数字分身,建好后可反复用于生成出镜视频,省去每次重新上传照片的步骤。

AI HOT 精选

ChatGPT 图像生成周用量冲到 15 亿次,OpenAI 聊了聊 Images 2.0 带来的新玩法

OpenAI 发推说,现在大家每周在 ChatGPT 里生成超过 15 亿张图片。研究员 kenjihata、产品负责人 adele__li 和主持人 AndrewMayne 一起聊了 Images 2.0 上线后冒出来的新用法和趋势。正文没展开具体是哪些用例,也没给技术细节,就提了个数字和一场对谈。

推荐理由:OpenAI 披露 ChatGPT 图像生成周用量超过 15 亿张,并让研究员与产品负责人对谈 Images 2.0 上线后的新用法,这一量级本身勾勒出图像生成在对话产品中的使用规模。

AI HOT 精选

谷歌把 AI 概览和 AI 模式揉进一个搜索框,现在能传图、传文件、传视频问问题

谷歌上线了一个基于 Gemini 3.5 的新搜索框,把之前的 AI Overviews 和 AI Mode 合并成一个入口。你可以打字、传图片、丢文件或发视频,搜索会跨这些格式一起理解你的问题。支持多轮对话,回答会结合上下文更贴近你。桌面和手机端全球同步上线,正文没披露具体延迟和成本数据。

推荐理由:谷歌把 AI 概览与 AI 模式合并进同一个搜索框,支持文字、图片、文件和视频混合提问并多轮追问,桌面与手机端全球同步上线。

AI HOT 精选

Google 把 Tensor 芯片的 AI 能力开放给开发者,Pixel 10 手机上的 TPU 现在可以直接跑模型了

Google 发布了 Tensor ML SDK 的公开测试版,开发者现在能把 PyTorch 或 TFLite 模型转换、编译后,直接调用 Pixel 10 系列手机里的 TPU 芯片来跑推理。整个流程通过 LiteRT 这个统一框架完成,不用再分别对接底层硬件驱动。

推荐理由:Google 发布 Tensor ML SDK 公开测试版,开发者可将 PyTorch 或 TFLite 模型转换编译后直接调用 Pixel 10 手机里的 TPU 跑推理,流程统一由 LiteRT 框架完成。

AI HOT 精选

Gemini Omni 发布:能理解物理世界的视频生成模型,面向付费用户开放

Gemini Omni 不只是生成画面,它会判断场景里接下来该发生什么——比如物体掉落、碰撞这类物理规律,同时结合历史、科学和文化知识来构建内容。视频生成功能今天起向全球 Google AI Plus、Pro 和 Ultra 订阅用户开放,可以在 Gemini 应用、Google Flow 和 YouTube Shorts 里用。

推荐理由:Gemini Omni 在生成画面之外会判断物体掉落、碰撞等物理走向,并已向全球 Google AI Plus、Pro 和 Ultra 订阅用户开放,可在 Gemini 应用、Google Flow 和 YouTube Shorts 中使用。

AI HOT 精选

Gemini Omni:谷歌新模型,先拿视频开刀,号称什么输入都能生成内容

谷歌发了条推文介绍 Gemini Omni,说这个模型能从任意输入生成内容,首发支持视频。正文没披露参数量、定价、上线时间,也没给任何跑分数据。我会先打个折:目前只有一段营销推文和一条线索串,实际能力、成本和延迟全都不清楚。

推荐理由:谷歌发布 Gemini Omni 预告,称模型可从任意输入生成内容并首发支持视频,目前公开信息只有一条推文,尚无参数、定价与跑分。

AI HOT 精选

谷歌发了 Gemini Omni,一个能把图文视频混着输入、直接出视频的多模态模型

谷歌在推上宣布了 Gemini Omni,说它能吃图像、视频和文本,吐出来的是基于 Gemini 现实世界知识生成的视频。目前只展示了视频生成这一个方向,正文没提模型大小、推理成本、能不能公开用、什么时候上线。我会先打个折:这更像一个预告,不是能立刻上手的东西。

推荐理由:谷歌在推上宣布 Gemini Omni 支持图像、视频和文本混合输入并直接生成视频,目前仅展示视频生成方向,模型规模与开放时间尚未公布。