跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 281–300 条 · 共 592 条

5月30日星期六

The Verge · AI

想拍你干家务,AI 公司开始用免费保洁换训练数据

一家叫 Shift 的 AI 训练初创公司说,可以免费给纽约人打扫房子,条件是允许他们拍摄保洁员干活的全过程:洗碗、擦台面、掸灰、拖地。这些视频会被用来训练家用机器人。公司还计划扩展到伦敦等城市。但正文没披露用户隐私条款、数据保留期限、后续收费模式,也没说具体什么时候进新城市。我会先打个折:免费保洁听着不错,但等于拿你家当机器人训练场,值不值得自己掂量。

推荐理由:Shift 用免费保洁换取在纽约家庭拍摄洗碗拖地等家务全程的视频,用于训练家用机器人,并计划扩展到伦敦等城市。

5月29日星期五

The Verge · AI

Shift 用免费上门打扫换机器人训练数据,清洁工会全程被录像

一家叫 Shift 的 AI 训练数据公司说,可以免费帮你打扫家里,条件是让他们录下清洁工擦窗、吸尘、整理的全过程,拿这些视频去训练机器人。他们觉得这些数据的价值足够覆盖服务成本,网站上写的是“你得到干净屋子,我们拿到训练数据,双赢”。宣传片里清洁工戴着一顶有点奇怪的帽子干活。

推荐理由:Shift 用免费家政服务换取清洁过程的录像,把日常家务变成机器人训练数据的采集场景,其数据价值覆盖服务成本的模式是这条的核心看点。

The Verge · AI

Adobe 的对话式 AI 助手像个平庸的设计实习生

The Verge 提前试了 Adobe Firefly AI 助手的测试版。它不像常规 AI 工具那样直接生成图片或视频,而是充当一个中间人,用对话的方式替你操作 Adobe 的设计软件。作者说,助手解释每一步编辑思路时讲得很清楚,但最终做出来的效果并不让人满意。正文没提定价、正式上线时间,也没列出完整支持哪些软件。

推荐理由:The Verge 编辑提前试用了 Adobe Firefly AI 助手测试版,它不直接生成图片,而是以对话方式代为操作设计软件,编辑思路讲得清楚但成品效果一般。

AI HOT 精选

小米开源 ControlFoley:给视频配音效,可以按你写的提示词或给的参考音频来

小米大模型应用团队放出了一个叫 ControlFoley 的视频音效生成模型,权重和代码都开源了。它主要解决一个问题:以前模型只能看画面自动猜配什么声音,创作者没法干预。ControlFoley 支持三种用法——用文字描述想要的音效、用文字强行覆盖画面里原有的声音、或者上传一段参考音频让它模仿音色和风格,同时还能保证声音和画面动作对得上。

推荐理由:小米开源 ControlFoley,让视频音效从只能由模型自动猜测变为可用文字或参考音频指定,同时保持声音与画面动作对齐。

AI HOT 精选

谷歌 DeepMind 老大说 AGI 可能三年内到,但社会还没准备好

哈萨比斯判断,通用人工智能(AGI)最快 2029 到 2030 年就会出现,比之前想的快很多。他说的 AGI 不是只会干一件活的专用 AI,而是能像人一样跨领域学习、推理和创造的系统。现在那些能独立干活的 AI 智能体,在他看来就是 AGI 的预演。不过他也把话说得很清楚:AGI 不会突然蹦出来,而是一段持续加速的升级过程。

推荐理由:哈萨比斯把 AGI 时间线提前到 2029 至 2030 年,并称能独立干活的智能体是它的预演,这一判断比此前预期快出不少。

r/LocalLLaMA

StepFun 3.7 Flash:196B 总参数、11B 激活的 MoE 模型,带 1.8B 视觉模块,能在 128GB 内存的本地机器上跑

StepFun 放出了 Step 3.7 Flash,一个混合专家(MoE)模型,总参数量 196B,但每次推理只激活 11B 参数,所以对算力要求没那么夸张。它内置了一个 1.8B 参数的视觉 Transformer(ViT),可以直接处理图像输入。官方说这个模型能在配备 128GB 内存的本地环境里运行,不用非得连云端。

推荐理由:StepFun 发布 Step 3.7 Flash,196B 总参数只激活 11B,还带 1.8B 视觉模块,官方称可在 128GB 内存的本地机器上运行。

AI HOT 精选

阶跃星辰开源 Step 3.7 Flash,198B 参数 MoE 模型,活跃参数约 11B,专为智能体工作流做效率优化

阶跃星辰放出了一个开源模型 Step 3.7 Flash,架构是 198B 参数的 MoE(混合专家),实际干活时只激活大约 11B 参数,所以跑起来相对轻量。上下文窗口给到 256K,能读图、读文档,也能直接生成代码或调用工具。

推荐理由:阶跃星辰开源 198B 参数的 MoE 模型 Step 3.7 Flash,运行时仅激活约 11B 参数,并支持 256K 上下文与工具调用,为智能体工作流提供了轻量部署的选项。

AI HOT 精选

Google 发布两款图像模型 Nano Banana Pro 和 Nano Banana 2,已接入 Gemini API 可用

Google AI 开发者账号官宣了两个图像模型:Nano Banana Pro(代号 gemini-3-pro-image)和 Nano Banana 2(代号 gemini-3.1-flash-image),现在就能通过 Gemini API 调用,直接上生产环境。

推荐理由:Google 将 Nano Banana Pro 和 Nano Banana 2 两个图像模型接入 Gemini API,开发者现在即可调用并用于生产环境。

The Verge · AI

一部成本2000美元的AI电影将在翠贝卡电影节首映

翠贝卡电影节下月会首映一部75分钟的AI生成电影《Dreams of Violets》,讲的是伊朗政府大规模杀害抗议者的虚构故事,画面和人物全由AI生成。制作成本只花了2000美元,素材来自新闻报道、照片和目击者描述。电影由2019年离开伊朗的Koosha兄弟制作,哥哥Ash是制片公司Fountain 0的CEO,弟弟Pooya是联合创始人。

推荐理由:一部75分钟、画面人物全由AI生成的剧情长片将在翠贝卡首映,制作成本仅2000美元,素材取自新闻报道与目击者描述。

5月28日星期四

NVIDIA 博客

NVIDIA 在 ICRA 发了 8 篇论文,核心是让机器人在仿真里练完直接去现实世界干活

NVIDIA Research 在 ICRA 上展示了 8 篇论文,都围绕一个思路:在仿真里训练机器人,然后直接部署到真实环境。ScheduleStream 让多机械臂并行规划,速度提升 3 倍,代码已开源。COMPASS 导航框架完全不靠真实数据,在仿真里训练后迁移到真机,20 次真实导航测试成功率约 80%,比纯模仿学习基线高了 4.5 倍。

推荐理由:NVIDIA Research 在 ICRA 发布 8 篇论文,其中 COMPASS 导航框架不依赖真实数据,仿真训练后迁移到真机,20 次测试成功率约 80%,为纯模仿学习基线的 4.5 倍。

r/LocalLLaMA

英伟达 LocateAnything:用并行框解码做视觉定位,号称比 Qwen3-VL 快 10 倍

英伟达放出了一个叫 LocateAnything-3B 的模型,专门做视觉语言定位——就是给张图、说句话,模型把对应物体用框标出来。它主打“并行框解码”,不像传统方法一个个框串行生成,所以速度上来了,标题直接写比 Qwen3-VL 快 10 倍。

推荐理由:英伟达开源 3B 视觉定位模型 LocateAnything,用并行框解码替代逐框串行生成,官方称速度比 Qwen3-VL 快 10 倍。

机器之心 · 公众号

ICML 2026:AutoMoT 用大小模型异步分工,在 Bench2Drive 和 nuScenes 上拿了双料第一

这篇文章本身被微信环境验证挡住了,正文内容没抓到,所以下面说的都基于标题和已知信息。AutoMoT 是南洋理工 AutoMan 实验室、哈佛和小米汽车一起搞的端到端驾驶模型,核心思路是把视觉语言模型和驾驶动作拆成两个专家:一个 4B 的 Qwen3-VL 负责看懂场景,一个 1.6B 的动作专家负责输出驾驶指令,而且两个模型是异步推理的,不用互相等。

推荐理由:AutoMoT 把 4B 视觉语言模型与 1.6B 动作专家拆成异步推理,在 Bench2Drive 和 nuScenes 上取得双料第一,其大小模型分工思路可供端到端驾驶架构参考。

机器之心 · 公众号

国产预训练具身大模型 Wall-OSS-0.5 开源,宣称跳过微调也能直接干活

X Square Robot 开源了一个叫 Wall-OSS-0.5 的视觉-语言-动作模型,主打“预训练完就能用”。他们放出了 40 万步的预训练 checkpoint,在 17 个真实机器人零样本任务里,有 4 个成功率超过 80%。这次开源的东西挺全:权重、代码、训练配方、消融实验,还有一个叫 DMuon 的优化器实现。

推荐理由:X Square Robot 开源视觉-语言-动作模型 Wall-OSS-0.5,放出 40 万步预训练 checkpoint,在 17 个真机零样本任务中 4 个成功率超 80%,并附权重、代码与训练配方。

AI HOT 精选

Hao AI Lab 开源 FastVideo Dreamverse,一张 B200 显卡 7 秒跑出 30 秒 1080p 视频

这个工具用一张 NVIDIA B200 GPU 搭配 LTX-2 模型,把生成 30 秒 1080p 视频的时间压到了 7 秒,做到了实时出片。代码和博客都公开了,但正文没披露画面质量、一致性和复杂场景下的表现,实际效果得自己跑一遍才知道。

推荐理由:Hao AI Lab 开源 FastVideo Dreamverse,用单张 NVIDIA B200 搭配 LTX-2 模型把 30 秒 1080p 视频生成压到 7 秒,代码和博客一并公开。

5月27日星期三

AI HOT 精选

Runway 发布 MCP 服务器,让 Claude、ChatGPT 这类助手能直接在对话框里帮你生图和剪视频

Runway 推出了一个 MCP 服务器,相当于给 AI 助手装了个插件,让 Claude、ChatGPT、Cursor 等工具能在聊天窗口里直接调用 Runway 的模型生成图片和视频。你不用再切换软件,给助手扔一个商品链接、一张参考图或一段文字描述,它就能把成品返回到同一个对话框里。

推荐理由:Runway 把生图和剪视频能力接入 Claude、ChatGPT、Cursor 的对话框,用户发链接、参考图或文字描述即可拿到成品,省去切换软件的步骤。

TechCrunch · AI

YouTube 开始自动给 AI 视频打标签,不再全靠创作者自觉

YouTube 不再只靠创作者自己申报 AI 内容,现在会用内部系统自动检测并给“用了大量逼真 AI 画面”的视频打上标签。同时标签位置会更显眼,长视频和 Shorts 都适用。不过正文没披露这套自动检测的准确率、误判后怎么申诉、具体什么时候全面铺开,也没说对直播有没有用。

推荐理由:YouTube 将用内部系统自动检测并标注含大量逼真 AI 画面的视频,标签在长视频和 Shorts 中都更显眼,平台对 AI 内容的标注从创作者自报转向主动识别。

量子位 · 公众号

7B小模型在医学影像理解上跑赢o3和GPT-5,靠的是教会模型“看哪里、怎么看”

上海创新研究院的LeapQuest和三所大学搞了两个医学AI系统Ophiuchus和MedScope,核心思路是让模型在看图看视频时学会像医生一样先定位关键区域再分析。Ophiuchus-7B在8个医学视觉问答基准上拿了68.0分,比OpenAI-o3的62.2、Gemini 2.5 Pro的61.8和GPT-5的59.9都高。

推荐理由:上海创新研究院等团队让模型先定位关键区域再分析,Ophiuchus-7B在8个医学视觉问答基准上以68.0分超过o3和GPT-5,提供了小模型靠方法设计追赶通用大模型的比较样本。

r/LocalLLaMA

PrismML 放出二值/三值 Bonsai Image 4B:1-bit 文生图扩散模型,浏览器里就能跑

PrismML 发布了 Bonsai Image 4B 的二值和三值版本,把文生图扩散 Transformer 的权重压到 1-bit 或三值,模型体积约 3GB。作为对比,FLUX.2 Klein 4B 大概要 16GB。Reddit 帖子里给了浏览器端 WebGPU 本地运行的 demo 链接,模型用 Apache-2.0 协议开源。

推荐理由:PrismML 将 Bonsai Image 4B 的文生图扩散 Transformer 权重压到 1-bit 或三值,模型约 3GB,而 FLUX.2 Klein 4B 约 16GB,并支持在浏览器 WebGPU 本地运行。

5月26日星期二

AI HOT 精选

商汤把 SenseNova-U1 的训练代码全开源了,一个框架同时训生图、修图、交错生成和理解

OpenSenseNova 在 GitHub 上放出了 SenseNova-U1 的完整训练代码,用 Apache-2.0 协议。代码覆盖了 8B 稠密模型和 A3B MoE(混合专家)架构,在一个统一框架里支持四种多模态任务:文生图、图片编辑、图文交错生成,以及文本与视觉理解。

推荐理由:商汤在 GitHub 以 Apache-2.0 协议开源 SenseNova-U1 完整训练代码,覆盖 8B 稠密与 A3B MoE 两种规格,一个框架同时支持文生图、图片编辑、图文交错生成和理解四类任务。

AI HOT 精选

Runway 发布 Project Luxo,用三部短片和一支广告证明 AI 视频已经跨过恐怖谷

Runway 放出了三部完全用 AI 生成的短片和一支广告样片,每部都由单人完成,制作时间从三周压缩到四小时。他们把这些片子拿给制片人、演员、工会成员和媒体看,得到的反馈是:观众不再盯着画面瑕疵,而是被故事本身抓住了。Runway 认为这意味着 AI 视频的视觉真实感、角色稳定性和创作可控性已经够用,技术开始退到幕后,故事走到了台前。

推荐理由:Runway 用三部短片和一支广告样片展示单人完成 AI 视频制作,制作周期从三周压缩到四小时,并收集了制片人、演员和工会成员的观看反馈。