跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 361–380 条 · 共 592 条

5月18日星期一

Latent Space

无人机自主技术栈与经济学:从宠物摄像头到 AI 制导炸弹

Yaroslav Azhnyuk 是 The Fourth Law 的创始人,这家公司做 AI 制导无人机。他之前创办了 Petcube,卖的是给宠物扔零食的摄像头,现在做的是给占领军扔炸药的摄像头。这期播客他和 Noah Smith 聊了两个小时,核心是 FPV 穿越机怎么成了战场上的新杀器——前线 70% 到 80% 的伤亡都是它造成的。

推荐理由:The Fourth Law 创始人 Yaroslav Azhnyuk 在播客里拆解 FPV 穿越机如何成为战场主力,并梳理无人机自主化的分级与成本结构。

r/LocalLLaMA

Qwen 3.6 27B 在 24G 显存上的部署实测:后端、量化方案与参数对比

作者用一张 RTX 3090 24GB 跑 Qwen 3.6 27B,最终留用了 ik_llama.cpp 搭配 Qwen3.6-27B-MTP-IQ4_KS.gguf 这个量化版本。

推荐理由:作者在单张 RTX 3090 24GB 上实测 Qwen 3.6 27B 的多种后端与量化方案,最终选用 ik_llama.cpp 搭配 IQ4_KS 量化,为本地部署的选型提供了一份单卡实测对比。

AI HOT 精选

Grok 现在能直接看懂你上传的视频了

Grok 新增了视频理解功能,你可以把整个视频文件丢给它,让它实时分析画面、总结内容、做翻译、解释场景或提取关键上下文。它不只是看单张图片或读文字,而是能理解完整的视频。马斯克这条推文没提视频时长上限、支持哪些格式,也没说这个功能是全员推送还是灰度测试。

推荐理由:Grok 新增视频理解功能,可上传整段视频做画面分析、内容总结、翻译和场景解释,多模态能力从图片文字扩展到完整视频。

AI HOT 精选

阿里云上线 HappyHorse 视频模型,一条提示词直接出 1080p 多镜头视频

HappyHorse 现在可以在阿里云 Model Studio 上用了。它主打从文字描述一步生成 1080p 的多镜头视频,官方说法是“电影级”画质。目前有个限时 8 折活动,但正文没写原价是多少、模型参数量多大、可用区域和有效期,也没给技术细节或对比评测。我会先打个折:效果到底怎么样,得自己跑几条片子才知道。

推荐理由:阿里云在 Model Studio 上线 HappyHorse 视频模型,支持从文字描述直接生成 1080p 多镜头视频,并有限时 8 折活动,关注视频生成工具选型与云端调用成本的读者可留意。

Google DeepMind

Google DeepMind 发布 Gemini Omni Flash 视频生成模型

Google DeepMind 发布 Gemini Omni 家族首个模型 Gemini Omni Flash,可组合图像、音频、视频和文本输入生成高质量视频,并通过自然语言多轮编辑。

推荐理由:Gemini Omni Flash 把图像、音频、视频和文本组合输入与多轮对话式编辑放进同一模型,并接入 Gemini 应用、Flow 和 YouTube Shorts。

5月17日星期日

彭博科技

苹果 iOS 27 会给 Siri 加一个独立 App,聊天记录会自动删除

彭博社爆料 iOS 27 会有一个类似 ChatGPT 的 Siri 独立应用,核心卖点是聊天记录会自动清理。文章没提保留多久、什么时候上线,也没说具体功能细节。另外 Siri 这次可能还是挂着“Beta”标签,同时 Genmoji(AI 生成表情)也会升级。

推荐理由:彭博社爆料 iOS 27 将为 Siri 推出类似 ChatGPT 的独立应用,聊天记录会自动清理,隐私处理方式成为这条消息中相对具体的一层。

Google DeepMind

Google 在 Search、Gemini、Chrome 和 Pixel 扩展内容溯源与验证工具

Google 宣布在 Search、Gemini、Chrome、Pixel 和 Cloud 扩展内容透明度与验证工具,并深化行业合作。SynthID 已为超过 1000 亿张图片和视频、60000 年音频嵌入水印,Gemini 应用中的 SynthID 验证已被使用 5000 万次,该能力今日扩展到 Search、未来几周进入 Chrome。

推荐理由:Google 将 SynthID 验证从 Gemini 扩展到 Search 和 Chrome,并新增 C2PA 凭证核验,覆盖范围由此延伸到搜索、浏览器与手机拍摄环节。

量子位 · 公众号

TGO:不用人工挑好坏样本,靠一个分数就能把生图模型调得更听话

新加坡国立大学搞了个叫 TGO(阈值引导优化)的方法,被 ICML 2026 收了。它最大的好处是不需要提前构造“这张比那张好”的偏好对,直接拿一个标量分数(比如美学分、图文匹配度)就能做对齐。做法是先让模型生成一批图,算出分数的分布,定一个阈值:高于阈值的当正样本往上拉,低于的当负样本往下压。

推荐理由:新加坡国立大学的 TGO 被 ICML 2026 收录,它跳过偏好对构造,直接用美学分或图文匹配度这类标量分数定阈值来对齐视觉生成模型。

量子位 · 公众号

一只机器狗,把英伟达的算力王座拱翻了

蔚蓝科技发了款消费级机器狗 BabyAlpha A3,用六颗芯片搭了个异构计算集群,直接在本地跑 7B 参数的大模型,推理速度到 280 TPS。视觉上配了 6600 万像素的摄像头,每秒能扫出 223.2 万个点云数据点,计划第三季度上市。不过正文因为环境验证没抓到具体内容,上面这些数字都来自外部摘要,实际表现和定价还没法核实。

推荐理由:蔚蓝科技在消费级机器狗上以六颗芯片组成异构集群本地运行70亿参数模型,推理速度标称280 TPS,为端侧算力方案提供了一个具体样本。

AI HOT 精选

Grok Imagine 图像生成上线 X,所有用户都能用,但没公布模型参数和收费

Grok Imagine 在 X 上开放给所有人了,用他们最新的文本到图像模型,能生成写实风格的高质量图片,支持多种宽高比。正文没提模型参数量、是否收费、有没有地区限制,也没给生成速度或样本对比。我会先打个折:功能是开了,但关键信息全缺,别急着当主力工具。

推荐理由:Grok Imagine 在 X 上向所有用户开放文本到图像生成,支持多种宽高比,可直接在社交时间线内出图,与 Midjourney、DALL·E 的入口形成对照。

FT · 科技

FT 称中国 AI 公司在视频生成上反超美国对手,但正文被付费墙挡住,没看到具体模型和评测数据

FT 这篇文章的标题说字节跳动和快手等中国 AI 公司在视频生成领域已经领先美国对手,在广告和娱乐场景里效果更好。但点进去只看到安全验证页面,正文完全没加载出来,所以不知道他们拿什么模型比的、用的什么评测标准、样本量多大、延迟和成本怎么样。我会先打个折——标题里的“领先”目前只能当个信号看,等看到具体数据再下判断。

推荐理由:字节跳动和快手在视频生成上被指领先美国对手,广告和娱乐场景效果更好,但报道未给出模型、评测标准和样本量,这条的价值在于呈现中美多模态竞赛的一个信号。

机器之心 · 公众号

世界模型的两条路线和一场百亿赌局

这篇文章是机器之心编译自 MoE Capital 的一篇博客,梳理了“世界模型”这个概念的两条发展脉络。一条是 AI 学术圈常说的,让模型在脑子里推演环境变化、做规划;另一条来自游戏和影视工业,追求用模型直接生成逼真的 3D 世界。文章提到,过去一年半里,有超过 100 亿美元的资金涌入了这个方向。

推荐理由:机器之心编译的这篇博客梳理了世界模型的两条路线,一条来自 AI 学术圈的规划推演,一条来自游戏影视的 3D 世界生成,并提到一年半内超 100 亿美元资金涌入。

5月16日星期六

Hacker News 首页

SANA-WM:一个 26 亿参数的开源世界模型,能根据单张图片和镜头轨迹生成 1 分钟 720p 可控视频

NVIDIA 放出了一个叫 SANA-WM 的开源模型,参数规模 26 亿,主打的是用一张图加一条镜头移动路线,直接生成长达一分钟的 720p 视频。它把长视频生成拆成两步:先用一个混合线性注意力的主干网络跑出长序列粗稿,再用一个 170 亿参数的精修模型去改善纹理、动作和后半段的画质。

推荐理由:NVIDIA 开源 26 亿参数的 SANA-WM,用单张图片加镜头轨迹生成一分钟 720p 视频,其两阶段生成流程展示了长视频画质与动作一致性的处理思路。

机器之心 · 公众号

机器人为什么需要世界模型?顶尖机构联合发布综述

这篇综述正文被微信的验证页面挡住了,我没法看到具体内容。从标题和已知信息看,NTU MARS Lab 联合几家机构发了一篇 43 页的综述,讲的是机器人世界模型。世界模型可以理解成让机器人脑子里有个对物理世界的模拟器,能预判“我动一下会发生什么”,而不是每次都靠真实试错。

推荐理由:NTU MARS Lab 联合多家机构发布 43 页机器人世界模型综述,梳理世界模型如何让机器人在行动前预判物理结果,为理解具身智能的仿真训练路径提供背景。

量子位 · 公众号

浙大和微软用3000条纯文本提示词,让视频生成模型学会理解3D空间

浙大和微软搞了个叫 World-R1 的方法,拿 Wan 2.1 模型做实验,只用了大概 3000 条纯文本提示词,没加任何 3D 标注数据,就让模型生成的视频在空间一致性上好了不少。他们设计了一套叫 Flow-GRPO 的训练流程,外加四个维度的奖励信号来引导模型。

推荐理由:浙大和微软提出 World-R1,仅用约 3000 条纯文本提示词、不加 3D 标注,就让 Wan 2.1 生成的视频在空间一致性上明显改善,为缺少标注数据的视频生成团队提供了一条低成本对齐路径。

Google DeepMind

Google DeepMind 发布 Gemini 3.5 Flash

Google DeepMind 发布 Gemini 3.5 模型家族,首款 Gemini 3.5 Flash 当日上线 Gemini 应用、Google Search AI Mode、Google Antigravity、Gemini API 及 Gemini Enterprise。

推荐理由:Gemini 3.5 Flash 在编码与智能体基准上超过 Gemini 3.1 Pro,输出速度是其他前沿模型的 4 倍,发布当日即接入 Gemini 应用、搜索 AI Mode 和 Gemini API。

AI HOT 精选

Runway 推出 Agent,一次对话就能把产品图变成完整广告片

Runway 新上线的 Agent 功能,让你在同一个对话窗口里,上传产品照片、给点想法,它直接吐出一条制作完成的广告。官方帖子没提背后用的是哪款模型、怎么收费、能生成多长的视频,也没说目前开放了哪些地区。我会先打个折:如果它真能省掉剪辑和合成的环节,对做短视频广告的团队来说挺省钱,但实际效果和可控性还得看上手之后的表现。

推荐理由:Runway 上线 Agent 功能,在同一个对话窗口上传产品照片并给出想法即可生成一条完整广告,省去剪辑与合成环节,做短视频广告的团队可以据此判断制作流程能压缩到什么程度。

5月15日星期五

r/LocalLLaMA

用 Jetson Orin NX SUPER 16GB 做了个完全离线的行李箱机器人,跑 Gemma 4 E4B,没联网也能聊

一个叫 Sparky 的行李箱机器人,核心是一块 Jetson Orin NX SUPER 16GB 的板子,跑的是 Gemma 4 E4B 模型(Q4_K_M 量化版,用 q8_0 做 KV 缓存)。首次响应延迟大概 200 毫秒,生成速度每秒 14 到 15 个 token,上下文窗口 12K。

推荐理由:个人开发者用 Jetson Orin NX SUPER 16GB 在行李箱上离线跑 Gemma 4 E4B,缓存首字延迟约 200 毫秒、生成每秒 14 到 15 个 token,是单板本地推理的一份实测记录。

MIT Technology Review · AI

中国竖屏短剧正在变成 AI 内容流水线,WHO 的全球健康目标要落空了

今年 1 月,中国平均每天上线 470 部 AI 生成的竖屏短剧。制作周期从几个月压到几周,成本砍掉了九成。剧本走向也越来越依赖播放数据,而不是编剧。这个模式正在快速复制到海外,同时也在改写编剧和摄制组的工作方式。

推荐理由:中国每天上线470部AI竖屏短剧,制作周期从几个月压到几周、成本降九成,这条梳理了流水线产量与成本结构,以及剧本由播放数据主导后对编剧和摄制组工作方式的改变。

MIT Technology Review · AI

中国竖屏短剧正在变成 AI 内容流水线

中国短剧公司已经把 AI 全面塞进整部剧的制作里了。DataEye 的数据显示,2026 年 1 月平均每天有 470 部 AI 生成的短剧上线。FlexTV 的副总裁说,以前拍一部剧从构思到剪辑要三四个月,现在用 AI 不到一个月就能搞定;在北美拍一部剧的成本大概 20 万美元,AI 能把这个数字砍掉 80% 到 90%。

推荐理由:中国短剧公司把 AI 接入整部剧制作,DataEye 数据显示 2026 年 1 月日均上线 470 部 AI 短剧,制作周期从三四个月压到不足一个月,北美单剧成本可降八成到九成。