跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 301–320 条 · 共 592 条

5月26日星期二

阿里技术 · 公众号

南大和阿里发现 DiT 里的残差流拖慢收敛,改用跨层路由后训练快了近 9 倍

南京大学 LAMDA 组和阿里智能引擎团队提出了一种叫 DAR 的方法,把 DiT 模型里固定的残差累积,换成了按时间步动态选择路径的跨层路由。在 ImageNet 256×256 上拿 SiT-XL/2 试,FID 从 9.67 降到了 7.56,而且只用原来大约九分之一的训练步数就达到了同等收敛质量。

推荐理由:南大 LAMDA 与阿里团队把 DiT 固定的残差累积换成按时间步动态选路的跨层路由,在 ImageNet 上以约九分之一训练步数达到同等收敛质量。

量子位 · 公众号

浙大和阿里给生图模型加了个“先想再画”的模块,画数独、烧蜡烛这类精细活终于不翻车了

这篇论文提出了一个叫 Unified Thinker 的独立规划模块,专门解决生图模型一遇到需要精确空间推理的任务就乱来的问题。它不像以前那样让模型边想边画,而是把“思考”和“执行”拆开:先让模型生成结构化的推理步骤,再把这些步骤翻译成具体的视觉指令去生图。

推荐理由:浙大和阿里为生图模型提出 Unified Thinker 规划模块,把思考与执行拆开,先产出结构化推理步骤再转成视觉指令,可用于了解提升精细空间任务可靠性的思路。

AI HOT 精选

Grok Build 测试版上线,SuperGrok 用户能直接用它做图、剪视频和跑自动化脚本

xAI 把 Grok Build 的测试版开放给了所有 SuperGrok 和 X Premium+ 用户。这次主要给了三个东西:Plan Mode 可以分步骤拆解任务;Imagine 模块能直接生成图片和视频;还有一个命令行工具(CLI),方便你把 Grok 接进自动化流程或者编排器里干活。想试的话去 x.ai/cli 就能开始。

推荐理由:xAI 将 Grok Build 测试版开放给 SuperGrok 和 X Premium+ 用户,提供分步拆解任务的 Plan Mode、生成图片视频的 Imagine 模块以及可接入自动化流程的命令行工具。

5月25日星期一

r/LocalLLaMA

NuExtract3 发布:一个 4B 开源视觉模型,能把图片和文字转成 Markdown、做 OCR 和按模板抽信息,自己电脑就能跑

Numind 放出了 NuExtract3,一个基于 Qwen3.5-4B 的开源视觉语言模型,用 Apache-2.0 协议。它主要干三件事:把图片或文字转成 Markdown 格式、从图片里直接识别文字(OCR)、以及按你给的 JSON 模板把非结构化内容抽成结构化数据。模型只有 4B 参数,对硬件要求不高,官方说最低 4GB 显存就能在本地部署。

推荐理由:Numind 开源了 4B 视觉模型 NuExtract3,可把图片文字转成 Markdown、做 OCR 并按 JSON 模板抽取结构化数据,最低 4GB 显存即可本地部署。

机器之心 · 公众号

众趣科技开源浏览器端3D高斯泼溅查看器,10亿个高斯点也能跑,内存和速度都比李飞飞团队的Spark 2.0强

众趣科技把他们的Aholo Viewer开源了,这是一个在浏览器里直接看3D高斯泼溅场景的工具。在300万个高斯点的测试里,它占用的内存只有Spark 2.0的一半,加载速度快了一倍,渲染速度快了两倍,而且宣称能撑住10亿个高斯点的场景。

推荐理由:众趣科技开源浏览器端3D高斯泼溅查看器Aholo Viewer,300万高斯点测试中内存占用为Spark 2.0的一半、加载快一倍、渲染快两倍,并称可支撑10亿点场景。

5月24日星期日

机器之心 · 公众号

ICML 2026 中了一篇让视觉模型学会“多条思路并行思考”的论文,但正文被验证页挡住了

这篇被 ICML 2026 接收的论文叫 Visual Para-Thinker,给视觉语言模型加了一套并行思考框架。核心是用 Pa-Attention 和 LPRoPE 把视觉推理拆成四条独立路径,让模型同时从不同角度理解图像,再综合出答案。训练数据是 16.3 万组问答对,规模不算大,所以泛化能力得打个问号。

推荐理由:ICML 2026 接收的 Visual Para-Thinker 用 Pa-Attention 和 LPRoPE 把视觉推理拆成四条并行路径,训练数据为 16.3 万组问答对。

新智元 · 公众号

Anthropic 三张底牌全翻:Mythos 1 首次现身,Opus 4.8 被扒出

Anthropic 的新模型和项目被提前曝光了。claude-opus-4.8 的名字出现在 Google Vertex AI 平台上,同时一份 59.8MB 的 Claude Code 源码映射文件泄露,里面 51.2 万行 TypeScript 代码不仅提到了 Sonnet 4.8,还带出了 Mythos 1 的线索。

推荐理由:Anthropic 尚未发布的 claude-opus-4.8 出现在 Google Vertex AI 平台,一份 59.8MB 的 Claude Code 源码映射文件又带出 Sonnet 4.8 与 Mythos 1 的线索,呈现其产品线命名与迭代节奏。

r/LocalLLaMA

视觉模型直接读 PDF vs 先 OCR 再问答:一次长文档实测

作者用 Claude Sonnet 4.5 跑了 MMLongBench-Doc 里的 30 份带图、带表格的 PDF,共 171 道题,对比两种路线:让模型直接看 PDF 画面,和先用 OCR 把文档转成文字再喂给模型。直接看 PDF 的准确率只有 52.0%,在六套方案里排第五,每次查询成本 0.2552 美元。

推荐理由:作者用 Claude Sonnet 4.5 在 MMLongBench-Doc 的 30 份带图表 PDF 上对比直接读画面与先 OCR 再问答,直接读的准确率为 52.0%,单次查询成本 0.2552 美元。

5月23日星期六

机器之心 · 公众号

FlashAR 用 0.05% 的训练数据,把自回归图像模型的生成速度提了 22.9 倍

浙大和阿德莱德大学搞了个 FlashAR,专门给预训练好的自回归图像模型加速。拿 Emu3.5-Image-34B 试了一下,生成一张 512×512 的图,原来要 130.10 秒,现在只要 5.68 秒,快了 22.9 倍。而且只用了原始训练数据量的 0.05% 做微调,GenEval 分数从 80.48 变成 80.29,画质基本没掉。

推荐理由:浙大与阿德莱德大学提出 FlashAR,仅用原始训练数据 0.05% 微调,就把 Emu3.5-Image-34B 生成 512×512 图像从 130.10 秒压缩到 5.68 秒。

The Verge · AI

上手 Gemini Omni:什么都能转什么都能生,我先拿毛绒玩具试了试

作者去年用 Gemini 给儿子的毛绒鹿做过一段度假视频,没给孩子看,但这件事让他反复琢磨“无害的 AI 乐子”和“纯 AI 垃圾”之间的那条线。这次上手 Gemini 的“任意输入、任意输出”新模型,他再次拿那只毛绒鹿做了一段 deepfake 视频,发现生成逼真视频的工具已经好用到几乎不需要技术门槛,而且这个趋势还在加速。

推荐理由:The Verge 作者用一张毛绒鹿照片上手 Gemini 任意输入任意输出模型,生成逼真视频几乎不需技术门槛,生成工具的门槛正在快速降低。

r/LocalLLaMA

美团 LongCat 放出视频数字人模型 1.5 版,换用 Whisper 做语音驱动,推理步数压到 8 步

美团 LongCat 在 Hugging Face 上发了 LongCat-Video-Avatar-1.5,模型权重用 MIT 协议开源。它能做音频驱动视频、音频加图片驱动视频,还能接着一段视频往后生成。这版把语音编码器从 Wav2Vec2 换成了 Whisper-Large,理论上对语音的理解会更准。

推荐理由:美团 LongCat 开源了视频数字人模型 1.5 版,权重用 MIT 协议,语音编码器由 Wav2Vec2 换成 Whisper-Large,推理步数压到 8 步。

AI HOT 精选

Gemini 月活破 9 亿,新增两个能替你干活的代理功能

Google 说 Gemini 应用月活用户超过 9 亿了。这次更新把 Gemini 从问答工具往主动干活的个人代理方向推了一步。新模型叫 Gemini 3.5 Flash,还换了套叫“Neural Expressive”的设计语言,另外 Gemini Omni 模型能把提示词直接生成视频。

推荐理由:Google 将 Gemini 应用月活做到 9 亿,同时上线 Daily Brief 和 Gemini Spark 两个代理功能,后者可在用户授权下持续跑任务,呈现大厂用自家分发渠道推代理产品的路径。

5月22日星期五

TechCrunch · AI

Google 的 AI 眼镜我们上手试了,离好用就差一口气

Google 在 I/O 大会上给了一小段上手时间,试的是带显示功能的 Android XR 眼镜,不是今年秋天只出声的那款。镜片上能直接叠一层信息,比如天气、步行导航、打车详情和实时翻译,还能用 AI 自己捏小组件。眼镜会同时支持 iPhone 和安卓手机。但正文没提价格、什么时候开卖、续航和具体硬件参数,所以现在只能算工程机阶段,别急着掏钱。

推荐理由:Google 在 I/O 上开放了带显示 Android XR 眼镜的短时上手,镜片能叠加导航、翻译等信息,并同时支持 iPhone 与安卓手机。

AI HOT 精选

Project Genie 接入谷歌街景,能把美国真实地点变成可交互世界

Project Genie 和谷歌地图街景打通了,现在你可以把美国真实地点直接转成能走进去玩的交互式世界。正文没披露具体支持哪些城市、生成机制、收费方式,也没说开放范围有多大。

推荐理由:Project Genie 打通谷歌街景,把美国真实地点直接转成可走进的交互式世界,省去手工建模这一步,为仿真和世界模型提供现成环境来源。

AI HOT 精选

网易有道把“子曰4”的多模态模型和语音合成模型都开源了

这次开源的是一个270亿参数的多模态模型和一个语音合成模型。多模态模型主要针对教育场景,能看懂带图表的数学题,在纯中文数理难题上准确率81.4%。团队用精简过的推理样本做训练,把模型思考过程的输出长度压缩了43.2%,所以回答同样的问题,吐出的token更少、推理更快,直接效果就是推理成本会降下来。

推荐理由:网易有道开源270亿参数多模态模型与语音合成模型,前者面向教育场景,在纯中文数理难题上准确率达81.4%,训练中压缩思考过程输出长度43.2%,推理成本随之下降。

Hacker News 首页

宾州一所高中被 AI 换脸裸照撕裂

404 Media 报道,宾州拉德诺高中一名高一男生花了 250 美元订阅 App Store 里的 Movely 应用,把五名女同学的脸贴到裸体上,生成了 AI 儿童性虐待材料。事情发生在 2025 年 12 月,男生事后用学校发的设备在 Snapchat 上跟朋友说“每一分钱都花得值”,第二天他没去上学,但女生们去了,还发现男生们在替他打掩护。

推荐理由:宾州拉德诺高中一名高一男生花250美元订阅应用,把五名女同学的脸贴到裸体上生成AI儿童性虐待材料,事件在校园内持续发酵。

机器之心 · 公众号

CVPR 2026 | HiF-VLA:用视频压缩的思路教机器人“边看动作边想下一步”

西湖大学团队搞了个叫 HiF-VLA 的框架,核心想法是把机器人看世界的方式从“一帧帧静态图”换成“画面怎么动的”。它直接用 H.264 这类视频编码器从画面里提取紧凑的运动向量,再让一个联合专家模型同时预测未来的视觉动态和该做的动作序列。论文里给的数据是,在设定的历史窗口下,显存峰值 31.4GB,延迟 117.7 毫秒。

推荐理由:西湖大学团队提出 HiF-VLA,用 H.264 运动向量替代逐帧视觉编码,并让联合专家模型同时预测视觉动态与动作序列,显存峰值 31.4GB、延迟 117.7 毫秒。

机器之心 · 公众号

Meta 华人团队发布 ATLAS:用一个词让视觉模型学会可泛化的推理

Meta AI 和港中文的研究者搞了个叫 ATLAS 的方法,核心是在视觉语言模型里塞一个“功能词”(Functional Token),让模型能同时走两条路:一条是显式的、一步步调用工具去操作图像(Agentic 推理),另一条是隐式的、在内部潜空间里直接算(Latent 推理)。

推荐理由:Meta AI 与港中文提出 ATLAS,在视觉语言模型中加入功能词,使同一次推理可切换显式调用工具与潜空间内部计算两条路径。

AI HOT 精选

可塑界面:AI 让软件界面按需变形,不再只有一种固定样子

Salesforce 已经“砍掉”了传统界面,销售不用登录网站就能通过 AI 更新交易记录。作者把这种趋势叫做“可塑界面”——AI 能根据你当下在干嘛,动态生成最适合的交互形式,比如开车时给你念邮件摘要、审文案时弹出网页应用、做预算时直接给个带图表的表格。

推荐理由:Salesforce 已让销售不登录网站、通过 AI 更新交易记录,作者据此提出可塑界面,即界面按当下场景动态生成,为理解软件交互形态提供一种新视角。

AI HOT 精选

Runway 上线 Aleph 2.0 和 Edit Studio,把生成、剪辑、后期塞进一个平台

Runway 把新模型 Aleph 2.0 直接做成了一个叫 Edit Studio 的剪辑工具,主打用自然语言改视频,改之前还能先预览效果。从页面看,它把视频生成、多镜头合成、场景搭建、画质增强、动作捕捉和物体移除这些功能都打包在一起了,想覆盖从创意到出片的完整流程。

推荐理由:Runway 将新模型 Aleph 2.0 做成 Edit Studio 剪辑工具,支持自然语言改视频并先预览效果,同时打包生成、合成、增强、动捕与物体移除,覆盖从创意到出片的完整流程。