跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 221–240 条 · 共 592 条

6月7日星期日

量子位 · 公众号

快手可灵提出 VLM-as-Teacher:生成视频时让视觉模型当老师,在线微调 LoRA 来遵守文字规则

这篇文章的正文被微信环境异常页挡住了,看不到具体技术细节。从标题和现有摘要看,快手可灵和城大合作了一个叫 VLM-as-Teacher 的方法。思路是在测试阶段用视觉语言模型(VLM)给视频生成模型(VGM)的 LoRA 模块打分反馈,边生成边优化,让模型学会按文字规则推理。

推荐理由:快手可灵与城大提出 VLM-as-Teacher,在测试阶段用视觉语言模型为视频生成模型的 LoRA 提供反馈,边生成边优化,让模型按文字规则推理。

量子位 · 公众号

京东开源 JoyAI-Echo,5 分钟 AI 长视频不崩,推理速度提了 7.5 倍

京东放出了一个叫 JoyAI-Echo 的开源框架,专门解决 AI 生成 5 分钟长视频时画面容易崩、前后不一致的问题。它用跨模态记忆模块把视频里的角色、场景信息存下来,保证长镜头里不会突然变脸或换衣服。训练上用了 DMD 后训练技术,推理速度比原来快了大概 7.5 倍,生成一段视频的成本和时间都压下来了。

推荐理由:京东开源 JoyAI-Echo 框架,用跨模态记忆模块解决 5 分钟长视频角色与场景前后不一致的问题,推理速度提升约 7.5 倍。

6月6日星期六

AI HOT 精选

OpenCV 5 发布,换了一套能跑大模型的神经网络引擎

OpenCV 5 最大的变化是换了一套全新的 DNN 引擎,从原来的逐层执行改成基于计算图的架构,能做算子融合,跑 Transformer、视觉语言模型和大语言模型都成了原生能力。ONNX 算子的覆盖率从 4.x 时期不到 23% 一下子拉到 80% 以上,以前很多导不进来的模型现在能直接用了。

推荐理由:OpenCV 5 将 DNN 引擎改为计算图架构并支持算子融合,ONNX 算子覆盖率从 4.x 的不到 23% 提升到 80% 以上,原先导不进来的模型现在可直接使用。

r/LocalLLaMA

开源模型这周炸了:25+ 个开放权重模型一口气放出,覆盖文本、图像、语音

Victor M 在 X 上整理了一份清单,过去一周有超过 25 个开放权重的模型发布,几乎覆盖了所有模态。其中最扎眼的是 NVIDIA 的 Nemotron 3 Ultra,一个 550B 参数的混合架构(Mamba-MoE),每次推理只激活 55B 参数,上下文窗口能塞进 100 万个 token。

推荐理由:过去一周开放权重模型发布超过 25 个,覆盖文本、图像、语音等模态,其中 NVIDIA 的 Nemotron 3 Ultra 以 550B 参数、55B 激活和 100 万 token 上下文,展示了混合架构的当前规模。

机器之心 · 公众号

大晓机器人和南洋理工发布 PhysX-Omni,一个框架直接生成能进仿真器跑的 3D 物体

这篇推文本身因为微信环境验证没抓到正文,我只能根据标题和已有英文摘要来说。PhysX-Omni 是一个 3D 生成框架,特点是生成出来的模型不是只能看,而是直接带物理属性,能区分刚体、软体和带关节的物体,扔进仿真器就能跑。配套的数据集 PhysXVerse 有超过 8700 个物理 3D 资产,覆盖 2900 多个类别。

推荐理由:大晓机器人与南洋理工发布的 PhysX-Omni 让生成的 3D 物体自带物理属性,可直接进仿真器运行,配套 PhysXVerse 含 8700 多个物理资产、覆盖 2900 多个类别。

机器之心 · 公众号

视频AI能一次生成5分钟了,京东开源JoyAI-Echo,告别抽卡式出片

京东放出了JoyAI-Echo,一个能一口气生成最长5分钟视频加音频的框架,而且全量开源。它主打跨镜头画面和声音的一致性,支持局部重绘,用8步DMD蒸馏来提速,最高能输出1472×2560分辨率的片子。不过原文因为微信环境验证没过去,具体效果和实测数据暂时看不到,这点先别太激动。

推荐理由:京东开源JoyAI-Echo,可一次生成最长5分钟带音频的视频,并支持跨镜头画面与声音一致性,为长视频生成提供了一条可复用的开源路径。

AI HOT 精选

Google AI 本周连发六弹:笔记本能跑的多模态模型、帮你读论文的科研助手、还有开源实时音乐模型

Google AI 这周一口气更新了六样东西。Nano Banana 2 和 Pro 版正式上线,走 Gemini 企业平台、API 和 AI Studio 就能用。Co-Scientist 是一个多智能体系统,专门帮科研人员自动生成和优化新假设,相当于有个助手帮你读文献、想点子。

推荐理由:Google AI 一周内上线 Nano Banana 2 与 Pro、多智能体科研助手 Co-Scientist 等六项更新,覆盖多模态生成与科研假设优化,可快速了解其产品线的最新布局。

AI HOT 精选

Gemini Live 现在能边聊边改图,摄像头对着什么就实时生成新画面

Gemini 应用里的 Live 模式加了实时生图和编辑功能。你打开摄像头,告诉它你想看到什么,它就能当场改画面,比如换墙色、加家具、把眼前场景变成梗图。正文没提生成一张图要多久、支持哪些画风,也没说免费额度怎么算。

推荐理由:Gemini 应用里的 Live 模式新增实时生图和编辑,打开摄像头说出想要的画面就能当场改动,例如换墙色、加家具或把眼前场景变成梗图。

Hacker News 首页

General Instinct 开源 InstinctRazor:把 245GB 的大模型压到 48GB,能在本地设备上跑

General Instinct 开源了 InstinctRazor,一个专门给边缘设备用的模型压缩方案。他们拿 Qwen3.5-122B-A10B 开刀,这个模型原本是 BF16 格式的混合专家模型(MoE),体积大约 245GB。

推荐理由:General Instinct 开源了面向边缘设备的压缩方案 InstinctRazor,把 245GB 的 Qwen3.5-122B-A10B 混合专家模型压到 48GB,关注本地部署大模型的团队可参考其压缩路径。

6月5日星期五

AI HOT 精选

Meta 把未启用的人脸识别代码塞进了智能眼镜 App,已推送到超 5000 万台设备

安全研究员从 Meta 智能眼镜的配套 App 里拆出了一套叫 NameTag 的人脸识别功能代码。这套代码虽然没开启,但核心组件已经通过应用更新,静默分发到了下载量超 5000 万次的设备上。它的工作流程是:用三个 AI 模型分别完成人脸检测、图像裁剪和把人脸转成生物特征模板(faceprints),然后跟手机本地数据库做比对。

推荐理由:安全研究员从 Meta 智能眼镜 App 中拆出未启用的人脸识别代码 NameTag,其核心组件已随应用更新静默分发至超 5000 万次下载的设备,可了解该功能的三模型本地比对流程。

r/LocalLLaMA

微软没出 Qwen3.6-27B 或 Gemma-4-31B 这种尺寸的模型,而是发了一组 MAI 系列

Reddit 上有人吐槽微软应该发类似 Qwen3.6-27B 或 Gemma-4-31B 这种中等体量的开源模型,结果他们放出来的是七个 MAI 模型。其中 MAI-Thinking-1 参数规模标的是 1T A35B,上下文窗口 256K;MAI-Code-1-Flash 是 137B A5B,同样 256K 窗口。

推荐理由:微软一次发布七个 MAI 模型,含 1T A35B 的推理版和 137B A5B 的代码版,均支持 256K 上下文,与社区期待的中等体量开源模型形成对照。

机器之心 · 公众号

东南大学和北大搞了个机器人精细操作评测框架,说传统只看成功率的办法会把能力高估七成

这篇推文本身被微信的环境验证挡住了,正文内容没抓到。从标题和已有的英文摘要看,MetaFine 是一个诊断式的元评测框架,专门拆开看机器人在精细操作上的理解、感知和行为三个环节,而不是只给一个“成功/失败”的二元结果。研究团队说,传统只看最终成功率的评测方式,对精细操作能力的评估会虚高最多 70%。具体怎么测的、用了哪些任务和模型,正文没披露,没法展开。

推荐理由:东南大学与北大团队提出 MetaFine 元评测框架,把机器人精细操作拆成理解、感知、行为三个环节诊断,并指出只看成功率的传统评测会将能力高估最多七成。

量子位 · 公众号

姚顺雨现身腾讯云大会,回应腾讯 AI 落后质疑

姚顺雨在腾讯云 AI 产业应用大会上说,混元 3 把预训练和强化学习的基础设施重做了一遍,数据和评估方式也换了,还把最强的后训练人员先调去改进元宝。他点名代码 agent、多模态和具身智能是腾讯接下来的重点方向。

推荐理由:姚顺雨在腾讯云大会上回应AI落后质疑,并说明混元3重做了预训练与强化学习基础设施,还提到后训练人员先调去改进元宝,由此可了解腾讯当前的资源分配与重点方向。

AI HOT 精选

Google 开源了实时音乐模型 MRT2,在 MacBook 上延迟不到 200 毫秒

Google AI for Developers 放出了一个叫 Magenta RealTime 2(MRT2)的实时音乐模型,权重开放,推理引擎也开源了。你可以用 MIDI 键盘弹、打字给提示词,甚至用手势控制它来生成音乐。它在 MacBook 上原生跑,延迟压到了 200 毫秒以内,这个速度对实时演奏来说基本跟手。

推荐理由:Google 开源 Magenta RealTime 2 的权重与推理引擎,支持 MIDI、提示词和手势生成音乐,在 MacBook 上原生运行延迟低于 200 毫秒。

AI HOT 精选

Boson AI 与 LMSYS 发布基于 SGLang-Omni 的 Higgs Audio v3 TTS 端到端服务

Higgs Audio v3 TTS 是 Boson AI 的语音合成模型,参数量大约 4B,底层用了 Qwen3-4B。它支持 100 种语言,在内部测试集上词错率/字错率能压到个位数。这个模型专门为语音助手那种边说边生成的场景设计,不等句子结束就能开始合成,后续文本到了还能保持声音、情绪和节奏连贯。

推荐理由:Boson AI 与 LMSYS 把 4B 参数的 Higgs Audio v3 TTS 接入 SGLang-Omni 做端到端服务,支持 100 种语言,并针对语音助手边说边生成的流式场景优化声音与情绪连贯性。

6月4日星期四

AI HOT 精选

neolab 发布 Nex-N2-Pro,一个 397B 参数的混合专家推理模型,跑分自称摸到 GPT-5.5 水平

这个模型基于 Qwen3.5-397B-A17B 改造,总参数量 397B,用了混合专家架构(MoE,把任务分给不同子模型处理,省算力)。它能处理 26 万多字的长上下文,也支持图像识别。

推荐理由:neolab 发布基于 Qwen3.5 改造的 397B 参数 MoE 推理模型,支持 26 万字长上下文与图像识别,跑分自称达到 GPT-5.5 水平。

新智元 · 公众号

分子之心发布 MMDesign,声称靶点命中率超过 90%

分子之心推出了一个叫 MMDesign 的 AI 平台,专门用来从头设计生物大分子药物。他们在 12 个治疗靶点上做了测试,每个靶点只挑了 14 到 50 个分子去做湿实验验证,结果有 11 个靶点都测出了特异性结合,算下来靶点成功率超过了 90%。

推荐理由:分子之心发布 MMDesign 平台,在 12 个治疗靶点上各用 14 到 50 个分子做湿实验,11 个靶点测出特异性结合,AI 从头设计大分子的早期验证规模由此有了具体参照。

新智元 · 公众号

MiniMax M3 在开源模型榜冲上第一,硅谷 CEO 深夜转发,但中文社区对实际表现吵起来了

MiniMax 的新模型 M3 在第三方评测平台 Artificial Analysis 的开源榜单上排到了第一。文章说它支持一次性处理 100 万 token 的上下文,预训练用了百 T 级别的数据,并承诺在 10 天内开源模型权重和完整技术报告。

推荐理由:MiniMax M3 在 Artificial Analysis 开源榜单排到第一,支持 100 万 token 上下文、百 T 级预训练数据,并承诺 10 天内开源权重与技术报告。

机器之心 · 公众号

谷歌放出 Gemma 4 12B,120 亿参数模型能在 16G 显存的笔记本上跑

谷歌发了 Gemma 4 系列的新成员,一个 120 亿参数的中等尺寸模型。它主打本地运行,16GB 显存或统一内存的笔记本就能带起来。架构上没走传统多模态那套编码器路线,直接原生支持音频输入,还带了一个叫 MTP 的推测解码模块来压延迟。模型用 Apache 2.0 协议开源。

推荐理由:谷歌发布 120 亿参数的 Gemma 4 新成员,16GB 显存笔记本即可本地运行,并原生支持音频输入,为关注本地部署的开发者提供了新的开源选项。

量子位 · 公众号

CVPR 2026 上,小鹏给英伟达、特斯拉和 Waymo 讲了一遍自己的物理 AI 技术栈

小鹏在 CVPR 2026 上公开了他们的世界模型技术栈,包含 X-World、X-Foresight 和 X-Cache 三个部分。X-Cache 能砍掉约 70% 的重复计算,相当于让模型推理时少做无用功。第二代 VLA 模型用了超过 4 万亿个 token 训练,这个量级说明训练数据投入很大。

推荐理由:小鹏在 CVPR 2026 公开世界模型技术栈,X-Cache 可减少约七成重复计算,第二代 VLA 用超 4 万亿 token 训练,为端侧模型推理优化提供可参考的工程路径。