跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

514 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 141–160 条 · 共 514 条

6月8日星期一

FT · 科技

FT 报道称 AI 监控技术突破让克里姆林宫警觉,但正文被付费墙拦截,关键细节缺失

FT 这篇文章的标题和摘要片段提到,AI 能利用闭路电视画面识别目标,俄罗斯在伊朗最高领袖遇刺后暂停了一套监控系统。但文章正文返回了 403 错误,被付费墙挡在外面,所以系统名称、模型机制、供应商和时间线这些核心信息都没法核实。目前能看到的只有 RSS 摘要里的那几句,我会先打个折:标题里的“突破”和“警觉”听起来很重,但没看到具体技术方案和验证数据之...

推荐理由:FT 的标题和摘要片段提到 AI 能利用闭路电视画面识别目标,俄罗斯在伊朗最高领袖遇刺后暂停了一套监控系统。但文章正文返回了 403 错误,被付费墙挡在外面,所以系统名称、模型机制、供应商和时间线这些核心信息都没法核实。目前能看到的只有 RSS 摘要里的那几句,我会先打个折:标题里的“突破”和“警觉”听起来很重,但没看到具体技术方案和验证数据之前,只能当一条有悬念的线索。

6月7日星期日

AI HOT 精选

北海道农民雇了个叫 Codex 的工程师,用 AI 干了 8 件农活

北海道农民富安弘毅把 ChatGPT 和 Codex 当工程师用,做了 8 件事:拍照识别西兰花病害、用卫星 NDVI 数据看作物长势、拿 ESP32 加 LINE 机器人远程开关温室卷帘、给农场群聊写了个管温度和排期的机器人、从聊天记录里自动统计播种数量、研究 RTK-GPS 自动转向原理并算了自建要花多少钱、用 Airtable 搭了农场管理数据库...

推荐理由:我会先打个折:全文只有一个人、一个农场,没有产量对比或省了多少工时的数字,所以不能当行业证据用。但它的价值不在严谨,而在把 AI 写代码这件事从屏幕拉到了泥地里——一个农民没找外包、没学编程,直接用 Codex 做出了 8 个能跑的工具。这种'非程序员用 AI 写代码干物理世界的活'的案例现在还很少,对国内做 agent 和 coding 方向的人是个挺新鲜的参照。

量子位 · 公众号

快手可灵提出 VLM-as-Teacher:生成视频时让视觉模型当老师,在线微调 LoRA 来遵守文字规则

这篇文章的正文被微信环境异常页挡住了,看不到具体技术细节。从标题和现有摘要看,快手可灵和城大合作了一个叫 VLM-as-Teacher 的方法。思路是在测试阶段用视觉语言模型(VLM)给视频生成模型(VGM)的 LoRA 模块打分反馈,边生成边优化,让模型学会按文字规则推理。他们搞了个 VBVR-Bench 基准,分数从 0.666 提到了 0.781...

推荐理由:正文被微信环境异常页挡住了,看不到技术细节,这点先打个折。但从标题和摘要看,快手可灵和城大搞的 VLM-as-Teacher,思路是在测试阶段让视觉语言模型给视频生成模型的 LoRA 打分,边跑边调,让模型学会按文字规则推理。VBVR-Bench 上分数从 0.666 提到 0.781,说明规则遵循能力有明显提升。方法本身有巧思,不是换模型架构,而是在推理时加一层在线优化,对可控视频生成是个实用方向。信息缺口在于没看到具体实现和消融实验,等正文能看了再补判断。

量子位 · 公众号

京东开源 JoyAI-Echo,5 分钟 AI 长视频不崩,推理速度提了 7.5 倍

京东放出了一个叫 JoyAI-Echo 的开源框架,专门解决 AI 生成 5 分钟长视频时画面容易崩、前后不一致的问题。它用跨模态记忆模块把视频里的角色、场景信息存下来,保证长镜头里不会突然变脸或换衣服。训练上用了 DMD 后训练技术,推理速度比原来快了大概 7.5 倍,生成一段视频的成本和时间都压下来了。输出端还做了实时超分,能把 720P 画面直接...

推荐理由:我会先打个折:正文没提第三方评测或用户实测,所有性能数据都来自京东自己,所以效果得等上手再看。但这条消息本身有料——JoyAI-Echo用记忆模块存角色和场景信息,解决长视频变脸换衣服的老毛病,推理还快了7.5倍,成本往下走。对做视频生成的团队来说,开源就意味着能拿来改、能压成本,这点挺实在。先给80分,等有实测对比再往上调。

6月6日星期六

AI HOT 精选

OpenCV 5 发布,换了一套能跑大模型的神经网络引擎

OpenCV 5 最大的变化是换了一套全新的 DNN 引擎,从原来的逐层执行改成基于计算图的架构,能做算子融合,跑 Transformer、视觉语言模型和大语言模型都成了原生能力。ONNX 算子的覆盖率从 4.x 时期不到 23% 一下子拉到 80% 以上,以前很多导不进来的模型现在能直接用了。另外硬件加速层也重新整理了,厂商可以直接插优化后的计算内核...

推荐理由:HKR 三项都站得住:OpenCV 加原生大模型支持是个实打实的跨界信号,计算图引擎和 ONNX 覆盖率暴涨是硬核知识增量,本地推理和兼容性又切中部署痛点。作为大版本更新,重要性够上 featured,但还没到模型实验室发新作那种必写级别。

r/LocalLLaMA

开源模型这周炸了:25+ 个开放权重模型一口气放出,覆盖文本、图像、语音

Victor M 在 X 上整理了一份清单,过去一周有超过 25 个开放权重的模型发布,几乎覆盖了所有模态。其中最扎眼的是 NVIDIA 的 Nemotron 3 Ultra,一个 550B 参数的混合架构(Mamba-MoE),每次推理只激活 55B 参数,上下文窗口能塞进 100 万个 token。不过正文被 Reddit 的安全策略拦住了,具体还...

推荐理由:我会先打个折:消息源是 X 上的个人整理,Reddit 原文还被安全策略拦了,具体细节没法交叉验证。但一周 25+ 个开放权重模型这个密度本身就值得关注,NVIDIA 那个 550B 的 Nemotron 用 Mamba-MoE 架构,激活参数只有 55B,上下文能塞 100 万 token,如果实测靠谱,推理成本会省不少。这点先别太激动,等完整评测出来再说。

机器之心 · 公众号

大晓机器人和南洋理工发布 PhysX-Omni,一个框架直接生成能进仿真器跑的 3D 物体

这篇推文本身因为微信环境验证没抓到正文,我只能根据标题和已有英文摘要来说。PhysX-Omni 是一个 3D 生成框架,特点是生成出来的模型不是只能看,而是直接带物理属性,能区分刚体、软体和带关节的物体,扔进仿真器就能跑。配套的数据集 PhysXVerse 有超过 8700 个物理 3D 资产,覆盖 2900 多个类别。对做机器人仿真的人来说,省掉了手...

推荐理由:标题说打通全链路,但正文没抓到,只能按摘要判断。PhysX-Omni 解决的是仿真资产从能看升级到能跑的问题,省掉了手动标物理属性的脏活。8700+ 资产和 2900+ 类别说明数据集有一定覆盖面,不过没披露资产质量、仿真精度和实际跑分,效果还得等模型放出来再看。大晓机器人和南洋理工的组合在机器人圈有认知度,但放到整个 AI 圈声量中等,所以卡在 featured 门槛上。

机器之心 · 公众号

视频AI能一次生成5分钟了,京东开源JoyAI-Echo,告别抽卡式出片

京东放出了JoyAI-Echo,一个能一口气生成最长5分钟视频加音频的框架,而且全量开源。它主打跨镜头画面和声音的一致性,支持局部重绘,用8步DMD蒸馏来提速,最高能输出1472×2560分辨率的片子。不过原文因为微信环境验证没过去,具体效果和实测数据暂时看不到,这点先别太激动。

推荐理由:JoyAI-Echo把长视频生成的门槛拉到了5分钟,而且代码全放出来,不是只发篇论文。跨镜头画面和声音一致性、局部重绘、8步蒸馏提速这些点都踩在视频AI从业者的痛点上。不过原文因为微信环境验证没过去,具体效果和实测数据暂时看不到,这点先别太激动。单源覆盖、没有独立评测,分数放在78–84区间比较合理。

AI HOT 精选

Google AI 本周连发六弹:笔记本能跑的多模态模型、帮你读论文的科研助手、还有开源实时音乐模型

Google AI 这周一口气更新了六样东西。Nano Banana 2 和 Pro 版正式上线,走 Gemini 企业平台、API 和 AI Studio 就能用。Co-Scientist 是一个多智能体系统,专门帮科研人员自动生成和优化新假设,相当于有个助手帮你读文献、想点子。Google Labs 出了个 dreambeans,会扒你的 Goog...

推荐理由:HKR 三项都踩中了:帖子一口气打包了 Google AI 六个更新,本地部署和开源这两个点对从业者很实在。正文没给基准测试、授权条款和定价细节,所以分数卡在 76,没往上走。

AI HOT 精选

Gemini Live 现在能边聊边改图,摄像头对着什么就实时生成新画面

Gemini 应用里的 Live 模式加了实时生图和编辑功能。你打开摄像头,告诉它你想看到什么,它就能当场改画面,比如换墙色、加家具、把眼前场景变成梗图。正文没提生成一张图要多久、支持哪些画风,也没说免费额度怎么算。

推荐理由:Gemini Live 现在能边看边改图了,你开着摄像头说“把墙刷成蓝色”或者“加个沙发”,它当场给你变出来。这功能听着挺唬人,但正文没交代生成延迟、画风支持范围,也没提免费额度,所以实际用起来卡不卡、花不花钱,都得打个问号。HKR 全过:标题有实时交互的噱头,操作门槛低到只剩张嘴,而且直接冲着修图软件和创意工具去的,竞争味很浓。

Hacker News 首页

General Instinct 开源 InstinctRazor:把 245GB 的大模型压到 48GB,能在本地设备上跑

General Instinct 开源了 InstinctRazor,一个专门给边缘设备用的模型压缩方案。他们拿 Qwen3.5-122B-A10B 开刀,这个模型原本是 BF16 格式的混合专家模型(MoE),体积大约 245GB。压缩后变成一个 48GiB 的 GGUF 文件,比 Gemma-4-26B-A4B 还小,但在 MMLU-Pro 和 G...

推荐理由:我会先打个折:这是 YC 的 Launch HN,不是独立评测,性能数据得等第三方复现。但亮点很实在——把一个 245GB 的 MoE 模型压到 48GiB,还能在消费级显存上跑 8k 上下文。正文没披露压缩后推理速度有多快,也没说 MMLU-Pro 具体掉了多少分,这点先别太激动。不过思路本身对想在本地跑大模型的团队挺省钱,所以放在 featured 合适。

6月5日星期五

AI HOT 精选

Meta 把未启用的人脸识别代码塞进了智能眼镜 App,已推送到超 5000 万台设备

安全研究员从 Meta 智能眼镜的配套 App 里拆出了一套叫 NameTag 的人脸识别功能代码。这套代码虽然没开启,但核心组件已经通过应用更新,静默分发到了下载量超 5000 万次的设备上。它的工作流程是:用三个 AI 模型分别完成人脸检测、图像裁剪和把人脸转成生物特征模板(faceprints),然后跟手机本地数据库做比对。识别成功会弹通知,没认...

推荐理由:这篇东西挖出了 Meta 智能眼镜 App 里藏着的 NameTag 人脸识别代码,虽然没开启,但核心组件已经通过更新静默塞进了超 5000 万次下载的设备里。我会先打个折:它毕竟不是官方发布或重大事故,只是一篇基于代码拆解的深度报道,所以重要性我给到 82,刚好跨过 featured 门槛。HKR 三条全过:热点是隐藏代码加 5000 万设备规模,知识量有三模型本地比对的具体流程,关联度则踩中了中美算力差距和效率竞赛的从业者神经。正文没确认功能已对用户开放,所以分数没再往上拉。

r/LocalLLaMA

微软没出 Qwen3.6-27B 或 Gemma-4-31B 这种尺寸的模型,而是发了一组 MAI 系列

Reddit 上有人吐槽微软应该发类似 Qwen3.6-27B 或 Gemma-4-31B 这种中等体量的开源模型,结果他们放出来的是七个 MAI 模型。其中 MAI-Thinking-1 参数规模标的是 1T A35B,上下文窗口 256K;MAI-Code-1-Flash 是 137B A5B,同样 256K 窗口。帖子正文被网络策略挡了,看不到更...

推荐理由:微软一口气放出 7 个 MAI 模型,带推理和代码变体,256K 上下文窗口,信息量够得上 HKR-K 和 R。帖子拿 Qwen3.6 和 Gemma-4 当参照物,说微软早该发这类中型模型,这个追赶角度撑起了 H。不过来源是 Reddit 吐槽帖,正文还被网络策略挡了,缺基准测试、许可证和定价细节,所以停在 featured 档,上不了 P1。

机器之心 · 公众号

东南大学和北大搞了个机器人精细操作评测框架,说传统只看成功率的办法会把能力高估七成

这篇推文本身被微信的环境验证挡住了,正文内容没抓到。从标题和已有的英文摘要看,MetaFine 是一个诊断式的元评测框架,专门拆开看机器人在精细操作上的理解、感知和行为三个环节,而不是只给一个“成功/失败”的二元结果。研究团队说,传统只看最终成功率的评测方式,对精细操作能力的评估会虚高最多 70%。具体怎么测的、用了哪些任务和模型,正文没披露,没法展开。

推荐理由:标题和摘要抛出的 70% 虚高数字很有冲击力,MetaFine 的三轴诊断思路也确实比只看成功率进了一步。但正文被微信环境验证挡住,具体任务、模型和实验细节全是缺口,没法核实。所以它是一篇有钩子、有新知但信息不完整的二次评论帖,放在 featured 门槛上刚好,不宜再拔高。

量子位 · 公众号

姚顺雨现身腾讯云大会,回应腾讯 AI 落后质疑

姚顺雨在腾讯云 AI 产业应用大会上说,混元 3 把预训练和强化学习的基础设施重做了一遍,数据和评估方式也换了,还把最强的后训练人员先调去改进元宝。他点名代码 agent、多模态和具身智能是腾讯接下来的重点方向。

推荐理由:这是一篇大会发言和路线图信号,不是带规格、跑分或上线日期的新模型发布。信息增量在于腾讯把后训练精锐先押在元宝上,以及重做基础设施这个表态,但缺少可验证的指标。放在 featured 低位,是因为它给中国大厂 AI 战略更新提供了一个有争议锚点的注脚,而不是一个硬核技术首发。

AI HOT 精选

Google 开源了实时音乐模型 MRT2,在 MacBook 上延迟不到 200 毫秒

Google AI for Developers 放出了一个叫 Magenta RealTime 2(MRT2)的实时音乐模型,权重开放,推理引擎也开源了。你可以用 MIDI 键盘弹、打字给提示词,甚至用手势控制它来生成音乐。它在 MacBook 上原生跑,延迟压到了 200 毫秒以内,这个速度对实时演奏来说基本跟手。配套还给了应用和插件套件,到手就能...

推荐理由:HKR 三项都过:Google Magenta MRT2 有实打实的实时音频钩子、开放权重和低于 200ms 的本地延迟。对创意 AI 开发者吸引力很强,但本质上是一封公开信和政策诉求,不是已生效的法律,法案文本和执行时间表都没披露,所以放在 featured 而不是更高一级。

AI HOT 精选

Boson AI 和 LMSYS 把 Higgs Audio v3 TTS 跑在了 SGLang-Omni 上,一个 4B 参数的语音合成模型,主打低延迟...

Higgs Audio v3 TTS 是 Boson AI 的语音合成模型,参数量大约 4B,底层用了 Qwen3-4B。它支持 100 种语言,在内部测试集上词错率/字错率能压到个位数。这个模型专门为语音助手那种边说边生成的场景设计,不等句子结束就能开始合成,后续文本到了还能保持声音、情绪和节奏连贯。开发者可以直接在输入文本里插标签来控制 20 多种...

推荐理由:H 和 K 靠 4B/100 语言/流式合成这几个硬指标撑住。R 偏弱,因为文章没给延迟、定价和权重,更像一个能力宣告而非可立刻复用的发布,所以放在 featured 低位。

6月4日星期四

AI HOT 精选

neolab 发布 Nex-N2-Pro,一个 397B 参数的混合专家推理模型,跑分自称摸到 GPT-5.5 水平

这个模型基于 Qwen3.5-397B-A17B 改造,总参数量 397B,用了混合专家架构(MoE,把任务分给不同子模型处理,省算力)。它能处理 26 万多字的长上下文,也支持图像识别。官方说它在 Terminal Bench 2.1、GDPVal、SWE-Verified 这几个测试集上拿了最高分,性能对标 GPT-5.5 和 Claude Opu...

推荐理由:HKR 三项都过:标题的 benchmark 钩子够强,正文也给了模型尺寸、上下文和 token 缩减的具体数字。但这是一封公开信和政策呼吁,不是已生效的法律,法案文本和执行时间表都没披露,所以放在 featured 而不是更高。

新智元 · 公众号

分子之心发布 MMDesign,声称靶点命中率超过 90%

分子之心推出了一个叫 MMDesign 的 AI 平台,专门用来从头设计生物大分子药物。他们在 12 个治疗靶点上做了测试,每个靶点只挑了 14 到 50 个分子去做湿实验验证,结果有 11 个靶点都测出了特异性结合,算下来靶点成功率超过了 90%。不过正文因为访问环境异常没加载出来,具体用了什么模型架构、训练数据规模、以及和哪些国际顶尖模型做了对比,...

推荐理由:我会先打个折:正文没披露这 12 个靶点具体是什么、难度如何,也没说湿实验的具体指标和对照组,所以 90% 这个数先别太激动。但亮点在于,每个靶点只筛了 14 到 50 个分子就进湿实验,如果数据属实,意味着前期筛选成本压得很低。对做 AI 制药的人来说,这比跑分更有参考价值。整体偏产品发布,但数字够具体,放在 featured 档合理。

新智元 · 公众号

MiniMax M3 在开源模型榜冲上第一,硅谷 CEO 深夜转发,但中文社区对实际表现吵起来了

MiniMax 的新模型 M3 在第三方评测平台 Artificial Analysis 的开源榜单上排到了第一。文章说它支持一次性处理 100 万 token 的上下文,预训练用了百 T 级别的数据,并承诺在 10 天内开源模型权重和完整技术报告。不过,这篇微信文章本身因为环境验证问题无法看到正文,所以具体的评测细节、中文社区到底在吵什么、以及硅谷 ...

推荐理由:MiniMax M3在Artificial Analysis上冲到了开源模型第一,但中文社区对评测含金量吵得很凶。我会先打个折:权重和完整报告还没放出来,现在只能看官方给的数据。1M上下文和100T预训练规模听着挺猛,但正文没披露具体架构和训练成本,这点先别太激动。10天内开源这个承诺如果兑现,对开发者是实打实的利好;如果跳票,那现在的排名就先当个热闹看。