跳到正文

#多模态

今日 4 条

6月10日星期三

AI HOT 精选

Anthropic 发布 Claude Fable 5,在高风险领域会自动降级到旧模型

Claude Fable 5 是 Anthropic 目前最强的模型,在编程、知识问答、科研和视觉测试里几乎全面领先,任务越复杂优势越大。但它在网络安全、生物化学和模型蒸馏这些敏感领域做了限制:一旦触及,会自动切回能力更保守的 Opus 4.8,平均每 20 次对话触发一次。

推荐理由:Anthropic 发布最强模型 Claude Fable 5,在网络安全、生物化学等敏感领域会自动降级到 Opus 4.8,平均每 20 次对话触发一次。

AI HOT 精选

Claude Fable 5 和 Mythos 5 发布:编程最强、能打游戏,但安全限制会误拦 5% 的对话

Anthropic 发了两个新模型:Claude Fable 5 和 Claude Mythos 5。Fable 5 是面向普通用户的安全版,Mythos 5 是给网络安全防御方用的无限制版,目前只通过美国政府合作项目开放。Fable 5 在软件工程、知识工作和视觉任务上都是新标杆——Stripe 测试时,它一天干完了原本一个团队两个月的代码迁移活。

推荐理由:Anthropic 发布 Fable 5 与 Mythos 5,前者面向普通用户,后者仅通过美国政府合作项目开放给网络安全防御方,Stripe 用 Fable 5 一天完成原团队两个月的代码迁移。

The Verge · AI

Anthropic 放出首个 Mythos 级模型 Claude Fable 5,之前因网络安全能力太强被扣着没发

Anthropic 发布了 Claude Fable 5,说这是他们迄今公开的最强模型。它在软件工程、知识类工作和视觉任务上表现突出,任务越长越复杂,领先优势越明显。Fable 5 是 Mythos 系列第一个大规模公开的模型,之前这个系列因为网络安全能力太强,公司觉得放出来太危险。这次能发,是因为加了新安全机制,会在特定高风险领域直接拦截回答。

推荐理由:Anthropic 公开了 Mythos 系列中第一个大规模发布的模型 Claude Fable 5,该系列此前因网络安全能力过强被搁置,这次发布同时加入了在高风险领域拦截回答的安全机制。

TechCrunch · AI

Anthropic 把最强模型 Mythos 砍掉危险能力后,以 Claude Fable 5 的名字向公众开放

Anthropic 第一次把自家最强的 Mythos 模型开放给普通人用,但加了一道硬锁:在网络安全、生物、化学和模型蒸馏(用大模型教小模型)这些高风险领域,Fable 5 会直接拒答,退回到更保守的 Claude Opus 4.8。这个模型擅长写代码、知识类工作和图像理解。

推荐理由:Anthropic 将内部最强模型 Mythos 以 Claude Fable 5 之名向公众开放,但在网络安全、生物、化学和模型蒸馏等高风险领域会拒答并退回 Claude Opus 4.8。

6月9日星期二

AI HOT 精选

Google 放出 Gemini 3.5 Live Translate,话没说完就开始翻,支持 70 多种语言

Google 发了 Gemini 3.5 Live Translate,一个实时语音转语音翻译模型。它不等对方把整句话讲完,边听边翻,用流式更新把结果推出来,延迟压到几秒,还能保留原声的语速、音高和语调。

推荐理由:Google 发布 Gemini 3.5 Live Translate,支持 70 多种语言,不等整句讲完就边听边翻,延迟压到几秒并保留原声语速、音高和语调。

AI HOT 精选

Gemma 4 12B 发布:一个模型直接看懂图文和音频,不用外挂编码器

Google DeepMind 开源了 Gemma 4 12B,一个 120 亿参数的多模态模型。它最大的变化是去掉了传统的独立视觉/音频编码器,把所有输入统一交给 Transformer 处理,架构更简单。模型能直接听懂语音,不再需要先转文字。官方说它用 Apache 2.0 协议开源,在 16GB 显存或统一内存的笔记本上就能跑。

推荐理由:Google DeepMind 开源 Gemma 4 12B,去掉独立视觉和音频编码器,统一由 Transformer 处理图文语音,16GB 显存即可运行。

AI HOT 精选

一位开发者用 GPT-5.5 替代 OCR 流程,把 2.3 万篇 ChinaRxiv 论文免费开放并配上更完整的英文翻译

这件事的起点很简单:有人觉得传统的 OCR(光学字符识别)管道太复杂,直接用 GPT-5.5 来读论文、做翻译,结果把 23,000 多篇 ChinaRxiv 上的论文免费放出来了,还带了比之前更完整的英文翻译。正文没披露具体成本、延迟和翻译质量对比,所以没法判断这套方案在准确率和开销上到底比 OCR 好多少。

推荐理由:一位开发者用 GPT-5.5 替代传统 OCR 管道,把 2.3 万多篇 ChinaRxiv 论文免费开放并配上更完整的英文翻译,为批量处理中文论文的文档流程提供了一种可迁移的替代思路。

AI HOT 精选

腾讯混元开源 UniRL:一套强化学习框架同时管图像生成和语言模型,还带了两个新算法

UniRL 把扩散模型、流匹配模型、大语言模型和视觉语言模型的强化学习训练塞进了同一个后训练循环里,流程就是生成、打分、算优势、更新参数再同步。框架把模型和算法拆成两个独立维度,可以自由组合,目前已经用在 Hunyuan-Image 3 和 Bagel 上。

推荐理由:腾讯混元开源 UniRL,把扩散、流匹配、语言和视觉语言模型的强化学习训练放进同一后训练循环,模型与算法解耦后可自由组合,为多模态对齐提供了一套可复用的训练基础设施。

AI HOT 精选

一个编程 Agent 串起两个 HuggingFace Space,自动生成了一个巴黎地标 3D 画廊

作者让一个编程 agent 自己动手,把 ideogram-ai/ideogram4 和 VAST-AI/TripoSplat 这两个 Space 串了起来。

推荐理由:作者用一个编程 agent 把 ideogram4 与 TripoSplat 两个 HuggingFace Space 串成链路,跑通从文字到 3D 场景的自动生成,为 agent 编排多工具流程提供了一份可迁移的做法。

6月8日星期一

AI HOT 精选

Runway 发布 Aleph 2.0 视频编辑模型,上传视频后一键改横竖比例

Runway 在桌面网页版上线了 Aleph 2.0 编辑模型。你上传一段已有的视频,选一个想要的宽高比,模型会自动把多出来的画面区域补上,让视频看起来就像原本是按这个比例拍的。正文没披露生成分辨率、处理时长和收费方式,实际效果得自己试。

推荐理由:Runway 在桌面网页版上线 Aleph 2.0,上传已有视频并选定宽高比后,模型会自动补足多出的画面区域,让成片看起来像原本就按该比例拍摄。

AI HOT 精选

微软AI负责人说超级智能快来了,但不会抢你饭碗

Mustafa Suleyman 在播客里聊了几个事。他判断超级智能不会造成大规模失业,但没给出具体论证。微软去年10月跟 OpenAI 签了新合同,一边继续合作,一边拿到了独立研发超级智能的许可,已经建了团队、在训前沿模型,本周 Build 大会还发了7个全模态模型。

推荐理由:微软AI负责人Mustafa Suleyman在播客中判断超级智能不会造成大规模失业,同时微软已获独立研发超级智能的许可并训练前沿模型。

r/LocalLLaMA

有人盯着我的检测 API 打了半年对抗攻击,这三种套路最常得手

Bordair 的作者把检测 API 挂了六个月,从真实流量里抓出三类反复出现的攻击模式:多轮铺垫、利用对话惯性往前推、以及直接给模型换人设。上个月公开的对抗游戏里大概产生了 6700 次攻击,说明这些手法不是实验室玩具,已经在线上跑了。正文没披露具体绕过率和误报率,这点先别太激动。

推荐理由:Bordair 作者将检测 API 暴露在真实流量中六个月,归纳出多轮铺垫、对话惯性推进、换人设三类反复出现的攻击模式,并提到上月的对抗游戏产生约 6700 次攻击。

AI HOT 精选

高德发布 ABot-Earth0.5,用一张卫星图 10 分钟就能生成 3D 城市

高德搞了个叫 ABot-Earth0.5 的模型,号称是全球第一个原生 3D 的城市世界模型。它已经覆盖了 190 多个国家和地区。用起来很简单,你扔给它一张卫星图或者一段文字描述,它就能在普通消费级显卡上,大概 10 分钟给你生成一大片公里级的 3D 城市场景。出来的素材是 3DGS 格式,能直接拖进 Unity、虚幻引擎这些软件里接着用。

推荐理由:高德发布 ABot-Earth0.5,输入一张卫星图或一段文字,约 10 分钟即可在消费级显卡上生成公里级 3D 城市场景,输出 3DGS 格式可直接导入 Unity 和虚幻引擎。

FT · 科技

FT 报道称 AI 监控技术突破让克里姆林宫警觉,但正文被付费墙拦截,关键细节缺失

FT 这篇文章的标题和摘要片段提到,AI 能利用闭路电视画面识别目标,俄罗斯在伊朗最高领袖遇刺后暂停了一套监控系统。但文章正文返回了 403 错误,被付费墙挡在外面,所以系统名称、模型机制、供应商和时间线这些核心信息都没法核实。

推荐理由:FT 报道称 AI 能借闭路电视画面识别目标,俄罗斯在伊朗最高领袖遇刺后暂停了一套监控系统,系统名称与模型机制等细节尚无法核实。

6月7日星期日

AI HOT 精选

北海道农民雇了个叫 Codex 的工程师,用 AI 干了 8 件农活

北海道农民富安弘毅把 ChatGPT 和 Codex 当工程师用。

推荐理由:北海道农民富安弘毅没找外包也没学编程,直接用 ChatGPT 和 Codex 做出 8 个能下地干活的工具,这类非程序员用 AI 写代码处理物理世界事务的案例目前还不多见。

量子位 · 公众号

快手可灵提出 VLM-as-Teacher:生成视频时让视觉模型当老师,在线微调 LoRA 来遵守文字规则

这篇文章的正文被微信环境异常页挡住了,看不到具体技术细节。从标题和现有摘要看,快手可灵和城大合作了一个叫 VLM-as-Teacher 的方法。思路是在测试阶段用视觉语言模型(VLM)给视频生成模型(VGM)的 LoRA 模块打分反馈,边生成边优化,让模型学会按文字规则推理。

推荐理由:快手可灵与城大提出 VLM-as-Teacher,在测试阶段用视觉语言模型为视频生成模型的 LoRA 提供反馈,边生成边优化,让模型按文字规则推理。

量子位 · 公众号

京东开源 JoyAI-Echo,5 分钟 AI 长视频不崩,推理速度提了 7.5 倍

京东放出了一个叫 JoyAI-Echo 的开源框架,专门解决 AI 生成 5 分钟长视频时画面容易崩、前后不一致的问题。它用跨模态记忆模块把视频里的角色、场景信息存下来,保证长镜头里不会突然变脸或换衣服。训练上用了 DMD 后训练技术,推理速度比原来快了大概 7.5 倍,生成一段视频的成本和时间都压下来了。

推荐理由:京东开源 JoyAI-Echo 框架,用跨模态记忆模块解决 5 分钟长视频角色与场景前后不一致的问题,推理速度提升约 7.5 倍。

6月6日星期六

AI HOT 精选

OpenCV 5 发布,换了一套能跑大模型的神经网络引擎

OpenCV 5 最大的变化是换了一套全新的 DNN 引擎,从原来的逐层执行改成基于计算图的架构,能做算子融合,跑 Transformer、视觉语言模型和大语言模型都成了原生能力。ONNX 算子的覆盖率从 4.x 时期不到 23% 一下子拉到 80% 以上,以前很多导不进来的模型现在能直接用了。

推荐理由:OpenCV 5 将 DNN 引擎改为计算图架构并支持算子融合,ONNX 算子覆盖率从 4.x 的不到 23% 提升到 80% 以上,原先导不进来的模型现在可直接使用。

r/LocalLLaMA

开源模型这周炸了:25+ 个开放权重模型一口气放出,覆盖文本、图像、语音

Victor M 在 X 上整理了一份清单,过去一周有超过 25 个开放权重的模型发布,几乎覆盖了所有模态。其中最扎眼的是 NVIDIA 的 Nemotron 3 Ultra,一个 550B 参数的混合架构(Mamba-MoE),每次推理只激活 55B 参数,上下文窗口能塞进 100 万个 token。

推荐理由:过去一周开放权重模型发布超过 25 个,覆盖文本、图像、语音等模态,其中 NVIDIA 的 Nemotron 3 Ultra 以 550B 参数、55B 激活和 100 万 token 上下文,展示了混合架构的当前规模。

机器之心 · 公众号

大晓机器人和南洋理工发布 PhysX-Omni,一个框架直接生成能进仿真器跑的 3D 物体

这篇推文本身因为微信环境验证没抓到正文,我只能根据标题和已有英文摘要来说。PhysX-Omni 是一个 3D 生成框架,特点是生成出来的模型不是只能看,而是直接带物理属性,能区分刚体、软体和带关节的物体,扔进仿真器就能跑。配套的数据集 PhysXVerse 有超过 8700 个物理 3D 资产,覆盖 2900 多个类别。

推荐理由:大晓机器人与南洋理工发布的 PhysX-Omni 让生成的 3D 物体自带物理属性,可直接进仿真器运行,配套 PhysXVerse 含 8700 多个物理资产、覆盖 2900 多个类别。

机器之心 · 公众号

视频AI能一次生成5分钟了,京东开源JoyAI-Echo,告别抽卡式出片

京东放出了JoyAI-Echo,一个能一口气生成最长5分钟视频加音频的框架,而且全量开源。它主打跨镜头画面和声音的一致性,支持局部重绘,用8步DMD蒸馏来提速,最高能输出1472×2560分辨率的片子。不过原文因为微信环境验证没过去,具体效果和实测数据暂时看不到,这点先别太激动。

推荐理由:京东开源JoyAI-Echo,可一次生成最长5分钟带音频的视频,并支持跨镜头画面与声音一致性,为长视频生成提供了一条可复用的开源路径。

AI HOT 精选

Google AI 本周连发六弹:笔记本能跑的多模态模型、帮你读论文的科研助手、还有开源实时音乐模型

Google AI 这周一口气更新了六样东西。Nano Banana 2 和 Pro 版正式上线,走 Gemini 企业平台、API 和 AI Studio 就能用。Co-Scientist 是一个多智能体系统,专门帮科研人员自动生成和优化新假设,相当于有个助手帮你读文献、想点子。

推荐理由:Google AI 一周内上线 Nano Banana 2 与 Pro、多智能体科研助手 Co-Scientist 等六项更新,覆盖多模态生成与科研假设优化,可快速了解其产品线的最新布局。

AI HOT 精选

Gemini Live 现在能边聊边改图,摄像头对着什么就实时生成新画面

Gemini 应用里的 Live 模式加了实时生图和编辑功能。你打开摄像头,告诉它你想看到什么,它就能当场改画面,比如换墙色、加家具、把眼前场景变成梗图。正文没提生成一张图要多久、支持哪些画风,也没说免费额度怎么算。

推荐理由:Gemini 应用里的 Live 模式新增实时生图和编辑,打开摄像头说出想要的画面就能当场改动,例如换墙色、加家具或把眼前场景变成梗图。

Hacker News 首页

General Instinct 开源 InstinctRazor:把 245GB 的大模型压到 48GB,能在本地设备上跑

General Instinct 开源了 InstinctRazor,一个专门给边缘设备用的模型压缩方案。他们拿 Qwen3.5-122B-A10B 开刀,这个模型原本是 BF16 格式的混合专家模型(MoE),体积大约 245GB。

推荐理由:General Instinct 开源了面向边缘设备的压缩方案 InstinctRazor,把 245GB 的 Qwen3.5-122B-A10B 混合专家模型压到 48GB,关注本地部署大模型的团队可参考其压缩路径。

6月5日星期五

AI HOT 精选

Meta 把未启用的人脸识别代码塞进了智能眼镜 App,已推送到超 5000 万台设备

安全研究员从 Meta 智能眼镜的配套 App 里拆出了一套叫 NameTag 的人脸识别功能代码。这套代码虽然没开启,但核心组件已经通过应用更新,静默分发到了下载量超 5000 万次的设备上。它的工作流程是:用三个 AI 模型分别完成人脸检测、图像裁剪和把人脸转成生物特征模板(faceprints),然后跟手机本地数据库做比对。

推荐理由:安全研究员从 Meta 智能眼镜 App 中拆出未启用的人脸识别代码 NameTag,其核心组件已随应用更新静默分发至超 5000 万次下载的设备,可了解该功能的三模型本地比对流程。

r/LocalLLaMA

微软没出 Qwen3.6-27B 或 Gemma-4-31B 这种尺寸的模型,而是发了一组 MAI 系列

Reddit 上有人吐槽微软应该发类似 Qwen3.6-27B 或 Gemma-4-31B 这种中等体量的开源模型,结果他们放出来的是七个 MAI 模型。其中 MAI-Thinking-1 参数规模标的是 1T A35B,上下文窗口 256K;MAI-Code-1-Flash 是 137B A5B,同样 256K 窗口。

推荐理由:微软一次发布七个 MAI 模型,含 1T A35B 的推理版和 137B A5B 的代码版,均支持 256K 上下文,与社区期待的中等体量开源模型形成对照。

机器之心 · 公众号

东南大学和北大搞了个机器人精细操作评测框架,说传统只看成功率的办法会把能力高估七成

这篇推文本身被微信的环境验证挡住了,正文内容没抓到。从标题和已有的英文摘要看,MetaFine 是一个诊断式的元评测框架,专门拆开看机器人在精细操作上的理解、感知和行为三个环节,而不是只给一个“成功/失败”的二元结果。研究团队说,传统只看最终成功率的评测方式,对精细操作能力的评估会虚高最多 70%。具体怎么测的、用了哪些任务和模型,正文没披露,没法展开。

推荐理由:东南大学与北大团队提出 MetaFine 元评测框架,把机器人精细操作拆成理解、感知、行为三个环节诊断,并指出只看成功率的传统评测会将能力高估最多七成。

量子位 · 公众号

姚顺雨现身腾讯云大会,回应腾讯 AI 落后质疑

姚顺雨在腾讯云 AI 产业应用大会上说,混元 3 把预训练和强化学习的基础设施重做了一遍,数据和评估方式也换了,还把最强的后训练人员先调去改进元宝。他点名代码 agent、多模态和具身智能是腾讯接下来的重点方向。

推荐理由:姚顺雨在腾讯云大会上回应AI落后质疑,并说明混元3重做了预训练与强化学习基础设施,还提到后训练人员先调去改进元宝,由此可了解腾讯当前的资源分配与重点方向。

AI HOT 精选

Google 开源了实时音乐模型 MRT2,在 MacBook 上延迟不到 200 毫秒

Google AI for Developers 放出了一个叫 Magenta RealTime 2(MRT2)的实时音乐模型,权重开放,推理引擎也开源了。你可以用 MIDI 键盘弹、打字给提示词,甚至用手势控制它来生成音乐。它在 MacBook 上原生跑,延迟压到了 200 毫秒以内,这个速度对实时演奏来说基本跟手。

推荐理由:Google 开源 Magenta RealTime 2 的权重与推理引擎,支持 MIDI、提示词和手势生成音乐,在 MacBook 上原生运行延迟低于 200 毫秒。

AI HOT 精选

Boson AI 与 LMSYS 发布基于 SGLang-Omni 的 Higgs Audio v3 TTS 端到端服务

Higgs Audio v3 TTS 是 Boson AI 的语音合成模型,参数量大约 4B,底层用了 Qwen3-4B。它支持 100 种语言,在内部测试集上词错率/字错率能压到个位数。这个模型专门为语音助手那种边说边生成的场景设计,不等句子结束就能开始合成,后续文本到了还能保持声音、情绪和节奏连贯。

推荐理由:Boson AI 与 LMSYS 把 4B 参数的 Higgs Audio v3 TTS 接入 SGLang-Omni 做端到端服务,支持 100 种语言,并针对语音助手边说边生成的流式场景优化声音与情绪连贯性。

6月4日星期四

AI HOT 精选

neolab 发布 Nex-N2-Pro,一个 397B 参数的混合专家推理模型,跑分自称摸到 GPT-5.5 水平

这个模型基于 Qwen3.5-397B-A17B 改造,总参数量 397B,用了混合专家架构(MoE,把任务分给不同子模型处理,省算力)。它能处理 26 万多字的长上下文,也支持图像识别。

推荐理由:neolab 发布基于 Qwen3.5 改造的 397B 参数 MoE 推理模型,支持 26 万字长上下文与图像识别,跑分自称达到 GPT-5.5 水平。

新智元 · 公众号

分子之心发布 MMDesign,声称靶点命中率超过 90%

分子之心推出了一个叫 MMDesign 的 AI 平台,专门用来从头设计生物大分子药物。他们在 12 个治疗靶点上做了测试,每个靶点只挑了 14 到 50 个分子去做湿实验验证,结果有 11 个靶点都测出了特异性结合,算下来靶点成功率超过了 90%。

推荐理由:分子之心发布 MMDesign 平台,在 12 个治疗靶点上各用 14 到 50 个分子做湿实验,11 个靶点测出特异性结合,AI 从头设计大分子的早期验证规模由此有了具体参照。

新智元 · 公众号

MiniMax M3 在开源模型榜冲上第一,硅谷 CEO 深夜转发,但中文社区对实际表现吵起来了

MiniMax 的新模型 M3 在第三方评测平台 Artificial Analysis 的开源榜单上排到了第一。文章说它支持一次性处理 100 万 token 的上下文,预训练用了百 T 级别的数据,并承诺在 10 天内开源模型权重和完整技术报告。

推荐理由:MiniMax M3 在 Artificial Analysis 开源榜单排到第一,支持 100 万 token 上下文、百 T 级预训练数据,并承诺 10 天内开源权重与技术报告。

机器之心 · 公众号

谷歌放出 Gemma 4 12B,120 亿参数模型能在 16G 显存的笔记本上跑

谷歌发了 Gemma 4 系列的新成员,一个 120 亿参数的中等尺寸模型。它主打本地运行,16GB 显存或统一内存的笔记本就能带起来。架构上没走传统多模态那套编码器路线,直接原生支持音频输入,还带了一个叫 MTP 的推测解码模块来压延迟。模型用 Apache 2.0 协议开源。

推荐理由:谷歌发布 120 亿参数的 Gemma 4 新成员,16GB 显存笔记本即可本地运行,并原生支持音频输入,为关注本地部署的开发者提供了新的开源选项。

量子位 · 公众号

CVPR 2026 上,小鹏给英伟达、特斯拉和 Waymo 讲了一遍自己的物理 AI 技术栈

小鹏在 CVPR 2026 上公开了他们的世界模型技术栈,包含 X-World、X-Foresight 和 X-Cache 三个部分。X-Cache 能砍掉约 70% 的重复计算,相当于让模型推理时少做无用功。第二代 VLA 模型用了超过 4 万亿个 token 训练,这个量级说明训练数据投入很大。

推荐理由:小鹏在 CVPR 2026 公开世界模型技术栈,X-Cache 可减少约七成重复计算,第二代 VLA 用超 4 万亿 token 训练,为端侧模型推理优化提供可参考的工程路径。

AI HOT 精选

Ideogram 4.0 开源,跑分自称全球最强,文字渲染和排版控制是亮点

Ideogram 发布了 4.0 版本,一个 93 亿参数的开源文生图模型。它把文字和图像信息放在同一条处理流水线上(单流 DiT 架构),并用了 Qwen3-VL-8B 当文本编码器。最突出的能力是能在图里准确写出长段文字,适合做海报和封面。另外,它训练时让模型理解了元素的位置关系,你用提示词就能指定版式和对象布局。

推荐理由:Ideogram 4.0 以 93 亿参数开源,把文字与图像放进同一条处理流水线,长段文字渲染和按提示词指定版式布局是主要能力,适合关注海报与封面生成的人了解。

FT · 科技

英国议员起诉马斯克的 xAI,想用假色情图片案测试 AI 公司要不要为模型输出负责

英国工党议员 Jess Asato 把马斯克旗下 xAI 告了,起因是系统生成了她的虚假性相关图片。这案子被当成一个测试案例,核心是想搞清楚:AI 模型开发者到底要不要为模型吐出的内容承担法律责任。不过目前公开信息很少——正文没披露具体是哪个模型、图片是怎么生成的、索赔金额多少,也没说法庭排期。

推荐理由:英国工党议员 Jess Asato 起诉马斯克的 xAI,指其系统生成她的虚假性相关图片,案件被作为测试案例,核心是 AI 模型开发者是否要为模型输出承担法律责任。

Hacker News 首页

谷歌发布 Gemma 4 12B:一个去掉独立图像编码器的多模态模型

谷歌在官方博客宣布了 Gemma 4 12B,主打“统一、无编码器”的多模态设计。简单说,它不再像传统模型那样给图片单独配一个视觉编码器,而是让同一个模型直接处理文字和图像。博客里没给架构细节、训练数据、基准跑分、定价和开源协议,只提了一句“能在笔记本上跑高性能多模态智能”。

推荐理由:谷歌发布 Gemma 4 12B,采用去掉独立视觉编码器的统一多模态设计,让同一模型直接处理文字和图像,为观察多模态架构省去独立编码器这一路线提供了实例。

6月3日星期三

r/LocalLLaMA

谷歌放出 Gemma 4 系列,12B 模型能看图文、听音频,上下文窗口拉到 256K

谷歌 DeepMind 把 Gemma 4 系列的开源权重挂上了 Hugging Face,一共五个尺寸。其中 12B 这个版本支持文本、图片和音频三种输入,同时放出了指令微调版和预训练版。它原生支持系统提示词和函数调用,上下文窗口最长能到 256K token,意味着一次可以塞进很长的文档或对话记录。

推荐理由:谷歌 DeepMind 在 Hugging Face 放出 Gemma 4 系列五个尺寸的开源权重,其中 12B 版本同时支持文本、图片和音频输入,上下文窗口最长 256K token。

MIT Technology Review · AI

特朗普签了新 AI 行政令,Anduril 和 Meta 在给美军做能“用眼神下命令”的 AR 眼镜

特朗普废掉旧令不到两周,又签了一份新的 AI 行政令。核心变化是:要求科技公司在发布前沿模型前 30 天,自愿把模型交给政府审查,但不设强制许可证。对比之前被搁置的版本(要求提前 90 天提交),这次明显缩水了,不过也算从完全不管迈向了轻度监管。

推荐理由:特朗普签署新 AI 行政令,要求科技公司在发布前沿模型前 30 天自愿提交政府审查,相比此前搁置的 90 天版本有所缩短,勾勒出美国前沿模型监管从无到有的过渡状态。