在 Chrome 插件里跑本地 AI:一份给开发者的架构避坑指南
Hugging Face 发了一篇技术指南,拆解了他们刚做的 Chrome 插件“Transformers.js Gemma 4 浏览器助手”。核心是把 Gemma 4 E2B 模型塞进浏览器的后台 Service Worker 里本地运行,不靠云端。
推荐理由:Hugging Face 拆解了把 Gemma 4 E2B 放进 Chrome 后台 Service Worker 本地运行的插件架构,涉及 MV3 环境下的工程取舍。
Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。
Hugging Face 发了一篇技术指南,拆解了他们刚做的 Chrome 插件“Transformers.js Gemma 4 浏览器助手”。核心是把 Gemma 4 E2B 模型塞进浏览器的后台 Service Worker 里本地运行,不靠云端。
推荐理由:Hugging Face 拆解了把 Gemma 4 E2B 放进 Chrome 后台 Service Worker 本地运行的插件架构,涉及 MV3 环境下的工程取舍。
ServiceNow 在 Hugging Face 上发了 SuperApriel-15B-Instruct,一个 15B 参数的指令模型。
推荐理由:ServiceNow 发布 15B 指令模型 SuperApriel-15B-Instruct,单个权重包可切出 8 种速度档位,最快解码吞吐量提升 10 倍,部署时能在同一模型内调整延迟与质量的取舍。
Qwen 放出了 Qwen3.6-27B,一个 270 亿参数的稠密模型,主打编程,而且直接开源。它最狠的地方是跑分超过了上一代 3970 亿总参数(每次激活 170 亿)的 MoE 模型 Qwen3.5-397B-A17B。在 SWE-bench Verified 上拿了 77.2 分,比老旗舰的 76.2 高。
推荐理由:Qwen 开源 270 亿参数的稠密编程模型 Qwen3.6-27B,在 SWE-bench Verified 上以 77.2 分超过上一代 3970 亿总参数的 MoE 旗舰,小体量稠密模型与超大 MoE 的这次对比是主要看点。
上海一个研究团队搞了个叫 MIA 的记忆框架,想让 AI 智能体在干活时能记住经验、持续进步,而不是每次重启都像失忆一样。它把记忆分成参数记忆和非参数记忆两种,用交替强化学习来更新,还支持边测试边学习。团队说在 7 个数据集上拿了最好成绩,但具体分数正文没给出来。核心思路是把记忆当成能力内化,不光是翻旧账。
推荐理由:上海研究团队提出 MIA 记忆框架,将智能体记忆分为参数与非参数两类并用交替强化学习更新,其边测试边学习的思路为开放任务中的持续进化提供了一种可迁移方法。
Qwen 发了个新模型,叫 Qwen3.6-35B-A3B,用的是稀疏 MoE 架构,总参数量 35B,但每次推理只激活其中 3B 参数,跑起来会比较省资源。采用 Apache 2.0 协议,可以商用。官方说法是它在写代码、处理多模态任务上表现不错,还支持“思考”和“不思考”两种模式,能直接塞进业务流程里干活。
推荐理由:Qwen 开源 Qwen3.6-35B-A3B,35B 总参数每次推理只激活 3B,并以 Apache 2.0 协议允许商用,稀疏 MoE 的省资源路线是这条的主要看点。
Google 的 Gemma 4 上线第一周就冲到约 200 万次下载。做个对比:Gemma 3 过去一年总共 670 万次,Gemma 2 从 2024 年 6 月到现在 140 万次,而 Qwen 3.5 在大约一个半月里拿了约 2700 万次。
推荐理由:Gemma 4 首周下载约 200 万次,Gemma 3 用一年才到 670 万,Qwen 3.5 一个半月约 2700 万,这组数字勾勒出开源模型采用速度的差异。
英伟达发了 Nemotron 3 Super,一个总参数量 120B、但每次推理只激活 12B 参数的混合专家模型。它用了混合 MoE、隐式 MoE 和一次预测多个 token 的技术,上下文窗口拉到 100 万 token。官方说在跑 agent 这类多步骤任务时,吞吐量比之前方案高 5 倍。
推荐理由:英伟达开源 Nemotron 3 Super,总参 120B 但每次推理只激活 12B,并支持 100 万 token 上下文,官方称跑 agent 多步骤任务时吞吐量提升 5 倍。
Hugging Face 宣布 GGML 和 llama.cpp 的团队正式加入公司。Georgi Gerganov 和他的团队会继续把全部时间花在维护 llama.cpp 上,项目的技术方向和社区管理保持完全独立,不会变成闭源。
推荐理由:GGML 和 llama.cpp 团队加入 Hugging Face,仍全职维护 llama.cpp,技术方向与社区管理保持独立,本地推理核心工程力量由此获得长期支持。
NVIDIA 在 CES 上展示了两台桌面设备 DGX Spark 和 DGX Station,能在本地跑 1000 亿到 1 万亿参数的开源模型。DGX Station 有 775GB 的统一内存,可以把模型压缩到 NVFP4 格式,压缩率最高 70%,跑 llama.cpp 时推理速度平均提升 35%。
推荐理由:英伟达在 CES 展示的 DGX Spark 和 DGX Station 能在桌面本地运行千亿到万亿参数开源模型,其中 DGX Station 的 775GB 统一内存与 NVFP4 压缩给出了本地部署大模型的硬件配置参考。
NVIDIA 在 2026 年 1 月 5 日放出了一批新的开源模型和数据集。语言模型方面,有 Nemotron 系列的新成员,专门做语音、外挂资料库(RAG)和安全对齐;还有一个叫 Alpamayo 1 的模型,正文没具体说它擅长什么。
推荐理由:NVIDIA 一次性开源覆盖智能体、机器人、自动驾驶和生物医药的模型、数据集与工具,其中 Nemotron 新成员分别面向语音、RAG 和安全对齐。
Hugging Face 宣布和 VirusTotal 合作,开始持续扫描 Hub 上超过 220 万个公开的模型和数据集仓库。你打开仓库或文件页面时,Hub 会自动比对文件哈希值,从 VirusTotal 拉回该文件是否被标记为恶意、有多少家引擎报毒,以及相关的威胁情报。整个过程不会把原始文件内容发给 VirusTotal。
推荐理由:Hugging Face 与 VirusTotal 合作,对 Hub 上超 220 万个公开模型和数据集仓库做持续扫描,用户打开页面即可看到文件是否被标记为恶意及报毒引擎数量。
AI Sheets 是一个开源表格工具,之前只能处理文字,现在加入了视觉能力。你可以把图片(比如收据、文档、产品图)直接拖进表格,用自然语言让模型帮你提取里面的信息、生成描述、甚至编辑图片。它背后调用的是 Inference Providers 上的几千个开源模型。你在表格里手动改错、点“赞”的操作,会被当成少样本示例来优化后续结果。
推荐理由:Hugging Face 为开源表格工具 AI Sheets 加入视觉能力,可拖入收据、文档、产品图并用自然语言提取信息、生成描述或编辑图片,表格里的人工修正会作为少样本示例优化后续结果。
Mistral AI 发布首款推理模型 Magistral,分为 24B 参数的开源版 Magistral Small 和企业版 Magistral Medium。
推荐理由:Mistral AI 推出推理模型 Magistral,同时给出 24B 开源版与企业版,并披露两者在 AIME2024 上的得分,可比较开源与商用版本的性能差距。