跳到正文

#Hugging Face

今日 3 条

5月11日星期一

r/LocalLLaMA

MTP 实测:写代码能加速 71%,写小说反而变慢 9%,任务类型决定投机推理是帮忙还是帮倒忙

一位 Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理(让模型先猜后验证)的效果完全看任务类型。写代码时草稿被采纳的比例高达 79% 到 89%,用 F16 精度跑代码生成速度提升了 171%;但换成创意写作,Q4_K_M 量化下推理速度反而慢了 9%。

推荐理由:Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理在写代码时草稿采纳率高达 79% 到 89%,换成创意写作反而慢 9%,任务类型直接决定加速还是拖慢。

5月10日星期日

r/LocalLLaMA

NVIDIA 发布 Star Elastic:一个模型文件能直接切出 30B、23B、12B 三种推理模型

NVIDIA 放出了一个叫 Star Elastic 的模型,一个检查点文件里包含了 30B、23B 和 12B 三个尺寸的推理模型,不用额外训练就能直接“切片”取用。具体玩法是让 23B 的子模型负责思考过程,30B 的模型负责给出最终答案。

推荐理由:NVIDIA 发布的 Star Elastic 让单个检查点无需额外训练即可切出 30B、23B、12B 三种推理模型,其中 23B 负责思考、30B 负责作答,为推理部署提供了一份权重按需取用的思路。

5月9日星期六

AI HOT 精选

EMO:让专家模型自己长出模块,用八分之一专家就能干活

AllenAI 放出了一个叫 EMO 的混合专家模型(MoE),总参数量 140 亿,每次推理只激活 10 亿参数。它最大的不同是训练时没按人类划好的学科(比如数学、代码)去分专家,而是让模型自己从 1 万亿 token 的数据里长出模块。结果是,跑特定任务时你只用挑出 12.5% 的专家,性能就接近全模型水平。

推荐理由:AllenAI 的 EMO 训练时不按学科划分专家,让模型从 1 万亿 token 中自行长出模块,跑任务时只激活 12.5% 的专家即可接近全模型水平。

5月8日星期五

r/LocalLLaMA

警惕:Hugging Face 上的 Open-OSS/privacy-filter 仓库实为窃密木马

Reddit 用户发帖警告,Hugging Face 上名为 Open-OSS/privacy-filter 的仓库是信息窃取器。它伪装成 OpenAI 的隐私过滤器,通过 loader.py 拉取 PowerShell 脚本,再下载一个 EXE 文件并利用 Windows 任务计划程序运行。

推荐理由:Hugging Face 上名为 Open-OSS/privacy-filter 的仓库伪装成 OpenAI 隐私过滤器,实际通过 loader.py 拉取 PowerShell 脚本并下载 EXE 运行,涉及本地部署模型的供应链风险。

5月7日星期四

r/LocalLLaMA

Reddit 实测:双卡跑大模型,PCIe 带宽可能没你想的那么吃紧

用户 ziphnor 用两张 RTX 5060 Ti 16GB 跑 vLLM,开启张量并行(TP=2)处理 32k 上下文预填充。实测 PCIe 峰值带宽只跑到 3–4 GB/s,大约占满一条 PCIe 4.0 x4 通道的 40%–50%。预填充速度在不同设置下分别达到约 840–850、1500 和 1600–1700 tokens/s。

推荐理由:用户 ziphnor 用两张 RTX 5060 Ti 跑 vLLM 张量并行,实测 32k 上下文预填充时 PCIe 峰值带宽仅 3–4 GB/s,占 PCIe 4.0 x4 通道的四到五成。

5月6日星期三

r/LocalLLaMA

Qwen 3.6 27B 用上 MTP 后推理速度提升 2.5 倍,48GB 显存可跑 26 万上下文

这篇帖子来自 Reddit 的 r/LocalLLaMA,作者分享了一个 llama.cpp 的 PR,为 Qwen 3.6 27B 模型添加了 MTP(多令牌预测)支持,实测推理速度提升了 2.5 倍。在 Mac M2 Max 96GB 上达到了 28 tok/s 的生成速度。

推荐理由:llama.cpp 的 PR 为 Qwen 3.6 27B 加入 MTP 支持,实测推理提速 2.5 倍,并在 48GB 显存下支持 26 万上下文,为本地 agentic coding 提供了可参考的配置方案。

r/LocalLLaMA

Gemma 4 出了 MTP 草稿模型,解码速度翻倍但输出质量不变

Google 在 Hugging Face 上放了 4 个 Gemma 4 的 MTP 检查点。MTP 的做法是拿一个小号草稿模型一次预测好几个 token,再由主模型并行验证,相当于让模型“先猜后验”,最终解码速度能提一倍,而且输出质量跟原来一模一样。不过 Reddit 原帖被网络策略挡了,正文没披露具体模型尺寸、硬件要求或实测延迟数据。

推荐理由:Google 在 Hugging Face 发布 4 个 Gemma 4 的 MTP 检查点,用小模型先猜、主模型并行验证,解码速度提一倍而输出质量不变。

5月5日星期二

r/LocalLLaMA

SenseNova-U1-8B-MoT 开源多模态架构引发讨论,去掉 VE 和 VAE 的单体设计是亮点还是噱头?

商汤开源了一个叫 SenseNova-U1-8B-MoT 的 8B 多模态模型,能理解图文也能直接生成图片。它最特别的地方是用了 NEO-Unify 架构,把传统多模态模型里常见的 VE(视觉编码器)和 VAE(变分自编码器)都去掉了,支持图文交错生成和高密度渲染。

推荐理由:商汤开源 8B 多模态模型 SenseNova-U1-8B-MoT,其 NEO-Unify 架构去掉视觉编码器和变分自编码器,把图文理解与图像生成放进同一模型,为多模态架构设计提供了一种不同取舍。

r/LocalLLaMA

Hugging Face 发了个交互式指南,横向对比不同框架下的强化学习训练环境

Hugging Face 的后训练团队花了一个月,用 verifiers、OpenEnv、Nemo-Gym、OpenRewards 等几套框架分别搭了强化学习环境,然后实际训模型来看哪种方案在扩展时更顺手。他们把这个过程做成了交互式指南,方便你点进去对比。

推荐理由:Hugging Face 后训练团队用一个月把 verifiers、OpenEnv、Nemo-Gym 等几套框架各搭一遍强化学习环境并实际训模型,横向比较它们在扩展时的差异。

4月30日星期四

r/LocalLLaMA

Qwen 发布 Qwen-Scope,用稀疏自编码器给 Qwen 3.5 模型做“内部体检”

Qwen 团队开源了 Qwen-Scope,这是一套针对 Qwen 3.5 系列(从 2B 到 35B MoE)的稀疏自编码器(SAE)。SAE 的作用是把模型内部那些纠缠在一起的激活信号拆解开,变成一个个相对独立的“特征”,方便人去看懂和调试。

推荐理由:Qwen 开源了覆盖 2B 到 35B MoE 全层残差流的稀疏自编码器 Qwen-Scope,把模型内部纠缠的激活信号拆成独立特征,供人查看和调试。

r/LocalLLaMA

inclusionAI 在 Hugging Face 开源了 Ling-2.6-1T,一个 1 万亿参数的模型

这个模型用了 MLA 和线性注意力,还加了一个叫“上下文过程冗余抑制”的技术,目的是降低思维链推理时的计算开销。帖子提到了 AIME26 和 SWE-bench Verified 两个基准,但正文没披露具体分数,所以实际表现还不清楚。另外,Reddit 原帖被网络屏蔽了,目前只能看到标题和简介,更多细节得去 Hugging Face 模型页翻。

推荐理由:inclusionAI 在 Hugging Face 开源万亿参数的 Ling-2.6-1T,采用 MLA 与线性注意力并加入上下文过程冗余抑制,为关注大模型推理优化的读者提供架构参考。

4月29日星期三

r/LocalLLaMA

Mistral 发布 1280 亿参数模型,支持图文输入和函数调用,高收入公司商用需额外授权

Mistral AI 在 Hugging Face 上放出了 Mistral Medium 3.5,一个 1280 亿参数的稠密模型,上下文窗口拉到 25.6 万 token。它能吃文本和图片,支持函数调用和 JSON 格式输出,推理强度可以按请求设成“无”或“高”。

推荐理由:Mistral AI 在 Hugging Face 发布 1280 亿参数稠密模型 Mistral Medium 3.5,支持图文输入、函数调用与可调推理强度,上下文窗口达 25.6 万 token。

r/LocalLLaMA

小米放出 MiMo-V2.5:3100 亿总参数,每次只激活 150 亿的稀疏 MoE 模型

Reddit 上有人贴了小米 MiMo-V2.5 的 Hugging Face 链接,不是 Pro 版。架构是稀疏 MoE,总参数量 310B,每次推理只激活 15B 参数,相当于用 150 亿参数模型的计算量去撬动一个 3100 亿参数的知识容量。

推荐理由:小米在 Hugging Face 放出非 Pro 版 MiMo-V2.5,采用稀疏 MoE 架构,310B 总参数每次推理只激活 15B,以较小计算量调用大参数容量的设计思路。

NVIDIA 博客

英伟达发布 Nemotron 3 Nano Omni:一个模型同时看懂图文、听懂语音,做 AI 代理时吞吐量号称是同类 9 倍

英伟达在 2026 年 4 月 28 日开源了 Nemotron 3 Nano Omni,一个能同时处理文字、图片、音频、视频、文档、图表和屏幕界面的多模态模型。它用了 30B-A3B 的混合专家架构(MoE),实际激活的参数量是 3B,配合 Conv3D 和 EVS 技术来处理音视频,上下文窗口拉到 256K。

推荐理由:英伟达开源 Nemotron 3 Nano Omni,一个模型同时处理图文音视频,激活参数 3B、上下文 256K,为想搭多模态 agent 的团队提供了一条开源路径。

4月24日星期五

r/LocalLLaMA

DeepSeek V4 发布:1.6T 参数的 Pro 版和 284B 的 Flash 版,MIT 开源,支持 100 万 token 上下文

DeepSeek 放出了两个 V4 模型,都走 MIT 开源协议,上下文窗口拉到 100 万 token。Pro 版总参数 1.6T,每次推理只激活 49B;Flash 版总参数 284B,激活 13B。激活参数占比很低,意味着如果跑分靠谱,自己部署长上下文模型的硬件门槛和成本会降一截。

推荐理由:DeepSeek 以 MIT 协议开源 V4 的 Pro 与 Flash 两版,上下文窗口均达 100 万 token,激活参数分别只有 49B 和 13B,自部署长上下文模型的硬件门槛由此有了新的参照。

Hugging Face 博客

DeepSeek-V4 发布:百万 token 上下文,这次是给干活用的 agent 准备的

DeepSeek 发了 V4,分 Pro 和 Flash 两个版本,都支持 100 万 token 的上下文窗口。Pro 版总参数 1.6 万亿,每次推理激活 490 亿;Flash 版总参数 2840 亿,激活 130 亿。跑分不是最顶尖的,但这不是重点。

推荐理由:DeepSeek-V4 分 Pro 和 Flash 两版,均支持 100 万 token 上下文,Pro 版总参数 1.6 万亿、激活 490 亿,Flash 版总参数 2840 亿、激活 130 亿。

4月23日星期四

量子位 · 公众号

Qwen3.6-27B 开源,参数只有前代旗舰的十五分之一,但在智能体编程上反超了 397B 模型

Qwen 放出了 Qwen3.6-27B 的权重,一个 270 亿参数的稠密模型。官方说它在四项智能体编程基准上全面超过了自家上一代 3970 亿参数的旗舰 Qwen3.5-397B。

推荐理由:Qwen 开源 270 亿参数的稠密模型 Qwen3.6-27B,官方称其在四项智能体编程基准上超过自家 3970 亿参数的上一代旗舰。

Hugging Face 博客

在 Chrome 插件里跑本地 AI:一份给开发者的架构避坑指南

Hugging Face 发了一篇技术指南,拆解了他们刚做的 Chrome 插件“Transformers.js Gemma 4 浏览器助手”。核心是把 Gemma 4 E2B 模型塞进浏览器的后台 Service Worker 里本地运行,不靠云端。

推荐理由:Hugging Face 拆解了把 Gemma 4 E2B 放进 Chrome 后台 Service Worker 本地运行的插件架构,涉及 MV3 环境下的工程取舍。

4月22日星期三

r/LocalLLaMA

ServiceNow 放出一个 15B 模型,一个权重包能切出 8 种速度档位,最快解码吞吐量翻 10 倍

ServiceNow 在 Hugging Face 上发了 SuperApriel-15B-Instruct,一个 15B 参数的指令模型。

推荐理由:ServiceNow 发布 15B 指令模型 SuperApriel-15B-Instruct,单个权重包可切出 8 种速度档位,最快解码吞吐量提升 10 倍,部署时能在同一模型内调整延迟与质量的取舍。

Hacker News 首页

Qwen 开源 27B 稠密模型,编程能力超过自家 397B 的 MoE 老旗舰

Qwen 放出了 Qwen3.6-27B,一个 270 亿参数的稠密模型,主打编程,而且直接开源。它最狠的地方是跑分超过了上一代 3970 亿总参数(每次激活 170 亿)的 MoE 模型 Qwen3.5-397B-A17B。在 SWE-bench Verified 上拿了 77.2 分,比老旗舰的 76.2 高。

推荐理由:Qwen 开源 270 亿参数的稠密编程模型 Qwen3.6-27B,在 SWE-bench Verified 上以 77.2 分超过上一代 3970 亿总参数的 MoE 旗舰,小体量稠密模型与超大 MoE 的这次对比是主要看点。

4月19日星期日

机器之心 · 公众号

MIA 记忆智能体框架:让 AI 干活不再“失忆”,边用边学

上海一个研究团队搞了个叫 MIA 的记忆框架,想让 AI 智能体在干活时能记住经验、持续进步,而不是每次重启都像失忆一样。它把记忆分成参数记忆和非参数记忆两种,用交替强化学习来更新,还支持边测试边学习。团队说在 7 个数据集上拿了最好成绩,但具体分数正文没给出来。核心思路是把记忆当成能力内化,不光是翻旧账。

推荐理由:上海研究团队提出 MIA 记忆框架,将智能体记忆分为参数与非参数两类并用交替强化学习更新,其边测试边学习的思路为开放任务中的持续进化提供了一种可迁移方法。

4月16日星期四

r/LocalLLaMA

Qwen 放出 Qwen3.6-35B-A3B,35B 总参数只激活 3B,开源可商用

Qwen 发了个新模型,叫 Qwen3.6-35B-A3B,用的是稀疏 MoE 架构,总参数量 35B,但每次推理只激活其中 3B 参数,跑起来会比较省资源。采用 Apache 2.0 协议,可以商用。官方说法是它在写代码、处理多模态任务上表现不错,还支持“思考”和“不思考”两种模式,能直接塞进业务流程里干活。

推荐理由:Qwen 开源 Qwen3.6-35B-A3B,35B 总参数每次推理只激活 3B,并以 Apache 2.0 协议允许商用,稀疏 MoE 的省资源路线是这条的主要看点。

4月7日星期二

Latent Space

Gemma 4 首周下载量破 200 万,本地跑模型成了新趋势

Google 的 Gemma 4 上线第一周就冲到约 200 万次下载。做个对比:Gemma 3 过去一年总共 670 万次,Gemma 2 从 2024 年 6 月到现在 140 万次,而 Qwen 3.5 在大约一个半月里拿了约 2700 万次。

推荐理由:Gemma 4 首周下载约 200 万次,Gemma 3 用一年才到 670 万,Qwen 3.5 一个半月约 2700 万,这组数字勾勒出开源模型采用速度的差异。

3月24日星期二

Mistral AI

Mistral AI 发布 4B 参数语音合成模型 Voxtral TTS

Mistral AI 发布首个文本转语音模型 Voxtral TTS,4B 参数,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语 9 种语言,具备情感表达与零样本跨语言音色适配能力。

推荐理由:Mistral AI 推出 4B 参数语音合成模型 Voxtral TTS,覆盖 9 种语言并支持零样本跨语言音色适配,其与 ElevenLabs 的对比评测提供了多语言语音质量的一个参照。

3月12日星期四

NVIDIA 博客

英伟达开源 Nemotron 3 Super:120B 模型只激活 12B 参数,跑 agent 任务吞吐量翻五倍

英伟达发了 Nemotron 3 Super,一个总参数量 120B、但每次推理只激活 12B 参数的混合专家模型。它用了混合 MoE、隐式 MoE 和一次预测多个 token 的技术,上下文窗口拉到 100 万 token。官方说在跑 agent 这类多步骤任务时,吞吐量比之前方案高 5 倍。

推荐理由:英伟达开源 Nemotron 3 Super,总参 120B 但每次推理只激活 12B,并支持 100 万 token 上下文,官方称跑 agent 多步骤任务时吞吐量提升 5 倍。

2月20日星期五

Hugging Face 博客

GGML 和 llama.cpp 团队加入 Hugging Face,本地跑大模型的项目会继续独立运营

Hugging Face 宣布 GGML 和 llama.cpp 的团队正式加入公司。Georgi Gerganov 和他的团队会继续把全部时间花在维护 llama.cpp 上,项目的技术方向和社区管理保持完全独立,不会变成闭源。

推荐理由:GGML 和 llama.cpp 团队加入 Hugging Face,仍全职维护 llama.cpp,技术方向与社区管理保持独立,本地推理核心工程力量由此获得长期支持。

2月5日星期四

Mistral AI

Mistral 发布 Voxtral Transcribe 2 语音转写模型家族

Mistral 发布 Voxtral Transcribe 2,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime 两款语音转文字模型。

推荐理由:Mistral 发布 Voxtral Transcribe 2,其中实时转写模型 Realtime 以 Apache 2.0 开源,延迟可配置到 200 毫秒以内,并支持 13 种语言。

1月6日星期二

NVIDIA 博客

NVIDIA 把跑千亿参数大模型的机器塞进了桌面

NVIDIA 在 CES 上展示了两台桌面设备 DGX Spark 和 DGX Station,能在本地跑 1000 亿到 1 万亿参数的开源模型。DGX Station 有 775GB 的统一内存,可以把模型压缩到 NVFP4 格式,压缩率最高 70%,跑 llama.cpp 时推理速度平均提升 35%。

推荐理由:英伟达在 CES 展示的 DGX Spark 和 DGX Station 能在桌面本地运行千亿到万亿参数开源模型,其中 DGX Station 的 775GB 统一内存与 NVFP4 压缩给出了本地部署大模型的硬件配置参考。

NVIDIA 博客

NVIDIA 一口气开源了一堆模型、数据和工具,覆盖智能体、机器人、自动驾驶和生物医药

NVIDIA 在 2026 年 1 月 5 日放出了一批新的开源模型和数据集。语言模型方面,有 Nemotron 系列的新成员,专门做语音、外挂资料库(RAG)和安全对齐;还有一个叫 Alpamayo 1 的模型,正文没具体说它擅长什么。

推荐理由:NVIDIA 一次性开源覆盖智能体、机器人、自动驾驶和生物医药的模型、数据集与工具,其中 Nemotron 新成员分别面向语音、RAG 和安全对齐。

2025年10月22日星期三

Hugging Face 博客

Hugging Face 接入 VirusTotal,给 Hub 上 220 万个模型和数据集仓库做恶意文件扫描

Hugging Face 宣布和 VirusTotal 合作,开始持续扫描 Hub 上超过 220 万个公开的模型和数据集仓库。你打开仓库或文件页面时,Hub 会自动比对文件哈希值,从 VirusTotal 拉回该文件是否被标记为恶意、有多少家引擎报毒,以及相关的威胁情报。整个过程不会把原始文件内容发给 VirusTotal。

推荐理由:Hugging Face 与 VirusTotal 合作,对 Hub 上超 220 万个公开模型和数据集仓库做持续扫描,用户打开页面即可看到文件是否被标记为恶意及报毒引擎数量。

2025年10月21日星期二

Hugging Face 博客

Hugging Face 的 AI Sheets 现在能直接处理图片了

AI Sheets 是一个开源表格工具,之前只能处理文字,现在加入了视觉能力。你可以把图片(比如收据、文档、产品图)直接拖进表格,用自然语言让模型帮你提取里面的信息、生成描述、甚至编辑图片。它背后调用的是 Inference Providers 上的几千个开源模型。你在表格里手动改错、点“赞”的操作,会被当成少样本示例来优化后续结果。

推荐理由:Hugging Face 为开源表格工具 AI Sheets 加入视觉能力,可拖入收据、文档、产品图并用自然语言提取信息、生成描述或编辑图片,表格里的人工修正会作为少样本示例优化后续结果。

2025年6月10日星期二

Mistral AI

Mistral AI 发布首款推理模型 Magistral,含 24B 开源版与企业版

Mistral AI 发布首款推理模型 Magistral,分为 24B 参数的开源版 Magistral Small 和企业版 Magistral Medium。

推荐理由:Mistral AI 推出推理模型 Magistral,同时给出 24B 开源版与企业版,并披露两者在 AIME2024 上的得分,可比较开源与商用版本的性能差距。