跳到正文

Hugging Face

Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。

最新精选

第 161–180 条 · 共 193 条

5月14日星期四

r/LocalLLaMA

商汤发布 SenseNova-U1-A3B-MoT,一个模型搞定看图、推理和生成

商汤在 Hugging Face 上放出了 SenseNova-U1-A3B-MoT 模型,同时提供了 A3B MoT、8B MoT 和 0.4B LoRA 权重链接。按官方说法,这套模型用 NEO-unify 架构把多模态理解、推理和生成统一到一个模型家族里。

推荐理由:商汤在 Hugging Face 放出 SenseNova-U1-A3B-MoT 系列权重,用 NEO-unify 架构把多模态理解、推理和生成收进同一模型家族,并同时提供 0.4B LoRA 权重。

5月13日星期三

r/LocalLLaMA

阿里达摩院放出 Ovis2.6-80B-A3B:总参数 800 亿,推理时只激活约 30 亿的多模态 MoE 模型

Ovis2.6 把语言模型底座换成了混合专家架构,总参数量堆到 800 亿,但推理时只叫醒大概 30 亿个参数,跑起来比较省算力。上下文窗口拉到 64K token,能处理的图片分辨率最高到 2880×2880,适合啃长文档、高信息密度的图表和扫描件。

推荐理由:阿里达摩院开源 Ovis2.6-80B-A3B,800 亿总参数的多模态 MoE 推理时只激活约 30 亿,并支持 64K 上下文与 2880×2880 图片输入。

量子位 · 公众号

字节提出 GRN,让生图模型像人一样边画边改,不再死磕扩散和自回归

字节跳动的技术团队搞了个叫 GRN(生成式精炼网络)的新架构,想给视觉生成找第三条路,不跟扩散模型和自回归模型硬卷。它的核心思路是让模型先生成一张粗糙的图,再反复精修,就像画师先铺大色块再慢慢抠细节。为了解决反复修图容易把图修糊、错误越攒越多的问题,他们用了三项技术:HBQ(分层二元量化)把图片压成更紧凑的离散编码,减少信息损耗。

推荐理由:字节团队提出 GRN 架构,让视觉生成先出粗图再反复精修,并用 HBQ 分层二元量化压缩离散编码以减少信息损耗,为扩散与自回归之外的第三条路线提供了具体技术方案。

5月11日星期一

r/LocalLLaMA

MTP 实测:写代码能加速 71%,写小说反而变慢 9%,任务类型决定投机推理是帮忙还是帮倒忙

一位 Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理(让模型先猜后验证)的效果完全看任务类型。写代码时草稿被采纳的比例高达 79% 到 89%,用 F16 精度跑代码生成速度提升了 171%;但换成创意写作,Q4_K_M 量化下推理速度反而慢了 9%。

推荐理由:Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理在写代码时草稿采纳率高达 79% 到 89%,换成创意写作反而慢 9%,任务类型直接决定加速还是拖慢。

5月10日星期日

r/LocalLLaMA

NVIDIA 发布 Star Elastic:一个模型文件能直接切出 30B、23B、12B 三种推理模型

NVIDIA 放出了一个叫 Star Elastic 的模型,一个检查点文件里包含了 30B、23B 和 12B 三个尺寸的推理模型,不用额外训练就能直接“切片”取用。具体玩法是让 23B 的子模型负责思考过程,30B 的模型负责给出最终答案。

推荐理由:NVIDIA 发布的 Star Elastic 让单个检查点无需额外训练即可切出 30B、23B、12B 三种推理模型,其中 23B 负责思考、30B 负责作答,为推理部署提供了一份权重按需取用的思路。

5月9日星期六

AI HOT 精选

EMO:让专家模型自己长出模块,用八分之一专家就能干活

AllenAI 放出了一个叫 EMO 的混合专家模型(MoE),总参数量 140 亿,每次推理只激活 10 亿参数。它最大的不同是训练时没按人类划好的学科(比如数学、代码)去分专家,而是让模型自己从 1 万亿 token 的数据里长出模块。结果是,跑特定任务时你只用挑出 12.5% 的专家,性能就接近全模型水平。

推荐理由:AllenAI 的 EMO 训练时不按学科划分专家,让模型从 1 万亿 token 中自行长出模块,跑任务时只激活 12.5% 的专家即可接近全模型水平。

5月8日星期五

r/LocalLLaMA

警惕:Hugging Face 上的 Open-OSS/privacy-filter 仓库实为窃密木马

Reddit 用户发帖警告,Hugging Face 上名为 Open-OSS/privacy-filter 的仓库是信息窃取器。它伪装成 OpenAI 的隐私过滤器,通过 loader.py 拉取 PowerShell 脚本,再下载一个 EXE 文件并利用 Windows 任务计划程序运行。

推荐理由:Hugging Face 上名为 Open-OSS/privacy-filter 的仓库伪装成 OpenAI 隐私过滤器,实际通过 loader.py 拉取 PowerShell 脚本并下载 EXE 运行,涉及本地部署模型的供应链风险。

5月7日星期四

r/LocalLLaMA

Reddit 实测:双卡跑大模型,PCIe 带宽可能没你想的那么吃紧

用户 ziphnor 用两张 RTX 5060 Ti 16GB 跑 vLLM,开启张量并行(TP=2)处理 32k 上下文预填充。实测 PCIe 峰值带宽只跑到 3–4 GB/s,大约占满一条 PCIe 4.0 x4 通道的 40%–50%。预填充速度在不同设置下分别达到约 840–850、1500 和 1600–1700 tokens/s。

推荐理由:用户 ziphnor 用两张 RTX 5060 Ti 跑 vLLM 张量并行,实测 32k 上下文预填充时 PCIe 峰值带宽仅 3–4 GB/s,占 PCIe 4.0 x4 通道的四到五成。

5月6日星期三

r/LocalLLaMA

Qwen 3.6 27B 用上 MTP 后推理速度提升 2.5 倍,48GB 显存可跑 26 万上下文

这篇帖子来自 Reddit 的 r/LocalLLaMA,作者分享了一个 llama.cpp 的 PR,为 Qwen 3.6 27B 模型添加了 MTP(多令牌预测)支持,实测推理速度提升了 2.5 倍。在 Mac M2 Max 96GB 上达到了 28 tok/s 的生成速度。

推荐理由:llama.cpp 的 PR 为 Qwen 3.6 27B 加入 MTP 支持,实测推理提速 2.5 倍,并在 48GB 显存下支持 26 万上下文,为本地 agentic coding 提供了可参考的配置方案。

r/LocalLLaMA

Gemma 4 出了 MTP 草稿模型,解码速度翻倍但输出质量不变

Google 在 Hugging Face 上放了 4 个 Gemma 4 的 MTP 检查点。MTP 的做法是拿一个小号草稿模型一次预测好几个 token,再由主模型并行验证,相当于让模型“先猜后验”,最终解码速度能提一倍,而且输出质量跟原来一模一样。不过 Reddit 原帖被网络策略挡了,正文没披露具体模型尺寸、硬件要求或实测延迟数据。

推荐理由:Google 在 Hugging Face 发布 4 个 Gemma 4 的 MTP 检查点,用小模型先猜、主模型并行验证,解码速度提一倍而输出质量不变。

5月5日星期二

r/LocalLLaMA

SenseNova-U1-8B-MoT 开源多模态架构引发讨论,去掉 VE 和 VAE 的单体设计是亮点还是噱头?

商汤开源了一个叫 SenseNova-U1-8B-MoT 的 8B 多模态模型,能理解图文也能直接生成图片。它最特别的地方是用了 NEO-Unify 架构,把传统多模态模型里常见的 VE(视觉编码器)和 VAE(变分自编码器)都去掉了,支持图文交错生成和高密度渲染。

推荐理由:商汤开源 8B 多模态模型 SenseNova-U1-8B-MoT,其 NEO-Unify 架构去掉视觉编码器和变分自编码器,把图文理解与图像生成放进同一模型,为多模态架构设计提供了一种不同取舍。

r/LocalLLaMA

Hugging Face 发了个交互式指南,横向对比不同框架下的强化学习训练环境

Hugging Face 的后训练团队花了一个月,用 verifiers、OpenEnv、Nemo-Gym、OpenRewards 等几套框架分别搭了强化学习环境,然后实际训模型来看哪种方案在扩展时更顺手。他们把这个过程做成了交互式指南,方便你点进去对比。

推荐理由:Hugging Face 后训练团队用一个月把 verifiers、OpenEnv、Nemo-Gym 等几套框架各搭一遍强化学习环境并实际训模型,横向比较它们在扩展时的差异。

4月30日星期四

r/LocalLLaMA

Qwen 发布 Qwen-Scope,用稀疏自编码器给 Qwen 3.5 模型做“内部体检”

Qwen 团队开源了 Qwen-Scope,这是一套针对 Qwen 3.5 系列(从 2B 到 35B MoE)的稀疏自编码器(SAE)。SAE 的作用是把模型内部那些纠缠在一起的激活信号拆解开,变成一个个相对独立的“特征”,方便人去看懂和调试。

推荐理由:Qwen 开源了覆盖 2B 到 35B MoE 全层残差流的稀疏自编码器 Qwen-Scope,把模型内部纠缠的激活信号拆成独立特征,供人查看和调试。

r/LocalLLaMA

inclusionAI 在 Hugging Face 开源了 Ling-2.6-1T,一个 1 万亿参数的模型

这个模型用了 MLA 和线性注意力,还加了一个叫“上下文过程冗余抑制”的技术,目的是降低思维链推理时的计算开销。帖子提到了 AIME26 和 SWE-bench Verified 两个基准,但正文没披露具体分数,所以实际表现还不清楚。另外,Reddit 原帖被网络屏蔽了,目前只能看到标题和简介,更多细节得去 Hugging Face 模型页翻。

推荐理由:inclusionAI 在 Hugging Face 开源万亿参数的 Ling-2.6-1T,采用 MLA 与线性注意力并加入上下文过程冗余抑制,为关注大模型推理优化的读者提供架构参考。

4月29日星期三

r/LocalLLaMA

Mistral 发布 1280 亿参数模型,支持图文输入和函数调用,高收入公司商用需额外授权

Mistral AI 在 Hugging Face 上放出了 Mistral Medium 3.5,一个 1280 亿参数的稠密模型,上下文窗口拉到 25.6 万 token。它能吃文本和图片,支持函数调用和 JSON 格式输出,推理强度可以按请求设成“无”或“高”。

推荐理由:Mistral AI 在 Hugging Face 发布 1280 亿参数稠密模型 Mistral Medium 3.5,支持图文输入、函数调用与可调推理强度,上下文窗口达 25.6 万 token。

r/LocalLLaMA

小米放出 MiMo-V2.5:3100 亿总参数,每次只激活 150 亿的稀疏 MoE 模型

Reddit 上有人贴了小米 MiMo-V2.5 的 Hugging Face 链接,不是 Pro 版。架构是稀疏 MoE,总参数量 310B,每次推理只激活 15B 参数,相当于用 150 亿参数模型的计算量去撬动一个 3100 亿参数的知识容量。

推荐理由:小米在 Hugging Face 放出非 Pro 版 MiMo-V2.5,采用稀疏 MoE 架构,310B 总参数每次推理只激活 15B,以较小计算量调用大参数容量的设计思路。

NVIDIA 博客

英伟达发布 Nemotron 3 Nano Omni:一个模型同时看懂图文、听懂语音,做 AI 代理时吞吐量号称是同类 9 倍

英伟达在 2026 年 4 月 28 日开源了 Nemotron 3 Nano Omni,一个能同时处理文字、图片、音频、视频、文档、图表和屏幕界面的多模态模型。它用了 30B-A3B 的混合专家架构(MoE),实际激活的参数量是 3B,配合 Conv3D 和 EVS 技术来处理音视频,上下文窗口拉到 256K。

推荐理由:英伟达开源 Nemotron 3 Nano Omni,一个模型同时处理图文音视频,激活参数 3B、上下文 256K,为想搭多模态 agent 的团队提供了一条开源路径。

4月24日星期五

r/LocalLLaMA

DeepSeek V4 发布:1.6T 参数的 Pro 版和 284B 的 Flash 版,MIT 开源,支持 100 万 token 上下文

DeepSeek 放出了两个 V4 模型,都走 MIT 开源协议,上下文窗口拉到 100 万 token。Pro 版总参数 1.6T,每次推理只激活 49B;Flash 版总参数 284B,激活 13B。激活参数占比很低,意味着如果跑分靠谱,自己部署长上下文模型的硬件门槛和成本会降一截。

推荐理由:DeepSeek 以 MIT 协议开源 V4 的 Pro 与 Flash 两版,上下文窗口均达 100 万 token,激活参数分别只有 49B 和 13B,自部署长上下文模型的硬件门槛由此有了新的参照。

Hugging Face 博客

DeepSeek-V4 发布:百万 token 上下文,这次是给干活用的 agent 准备的

DeepSeek 发了 V4,分 Pro 和 Flash 两个版本,都支持 100 万 token 的上下文窗口。Pro 版总参数 1.6 万亿,每次推理激活 490 亿;Flash 版总参数 2840 亿,激活 130 亿。跑分不是最顶尖的,但这不是重点。

推荐理由:DeepSeek-V4 分 Pro 和 Flash 两版,均支持 100 万 token 上下文,Pro 版总参数 1.6 万亿、激活 490 亿,Flash 版总参数 2840 亿、激活 130 亿。

4月23日星期四

量子位 · 公众号

Qwen3.6-27B 开源,参数只有前代旗舰的十五分之一,但在智能体编程上反超了 397B 模型

Qwen 放出了 Qwen3.6-27B 的权重,一个 270 亿参数的稠密模型。官方说它在四项智能体编程基准上全面超过了自家上一代 3970 亿参数的旗舰 Qwen3.5-397B。

推荐理由:Qwen 开源 270 亿参数的稠密模型 Qwen3.6-27B,官方称其在四项智能体编程基准上超过自家 3970 亿参数的上一代旗舰。