跳到正文

千问 Qwen

阿里千问 Qwen 系列的开源发布与迭代:从旗舰模型到端侧小模型的全谱系动态。

最新精选

第 101–120 条 · 共 215 条

5月28日星期四

r/LocalLLaMA

一台 300 美元笔记本跑 Qwen 3.5 35B 模型,推理速度跑到每秒 10.33 个 token

一位 Reddit 用户在一台 300 美元买的联想 Ideapad Slim 3i 上,用纯 CPU 跑 Qwen 3.5 35B 模型(Q4_K_S 量化版),推理速度达到了每秒 10.33 个 token。这台机器是 i3-1215U 处理器,板载 8GB 内存加一条 32GB DDR4 扩展内存。

推荐理由:Reddit 用户用 300 美元的联想 Ideapad Slim 3i 纯 CPU 运行 Qwen 3.5 35B 的 Q4_K_S 量化版,推理速度达到每秒 10.33 个 token。

5月27日星期三

AI HOT 精选

Reachy Mini 机器人现在能完全在本地跑语音对话了

Hugging Face 给 Reachy Mini 机器人配了一套纯本地运行的语音对话方案,数据不用上传云端。他们用 speech-to-speech 库搭了一条流水线:先靠 Silero VAD 检测有没有人在说话,再用 Parakeet-TDT 把语音转成文字,接着交给大模型想怎么回,最后让 Qwen3-TTS 把文字念出来。

推荐理由:Hugging Face 为 Reachy Mini 搭了一条全本地语音对话流水线,从 Silero VAD、Parakeet-TDT 到 Qwen3-TTS 逐环节可查,为想在边缘设备上复现同类方案的人提供了完整技术路径。

AI HOT 精选

TRL 新增增量权重同步:只传模型变化的部分,每步传输量从 1.2GB 降到 20-35MB

异步强化学习训练有个很现实的问题:每一步训练器都得把整个模型发给推理引擎。一个 7B 模型用 bf16 格式就要传 14GB,换成万亿参数模型更是要传 TB 级别的数据。Hugging Face 团队发现,在两次优化步骤之间,大约 99% 的 bf16 权重其实完全没变,真正变动的部分很小。

推荐理由:Hugging Face 在 TRL 中实现增量权重同步,只传两次优化间变动的权重,Qwen3-0.6B 单步载荷从 1.2GB 降至 20 至 35MB,为分布式训练的通信开销提供了一种压缩思路。

5月26日星期二

阿里技术 · 公众号

南大和阿里发现 DiT 里的残差流拖慢收敛,改用跨层路由后训练快了近 9 倍

南京大学 LAMDA 组和阿里智能引擎团队提出了一种叫 DAR 的方法,把 DiT 模型里固定的残差累积,换成了按时间步动态选择路径的跨层路由。在 ImageNet 256×256 上拿 SiT-XL/2 试,FID 从 9.67 降到了 7.56,而且只用原来大约九分之一的训练步数就达到了同等收敛质量。

推荐理由:南大 LAMDA 与阿里团队把 DiT 固定的残差累积换成按时间步动态选路的跨层路由,在 ImageNet 上以约九分之一训练步数达到同等收敛质量。

AI HOT 精选

通义千问 Qwen3.7-Max 编程能力排到全球第二,Code Arena 得分 1541,仅次于 Claude

Qwen3.7-Max 在 Code Arena 编程评测上拿了 1541 分,排名第二,只比 Claude 低。官方说它能连续跑 35 小时的任务、单次调用工具超过 1000 次,原本要两周的项目几小时就能搞定。不过正文没披露具体测试环境、任务类型和对比模型的详细分数,实际生产表现还得看后续验证。

推荐理由:通义千问 Qwen3.7-Max 在 Code Arena 编程评测中以 1541 分位列全球第二,仅次于 Claude,官方同时给出连续运行 35 小时、单次调用工具超 1000 次的能力描述。

AI HOT 精选

面壁智能开源 MiniCPM5-1B,1B 参数在 AA-Index 上跑赢所有 2B 以下模型,量化后 0.5GB 能塞进手机和浏览器

面壁智能联合清华和 OpenBMB 开源了一个 1B 参数的小模型 MiniCPM5-1B。它在 AA-Index(一个综合评测榜单)上的得分超过了所有参数不到 2B 的模型,甚至比 3 个月前发布的 Qwen3.5-2B 效果还好,参数量却只有后者的一半。这个模型用 INT4 量化后权重文件只有 0.5GB,可以直接在手机和浏览器里跑。

推荐理由:面壁智能联合清华和 OpenBMB 开源 1B 参数模型 MiniCPM5-1B,AA-Index 得分超过所有 2B 以下模型,INT4 量化后仅 0.5GB,可在手机和浏览器运行。

r/LocalLLaMA

一位律师用 12 块 V100 显卡搭本地集群跑法律文书起草,Qwen3.5-122B 模型跑到约 50 token/秒

Reddit 上一位律师分享了自己用 12 块 32GB 显存的 SXM V100 显卡搭建本地 AI 集群的进展,专门用来起草法律文书。核心模型是 Qwen3.5-122B-A10B,在 4 块 V100 上推理速度大约 50 token/秒。

推荐理由:一位律师用 12 块 32GB 显存的 V100 搭建本地集群,在 4 块卡上以约 50 token/秒运行 Qwen3.5-122B 起草法律文书,展示了大模型本地部署在专业场景的可行配置。

5月25日星期一

r/LocalLLaMA

NuExtract3 发布:一个 4B 开源视觉模型,能把图片和文字转成 Markdown、做 OCR 和按模板抽信息,自己电脑就能跑

Numind 放出了 NuExtract3,一个基于 Qwen3.5-4B 的开源视觉语言模型,用 Apache-2.0 协议。它主要干三件事:把图片或文字转成 Markdown 格式、从图片里直接识别文字(OCR)、以及按你给的 JSON 模板把非结构化内容抽成结构化数据。模型只有 4B 参数,对硬件要求不高,官方说最低 4GB 显存就能在本地部署。

推荐理由:Numind 开源了 4B 视觉模型 NuExtract3,可把图片文字转成 Markdown、做 OCR 并按 JSON 模板抽取结构化数据,最低 4GB 显存即可本地部署。

5月24日星期日

r/LocalLLaMA

OpenBMB 在华为昇腾 NPU 上把大模型从头训成 1.58-bit,8B 模型性能保住全精度 97%

OpenBMB 放出了 BitCPM-CANN,一个在华为昇腾 NPU 上原生跑通的 1.58-bit(三值)大模型训练方案。他们用和 MiniCPM4 一样的架构与数据,从零训了 0.5B、1B、3B、8B 四个尺寸。

推荐理由:OpenBMB 在华为昇腾 NPU 上从零训练了 0.5B 到 8B 四个 1.58-bit 三值模型,8B 性能保留全精度的 97%,训练阶段即完成极低比特压缩。

r/LocalLLaMA

在 llama-server 网页里用原生工具做联网资料检索的实操分享

一位 Reddit 用户分享了怎么在 llama-server 自带的网页界面里,直接用 llama.cpp 的原生工具实现联网资料检索(也就是 web RAG)。

推荐理由:一位 Reddit 用户分享了在 llama-server 自带网页界面里调用 llama.cpp 原生工具实现联网检索的具体步骤,为本地部署模型接入实时资料提供了一条可复用的操作路径。

机器之心 · 公众号

ICML 2026 中了一篇让视觉模型学会“多条思路并行思考”的论文,但正文被验证页挡住了

这篇被 ICML 2026 接收的论文叫 Visual Para-Thinker,给视觉语言模型加了一套并行思考框架。核心是用 Pa-Attention 和 LPRoPE 把视觉推理拆成四条独立路径,让模型同时从不同角度理解图像,再综合出答案。训练数据是 16.3 万组问答对,规模不算大,所以泛化能力得打个问号。

推荐理由:ICML 2026 接收的 Visual Para-Thinker 用 Pa-Attention 和 LPRoPE 把视觉推理拆成四条并行路径,训练数据为 16.3 万组问答对。

r/LocalLLaMA

KV 缓存量化对模型伤害不大,权重量化才是大头:Qwen3.6 27B 的一次小测试

Reddit 用户 hopbel 拿 Qwen3.6 27B 在 wikitext-2 上跑了一组 16k 上下文的近似 KLD 测试,想看看 KV 缓存量化和模型权重量化哪个更影响输出质量。他用 Q5_K_M 权重当基准,对比了两组配置:一组是 Q5_K_S 权重配 q4_0 的 KV 缓存,KLD 分数 0.016304。

推荐理由:Reddit 用户 hopbel 用 Qwen3.6 27B 在 wikitext-2 上做 16k 上下文近似 KLD 测试,对比 KV 缓存量化与权重量化对输出质量的影响,为本地部署的量化取舍提供一组一手数据。

5月23日星期六

r/LocalLLaMA

club-rdna16:一个在 16GB AMD 显卡上实测本地大模型的仓库

这个仓库用一张 RX 6900 XT(16GB 显存)跑 llama.cpp,后端是 ROCm/HIP,专门验证 AMD 卡在本地跑大模型的实际表现。目前放出的一个亮点是 Qwen3.6 35B-A3B 这个 MoE 模型,用 q8 格式缓存 KV 状态,能稳定撑到 131k 上下文窗口。

推荐理由:作者公开了在 RX 6900 XT 上跑 llama.cpp 的测试仓库,其中 Qwen3.6 35B-A3B 以 q8 缓存 KV 状态可稳定撑到 131k 上下文,为 16GB AMD 显卡的本地部署留下一份实测配置参考。

r/LocalLLaMA

Agent 里的调度模型能做多小?有人用 3B 激活参数的 MoE 跑通了本地 ReAct 循环

这篇帖子来自一个叫 HomoAgens1 的本地部署实验,他把 Agent 的调度模型和写代码的大模型拆开看,专门测调度环节能缩到多小。他用的 Qwen3.6-35B-A3B 是个 MoE 模型,实际干活时只激活约 3B 参数,跑在一块 12GB 显存的 GPU 上,关了 30 个专家做 offload,生成速度能到每秒 40 个 token。

推荐理由:HomoAgens1 把 Agent 的调度与代码生成拆开,用激活约 3B 参数的 MoE 模型在 12GB 显存上跑通本地 ReAct 循环,生成速度达每秒 40 token,为调度环节的模型选型给出一个可复现的规模参考。

r/LocalLLaMA

llama.cpp 新分支让 MoE 模型在 12GB 显存上跑得更快,RTX 2060 上速度从 19/22 tk/s 提到 26 tk/s

comanderxv 给 llama.cpp 开了个叫“experts first”的分支,专门优化混合专家模型(MoE)的显存调度。

推荐理由:comanderxv 为 llama.cpp 新开 experts first 分支,优化 MoE 模型的显存调度,使 12GB 显存的老卡在 RTX 2060 上从 19/22 tk/s 提升到 26 tk/s。

5月22日星期五

AI HOT 精选

阿里千问 App、PC 及网页端上线 Qwen3.7-Max,免费可用

千问 App 更新到 6.9.7 版就能在对话框里切到 Qwen3.7-Max,PC 和网页端也一样,目前免费。官方说这个模型主打“让模型进业务流程干活”,能写代码、自动跑办公流程,还能扛住长任务——他们自己测了一次 35 小时、调用工具超过 1000 次的内核优化实验,全程没断思路。不过这些数据来自官方测试,实际体验会不会打折还得自己试。

推荐理由:阿里将 Qwen3.7-Max 接入千问 App、PC 和网页端并免费开放,官方称其可写代码、跑办公流程,还完成过一次 35 小时、调用工具超 1000 次的内核优化实验。

5月21日星期四

新智元 · 公众号

中科大两篇顶会论文:教多模态大模型持续学新知识,同时不忘旧本事

中科大团队在顶会上发了两篇工作,专门解决多模态大模型“学新忘旧”的问题。一篇是 MMEVOKE,搞了一个包含 159 个子类、9422 个样本的评测集,用来检验模型在持续学习中会不会把之前的知识覆盖掉。另一篇是 KORE,提出用知识树扩充样本,再通过零空间约束微调来减少遗忘。

推荐理由:中科大团队用 MMEVOKE 评测集和 KORE 微调方法,针对多模态大模型持续学习中的遗忘问题给出可复用的评测与训练思路。

5月20日星期三

AI HOT 精选

通义千问发布 Qwen3.7-Max,主打长时间自主干活和跨平台编程

Qwen 团队推出了 Qwen3.7-Max,一个专为智能体场景设计的闭源模型。它最显眼的能力是能长时间自主执行任务,官方演示了一个连续跑 35 小时、调用上千次工具的内核优化任务。在编程方面,它在 Terminal Bench 2.0 上拿了 69.7 分,超过了 DeepSeek-V4-Pro Max 的 67.9 分。

推荐理由:通义千问推出面向智能体场景的闭源模型 Qwen3.7-Max,官方演示其连续运行 35 小时、调用上千次工具完成内核优化,编程测试得分超过 DeepSeek-V4-Pro Max。

r/LocalLLaMA

英伟达放出 Nemotron-Labs-Diffusion 模型,用扩散解码把 8B 模型跑到 850 tok/s

英伟达发了 Nemotron-Labs-Diffusion 系列,包含 3B、8B 和 14B 三个稠密模型。这组模型同时支持传统的自回归解码和新的扩散并行解码,还带了一种叫 self-speculation 的加速技巧。

推荐理由:英伟达发布 Nemotron-Labs-Diffusion 系列,3B 到 14B 三个稠密模型同时支持自回归与扩散并行解码,并加入 self-speculation 加速技巧。

r/LocalLLaMA

KV 缓存量化实测:TurboQuant 被高估,q5 值得多看两眼,对称 q8 可能白占显存

Anbeeld 用一张 RTX 3090 跑 Qwen 3.6 27B,在 64k 和 128k 上下文长度下测了 KV 缓存量化。先说结论:q4_0 在尾部 token 上的 KLD 比 q5_0 差了 32%,精度掉得明显;turbo4 比普通 q4_0 还慢 17%,显存却没省下多少,有点名不副实。

推荐理由:Anbeeld 在 RTX 3090 上测 Qwen 3.6 27B 的 KV 缓存量化,给出 q4_0 尾部 KLD 比 q5_0 差 32%、turbo4 比 q4_0 慢 17% 等具体数字。