跳到正文

千问 Qwen

阿里千问 Qwen 系列的开源发布与迭代:从旗舰模型到端侧小模型的全谱系动态。

最新精选

第 161–180 条 · 共 215 条

5月8日星期五

AI HOT 精选

冻结模型里藏着可读的行为信号,Cygnus 靠适配器把 Qwen-32B 的 ARC 得分从 82% 拉到近 95%

Proprioceptive AI 搞了个叫 Cygnus 的技术,给已经冻结的大模型外挂一个自感知适配器,不重新训练就能读出模型内部残留的行为信号。做法是把隐藏状态投影到一个用 gl(4,R) 李代数定义的数学空间里,从中分离出他们称为“暗模式”的精度信号。

推荐理由:Proprioceptive AI 为冻结模型外挂自感知适配器,不重训即可从隐藏状态读出行为信号,Qwen-32B 的 ARC 得分由 82% 升至近 95%。

5月7日星期四

r/LocalLLaMA

Qwen 发布 WebWorld 系列模型,用 100 多万条真实网页操作轨迹训练,让模型学会在浏览器里干活

Qwen 在 Qwen3 基础上微调出了 WebWorld 32B、14B、8B 三个尺寸的模型,专门用来训练和评测能在网页上执行任务的智能体。训练数据包含超过 100 万条真实网页操作轨迹,模拟环境支持 30 步以上的连续操作,并且能同时看懂无障碍树、HTML、XML、Markdown 和自然语言描述这五种页面状态。

推荐理由:Qwen 基于 Qwen3 微调出 WebWorld 三个尺寸模型,用超 100 万条真实网页操作轨迹训练网页智能体,并支持 30 步以上连续操作与五种页面状态输入。

r/LocalLLaMA

在单张 RTX 3090 Ti 上跑 Qwen3.5/3.6 的 NextN MTP 投机解码指南

Reddit 用户分享了一个 llama.cpp 实操指南,用单张 RTX 3090 Ti 跑 Qwen3.5 和 3.6 的 NextN MTP(多 token 预测,一种让模型一次猜好几个词来加速生成的技术)。目前需要打两个还没合并的 PR:#22400 和 #22673。

推荐理由:Reddit 用户给出在单张 RTX 3090 Ti 上运行 Qwen3.5 和 3.6 的 llama.cpp 实操指南,依赖两个尚未合并的 PR,涉及 NextN MTP 投机解码的配置方法。

r/LocalLLaMA

Atlas 推理引擎开源,在 DGX Spark 上跑 Qwen3.6-35B-FP8 能稳定跑到每秒 100 多个 token

Avarok 把 Atlas 推理引擎开源了。它用 Rust 和 CUDA 写成,镜像只有约 2.5GB,冷启动不到两分钟。在一台 DGX Spark 上跑 Qwen3.5-35B,实测持续速度约 111 tok/s,作者说比 vLLM 快 3.0 到 3.3 倍。

推荐理由:Avarok 开源了用 Rust 和 CUDA 写的 Atlas 推理引擎,在 DGX Spark 上跑 Qwen3.5-35B 实测约 111 tok/s,作者称是 vLLM 的 3.0 到 3.3 倍。

5月6日星期三

r/LocalLLaMA

单张 RTX 5090 跑通 Qwen3.6 27B:NVFP4 量化加 MTP 投机解码,200k 上下文实测 73.6 tok/s

一位 Reddit 用户在单张 32GB 显存的 RTX 5090 上,用 vLLM 跑通了 Qwen3.6 27B 的 NVFP4 量化版,并验证了 200k 上下文长度。配置上用了 fp8_e4m3 的 KV 缓存、FlashInfer 和 3 个投机 token 的 MTP。

推荐理由:Reddit 用户用单张 RTX 5090 在 vLLM 上跑通 Qwen3.6 27B 的 NVFP4 量化版,并验证 200k 上下文,给出了 fp8_e4m3 KV 缓存与 MTP 投机解码的具体配置。

量子位 · 公众号

Claude 团队拿 Qwen 试了一种新训练法,把模型乱说话的比例从 68% 压到 5%

Anthropic 提出在预训练和对齐微调之间加一个叫 MSM 的训练阶段。他们在 Qwen2.5-32B 和 Qwen3-32B 上做了测试,模型乱说话的比例分别从 68% 和 54% 降到了 5% 和 7%。核心点是 MSM 是补强对齐微调,而不是替代它。

推荐理由:Anthropic 在 Qwen2.5-32B 和 Qwen3-32B 上测试了预训练与对齐微调之间的 MSM 阶段,失准率从 68% 和 54% 降至 5% 和 7%,并明确 MSM 是对齐微调的补强而非替代。

r/LocalLLaMA

Qwen 3.6 27B 用上 MTP 后推理速度提升 2.5 倍,48GB 显存可跑 26 万上下文

这篇帖子来自 Reddit 的 r/LocalLLaMA,作者分享了一个 llama.cpp 的 PR,为 Qwen 3.6 27B 模型添加了 MTP(多令牌预测)支持,实测推理速度提升了 2.5 倍。在 Mac M2 Max 96GB 上达到了 28 tok/s 的生成速度。

推荐理由:llama.cpp 的 PR 为 Qwen 3.6 27B 加入 MTP 支持,实测推理提速 2.5 倍,并在 48GB 显存下支持 26 万上下文,为本地 agentic coding 提供了可参考的配置方案。

机器之心 · 公众号

阿里开源 PromptEcho:用冻结的视觉语言模型给文生图训练打分,省掉额外训练成本

PromptEcho 的做法很直接:拿一个现成的、参数冻结的 Qwen3-VL-32B 模型,让它“读”一遍原始提示词,算出模型自己生成这些词的概率(交叉熵),然后把这个概率的负值当作连续奖励信号,喂给文生图模型做训练。好处是不用再单独训一个评分模型,省事。在 5000 张海报测试里,文字准确率从 68% 提到了 75%。

推荐理由:阿里开源 PromptEcho,用冻结的 Qwen3-VL-32B 直接生成连续奖励信号,省去单独训练评分模型,在 5000 张海报测试中把文字准确率从 68% 提到 75%。

机器之心 · 公众号

明略开源两套工具,让 Mac 跑本地模型和操控桌面

明略科技放出了两个开源项目:Cider 和 Mano-P 1.0,都是给苹果 M 系列芯片用的。Cider 是个推理加速引擎,在 M5 Pro 上跑 Qwen3-VL-2B 时,把生成第一个 token 前的等待时间缩短了 57% 到 61%。Mano-P 1.0 是个能操作电脑界面的模型,72B 版本在 OSWorld 测试里拿了 58.2 分。

推荐理由:明略科技开源 Cider 与 Mano-P 1.0,前者在 M5 Pro 上把 Qwen3-VL-2B 的首 token 等待缩短约六成,后者 72B 版本在 OSWorld 拿到 58.2 分。

r/LocalLLaMA

DeepSeek V4 便宜 17 倍,我实测了 10 天写代码哪些活能丢给本地模型

Reddit 用户 spencer_kw 把自己 10 天的编程工作流拆成 150 个任务,拿本地 Qwen 3.6 27B 和云端模型重新跑了一遍。结果 65% 的任务本地模型干得一样好,20% 勉强能用,只有 15% 必须上云端。他的 API 账单从每月 85 美元掉到 22 美元左右。

推荐理由:Reddit 用户把 10 天编程工作流拆成 150 个任务,用本地 Qwen 3.6 27B 与云端模型重跑,得出 65% 任务本地可胜任、15% 必须上云的分工比例,月 API 账单从 85 美元降到 22 美元。

5月5日星期二

r/LocalLLaMA

Heretic 1.3 发布:模型可复现、内置跑分、显存占用更低

Heretic 1.3 这个版本主要干了三件事。第一,它现在能把跑模型时的环境——PyTorch 版本、GPU 型号、驱动、加速库这些——都打包记录下来,别人照着做就能复现结果,不用再猜“为啥我跑出来不一样”。

推荐理由:Heretic 1.3 把 PyTorch、GPU、驱动等运行环境打包记录,他人可照此复现结果,同时内置基准测试并降低显存峰值占用。

r/LocalLLaMA

分隔符+严格提示词让 Gemma 4 防注入率从 21% 飙到 100%,15 个模型 6100 次测试的基准结果

一位 Reddit 用户用 15 个模型、7 种攻击方式跑了 6100 多次提示注入测试。核心做法是把不可信文档用一长串随机分隔符包起来,再配上严格指令。Gemma 4 E4B 的防御率直接从 21.6% 拉到 100%。这个基准的指标很实在,只看“拦截成功数除以(拦截成功数+拦截失败数)”,可复现。

推荐理由:一位 Reddit 用户用 15 个模型、7 种攻击方式跑了 6100 多次提示注入测试,其中长随机分隔符加严格指令的做法把 Gemma 4 E4B 的防御率从 21.6% 拉到 100%。

r/LocalLLaMA

MTPLX 让苹果芯片跑大模型快了一倍多,原生 MTP 推理引擎来了

一个叫 MTPLX 的推理引擎在 MacBook Pro M5 Max 上把 Qwen3.6-27B 的生成速度从每秒 28 个 token 提到了 63 个 token,快了 2.24 倍。测试用的是 4-bit MLX 量化,温度 0.6,top_p 0.95,top_k 20,最佳推测深度 D3。

推荐理由:MTPLX 在 MacBook Pro M5 Max 上把 Qwen3.6-27B 的生成速度从每秒 28 个 token 提到 63 个,2.24 倍提升来自内置 MTP heads,无需额外加载 drafter 模型。

r/LocalLLaMA

本地跑 Qwen 给 Codex 当代码审查员、协作者和挑刺对手的实测

robert896r1 把 Qwen3.6 27B 的 GGUF 量化版放在 Codex 旁边当代码校验器,并放出了一套可复现的评测流程。测试覆盖了 Bartowski 和 Unsloth 两种量化来源、65k 和 128k 上下文窗口,以及 q8 和 f16 的 KV 缓存精度。

推荐理由:作者把 Qwen3.6 27B 的 GGUF 量化版放在 Codex 旁当代码校验器,并公开了覆盖两种量化来源、65k 与 128k 上下文及 q8、f16 KV 缓存精度的可复现评测流程。

5月4日星期一

r/LocalLLaMA

用 Hermes Agent 和 qwen3.6-35b 在本地跑深度研究,生成了 21 页报告

一位 Reddit 用户用 Hermes Agent 框架搭配 qwen3.6-35b-a3b 的 Q6_K 量化版,在单张 RTX 4060 上跑了 6 轮循环、超过 5 小时,生成了一份 21 页的研究报告。生成速度约每秒 28 个 token。仓库里放了提示词、脚本、中间产物和最终报告。

推荐理由:Reddit 用户用 Hermes Agent 搭配 qwen3.6-35b 量化版,在单张 RTX 4060 上跑 6 轮循环生成 21 页报告,仓库附提示词、脚本与中间产物。

r/LocalLLaMA

Mistral Medium 3.5 128B 和 Qwen 3.5 122B A10B 在 4 张 RTX 3080 20GB 上的跑分对比

一位 Reddit 用户用 4 张 RTX 3080 20GB 显卡跑了两个大模型。Mistral Medium 3.5 128B 在 llama.cpp 里把张量拆分(tensor split)打开后,生成速度从每秒 10.37 个 token 翻倍到 21.59。

推荐理由:Reddit 用户用 4 张 RTX 3080 20GB 实测两个大模型,Mistral Medium 3.5 128B 开启张量拆分后生成速度从每秒 10.37 个 token 升至 21.59。

r/LocalLLaMA

一台 5 年老笔记本跑通 35B 模型:6GB 显存 + CPU 混合推理,插电 23 token/秒

Reddit 用户 abhinand05 在一台 5 年前的华硕 ROG Zephyrus G14 上跑起了 Qwen3.6-35B-A3B 模型。这台笔记本只有 RTX 2060 Max-Q 6GB 显存,搭配 24GB DDR4 内存和 Ryzen 7 处理器。插电时生成速度约 23 token/秒,不插电掉到 10 token/秒出头。

推荐理由:Reddit 用户在一台 5 年前的 6GB 显存笔记本上跑通 35B 模型,插电约 23 token/秒,展示了 CPU 混合推理与显存受限场景下的可行组合。

5月3日星期日

r/LocalLLaMA

本地模型后端生成基准测试:GLM、Qwen、DeepSeek 函数调用能力对比

AutoBe 发了一个后端代码生成基准,用函数调用来测模型设计数据库和 API 的能力。qwen3.5-35b-a3b 在测试里跟 gpt-5.4 打平,但样本量只有 4 个项目,而且评分工具是自己写的,可能有偏向。一个商场项目跑下来要消耗 2 到 3 亿 token,按 GPT 5.5 的定价算,单模型成本在 1000 到 1500 美元。

推荐理由:AutoBe 用函数调用测模型设计数据库和 API 的能力,qwen3.5-35b-a3b 在 4 个项目上与 gpt-5.4 打平,单个商场项目消耗 2 到 3 亿 token。

r/LocalLLaMA

论文称用低成本 FPGA 跑 Qwen3-30B-A3B Q4 推理,生成速度 18 t/s,量产成本预计 150 美元

这篇论文讲的是 Hummingbird+,用低成本 FPGA 跑大模型推理。他们拿 Qwen3-30B-A3B 的 Q4 量化版测试,生成速度能到每秒 18 个 token,板子带 24GB 显存,作者说量产的话成本能压到 150 美元左右。

推荐理由:论文提出 Hummingbird+,用低成本 FPGA 跑 Qwen3-30B-A3B 的 Q4 量化版,生成速度达每秒 18 个 token,板载 24GB 显存,作者预计量产成本约 150 美元。

r/LocalLLaMA

M1 Max 本地跑 10 个生图模型横评:Qwen-Image 蒸馏版 8 步出图比原版快 9 倍

一位 Reddit 用户在自己的 M1 Max(64GB 内存)上测了 10 个图像模型,从 SD 1.5 一路测到 Flux dev、Qwen-Image 和 Gemini。Qwen-Image Lightning 用 8 步蒸馏把出图时间从 93 分钟压到 10 分钟,效果还比原版好。

推荐理由:Reddit 用户用 M1 Max 实测 10 个图像模型,Qwen-Image Lightning 靠 8 步蒸馏把出图从 93 分钟压到 10 分钟,本地部署的提速路径由此有了具体样本。