跳到正文

千问 Qwen

阿里千问 Qwen 系列的开源发布与迭代:从旗舰模型到端侧小模型的全谱系动态。

最新精选

第 181–200 条 · 共 215 条

5月2日星期六

r/LocalLLaMA

Qwen 3.6 跑分赢,但 Gemma 4 实际用起来更省心:本地跑 27B/31B 视觉模型的 7 条实测发现

一位 Reddit 用户把 Qwen 3.6 和 Gemma 4 的 27B/31B 视觉模型拉到本地,用 vLLM 跑 FP8 精度对比。Qwen 在 GeoGuessr 这种难图上一次推理能烧掉 8000 多个 token,Gemma 经常 1500 个就搞定;Qwen 做视频还得先花 2 FPS 预处理。

推荐理由:一位 Reddit 用户用 vLLM 在本地对比 Qwen 3.6 与 Gemma 4 的 27B/31B 视觉模型,Qwen 在难图上单次推理耗 8000 多 token,Gemma 常 1500 个就完成。

r/LocalLLaMA

有人在 Windows 上直接用 vLLM 跑 Qwen3.6-27B,单张 RTX 3090 跑到 72 tok/s

Reddit 用户 One_Slip1455 发了个原生 Windows 版 vLLM 启动器,不用 WSL 也不用 Docker。在一张 RTX 3090 上跑 Qwen3.6-27B(INT4 量化),短上下文能到 72 tok/s。

推荐理由:Reddit 用户发布原生 Windows 版 vLLM 启动器,无需 WSL 或 Docker,在单张 RTX 3090 上以 INT4 量化运行 Qwen3.6-27B,短上下文达到 72 tok/s。

5月1日星期五

r/LocalLLaMA

PFlash:在 RTX 3090 上跑 128K 上下文,预填充比 llama.cpp 快 10 倍

PFlash 让 Qwen3.6-27B 的 Q4_K_M 量化模型在单张 RTX 3090 上处理 12.8 万 token 的输入时,首 token 延迟从 llama.cpp 冷启动的 248.4 秒压到 24.8 秒。做法是用一个 Qwen3-0.6B 小模型当“打分员”,挑出最重要的 5% 文本片段喂给大模型,省掉了大量无关计算。

推荐理由:PFlash 用 Qwen3-0.6B 小模型挑出 5% 关键片段喂给大模型,把 RTX 3090 上 12.8 万 token 输入的首 token 延迟从 248.4 秒降到 24.8 秒。

r/LocalLLaMA

Qwen3.6-27B 在单张 RTX 3090 上跑到 21.8 万上下文,工具调用也稳了

一位 Reddit 用户用一张 24GB 显存的 RTX 3090 跑 Qwen3.6-27B(一个 270 亿参数的模型),把上下文窗口推到了约 21.8 万个 token,生成速度在每秒 50 到 66 个 token 之间。

推荐理由:一位 Reddit 用户用单张 24GB 的 RTX 3090 把 Qwen3.6-27B 的上下文推到约 21.8 万 token,生成速度每秒 50 到 66 个 token,并修复了工具调用的显存溢出问题。

r/LocalLLaMA

RTX 5080 16GB 跑长上下文编程:Qwen3.6-35B-A3B 在 128K 窗口下稳在 30 t/s,刚启动时能到 89 t/s

一位 Reddit 用户用 RTX 5080 16GB 显卡本地跑编程 agent,测了 Qwen3.6-35B-A3B 这个 MoE 模型(总参数 35B,每次激活 3B)。刚加载完上下文时速度有 89 t/s,等上下文塞满到 128K token 后,生成速度还能维持在 30 t/s,而且回复质量没掉。

推荐理由:Reddit 用户用 RTX 5080 16GB 本地跑 Qwen3.6-35B-A3B 编程 agent,128K 上下文下生成速度仍保持 30 t/s,刚加载完为 89 t/s。

4月30日星期四

MIT Technology Review · AI

Goodfire 发布 Silico,一个能让你像调试代码一样调试大模型内部参数的工具

Goodfire 推出了一款叫 Silico 的工具,让工程师可以在训练过程中直接查看和调整模型的参数,也就是决定模型行为的那些“旋钮”。它能把模型里的神经元和通路画成地图,比如他们在 Qwen 3 里发现一个神经元,激活后模型回答会变成电车难题式的道德困境。

推荐理由:Goodfire 的 Silico 让工程师在训练中直接查看并调整模型参数,还能把神经元和通路画成地图,为理解模型行为提供了一种可视化调试路径。

r/LocalLLaMA

实测:本地跑 Qwen-3.6-27B 跟闭源模型比,到底差多少

作者拿一个自动研究循环任务测了 5 个模型,只有 Qwen-3.6-27B 接近完成。本地用 q4_k_m 量化版跑了约 8 小时,消耗 3.9 万 token(上限 4.5 万);作为对比,全精度 Qwen 通过 OpenRouter 调用用了 440 万 token,花费 0.939 美元。

推荐理由:作者用自动研究循环任务对比本地量化版 Qwen-3.6-27B 与闭源模型,只有它接近完成,并给出 3.9 万 token 与全精度版 440 万 token 的消耗差距。

r/LocalLLaMA

实测:用小模型跑编程 agent,哪些环节会崩

作者花了几周时间,用 7B 以下的本地小模型和免费云端模型跑多文件编程任务,发现结构化输出很不靠谱。崩得最多的地方有三个:模型在回复里乱加 markdown 代码块标记,把编辑内容写到错误的文件里,以及分不清该读文件还是写文件。

推荐理由:作者用几周时间测试 7B 以下本地小模型跑多文件编程任务,记录下结构化输出最常崩的三个环节,并给出后处理、JSON schema 校验等补救办法。

r/LocalLLaMA

Qwen 发布 Qwen-Scope,用稀疏自编码器给 Qwen 3.5 模型做“内部体检”

Qwen 团队开源了 Qwen-Scope,这是一套针对 Qwen 3.5 系列(从 2B 到 35B MoE)的稀疏自编码器(SAE)。SAE 的作用是把模型内部那些纠缠在一起的激活信号拆解开,变成一个个相对独立的“特征”,方便人去看懂和调试。

推荐理由:Qwen 开源了覆盖 2B 到 35B MoE 全层残差流的稀疏自编码器 Qwen-Scope,把模型内部纠缠的激活信号拆成独立特征,供人查看和调试。

量子位 · 公众号

新加坡国立等团队提出 ViF,专治多智能体协作时的视觉幻觉传染

多智能体系统里有个麻烦:一个模型看图说话出错,把错误描述传给下一个模型,下一个模型再添油加醋,幻觉就像滚雪球一样越滚越大。新加坡国立大学 LV-Lab 等团队搞了个叫 ViF 的方法,不改造模型本身,即插即用。核心思路是不再只传文字,而是把视觉信息打包成“视觉接力令牌”塞进对话流里,同时用分层注意力重分配让模型多看该看的地方。

推荐理由:新加坡国立大学等团队提出 ViF,把视觉信息打包成中继令牌放进多智能体对话流,不改模型即可缓解文字传递导致的幻觉累积。

r/LocalLLaMA

用 Kokoro 82M 和 Qwen 在本地把 PDF 转成有声书

Reddit 用户 purellmagents 搭了一套完全跑在本地的 PDF 转有声书流程,用 Kokoro 82M 做语音合成,Qwen 3.5 0.8B 或 2B 处理文本,llama.cpp 做推理,整个应用用 Tauri 2.0 打包,在 M1 Mac 上运行。工作方式是先读前 15 句,边读边准备下 15 句,减少等待。

推荐理由:Reddit 用户用 Kokoro 82M、Qwen 和 llama.cpp 在 M1 Mac 上搭出完全本地的 PDF 转有声书流程,边读前 15 句边准备下 15 句的做法提供了一种降低等待的本地推理组织思路。

4月29日星期三

r/LocalLLaMA

双卡 RTX 5060 Ti 16GB 跑通 Qwen3.6 27B,vLLM 下跑到约 60 tok/s,支持 204K 上下文

一位用户用两张 RTX 5060 Ti 16GB 显卡,通过 vLLM 部署了 Qwen3.6 27B 模型。实测在 8K 上下文时生成速度约 62–66 tok/s,两张卡共占用 32GB 显存。配置上开了张量并行(TP=2)、fp8 KV 缓存、多 token 预测(MTP 一次猜 3 个 token),并把上下文窗口拉到了 204800。

推荐理由:一位用户用两张 RTX 5060 Ti 16GB 通过 vLLM 部署 Qwen3.6 27B,实测 8K 上下文生成约 62–66 tok/s,并列出张量并行、fp8 KV 缓存与 MTP 等具体配置。

4月28日星期二

机器之心 · 公众号

联影智能开源了首个能看懂医疗视频的模型方案,还带了一个52万条数据的评测集

联影智能放出了 uAI-NEXUS-MedVLM,一个专门让大模型理解超声、内窥镜这类医疗视频的开源方案,配套论文中了 CVPR 2026。他们同时发布了一个叫 MedVidBench 的评测集,包含 53.2 万条视频-指令对,覆盖 8 种医疗视频来源和 8 类任务。

推荐理由:联影智能开源了面向超声、内窥镜等医疗视频的大模型方案 uAI-NEXUS-MedVLM,并同步发布含 53.2 万条视频指令对的 MedVidBench 评测集。

r/LocalLLaMA

本地跑代码模型终于能干活了:27B 模型在 Terminal-Bench 2.0 上拿了 38.2%,落后云端前沿模型约 6-8 个月

Antigma 用一套 agent 流程测了多个 27B–32B 的开源模型,跑的是 Terminal-Bench 2.0 的 89 个任务,用的是官方默认超时设置,没放宽条件。成绩最好的是 Qwen 3.6-27B,89 题做对 34 题,得分 38.2%。这个分数本身不算高,现在云端最强的模型能到 80% 左右。

推荐理由:Antigma 用统一 agent 流程在 Terminal-Bench 2.0 的 89 个任务上测了多个 27B 至 32B 开源模型,最好成绩为 Qwen 3.6-27B 的 38.2%,与云端前沿模型约 80% 的水平相差 6 至 8 个月。

4月27日星期一

Hacker News 首页

在万米高空断网跑大模型:M5 Max 撑了 10 小时,但一根充电线让我亏了 34W 供电

作者在伦敦飞拉斯维加斯的 10 小时航班上,用一台顶配 MacBook Pro M5 Max(128GB 统一内存、40 核 GPU)离线跑了 Gemma 4 31B 和 Qwen 4.6 36B 两个本地模型。他主要用 DuckDB 搭了个云账单分析工具,还处理了约 400 万 token 的零散编码任务。

推荐理由:作者在10小时航班上用顶配MacBook Pro M5 Max离线运行两个本地大模型,并记录下不同充电线导致60W与94W供电差异对推理的影响。

机器之心 · 公众号

苹果新论文问:多模态模型没开口的 logits 里,到底藏了多少画面信息?

苹果这篇论文直接测了一个安全问题:视觉语言模型在生成回答前,内部那串“候选词概率”(logits)会不会把图片细节漏出去。他们在 CLEVR 和 MSCOCO 上做实验,发现只靠排名前 30 到 80 的 logits 值,就能反推出图片里有没有噪声、目标物体的特征,甚至部分背景属性。

推荐理由:苹果在 CLEVR 和 MSCOCO 上实验发现,仅凭排名前 30 到 80 的 logits 就能反推出图片噪声、目标特征和部分背景属性,为视觉语言模型的输出接口风险提供了可量化的证据。

4月24日星期五

机器之心 · 公众号

复旦等团队提出 HERMES:把 KV 缓存当分层记忆用,流式视频理解首 token 延迟最高降 10 倍

这篇讲的是复旦大学、上海科学智能研究院和新加坡国立大学一起搞的 HERMES,一个不用重新训练就能加速流式视频理解的框架。核心思路是把模型里的 KV 缓存(你可以理解成模型在推理时记下的“草稿纸”)重新组织成三层记忆:当前帧的短期记忆、最近几帧的中期记忆,以及更早帧压缩后的长期记忆。

推荐理由:复旦大学等团队提出免训练的 HERMES 框架,把 KV 缓存组织成三层记忆来加速流式视频理解,首 token 延迟最高降低 10 倍,为实时视频场景的推理优化提供了一条可迁移思路。

4月23日星期四

量子位 · 公众号

Qwen3.6-27B 开源,参数只有前代旗舰的十五分之一,但在智能体编程上反超了 397B 模型

Qwen 放出了 Qwen3.6-27B 的权重,一个 270 亿参数的稠密模型。官方说它在四项智能体编程基准上全面超过了自家上一代 3970 亿参数的旗舰 Qwen3.5-397B。

推荐理由:Qwen 开源 270 亿参数的稠密模型 Qwen3.6-27B,官方称其在四项智能体编程基准上超过自家 3970 亿参数的上一代旗舰。

彭博科技

阿里在通义千问 App 里接入了东航订票,用户能直接搜航班下单

阿里把中国东方航空的机票预订功能塞进了通义千问 App,用户不用跳转就能完成航班搜索和下单。这是通义千问的 agent 技术第一次开放给大型商业伙伴,意味着它从聊天助手往交易环节里走了一步。不过正文没披露具体上线地区、舱位覆盖、支付流程和双方怎么分账,所以实际体验和商业回报还得再等等看。

推荐理由:阿里将东航机票预订接入通义千问 App,用户无需跳转即可搜索航班并下单,这是其 agent 技术向大型商业伙伴开放的一步。

4月22日星期三

Hacker News 首页

Qwen 开源 27B 稠密模型,编程能力超过自家 397B 的 MoE 老旗舰

Qwen 放出了 Qwen3.6-27B,一个 270 亿参数的稠密模型,主打编程,而且直接开源。它最狠的地方是跑分超过了上一代 3970 亿总参数(每次激活 170 亿)的 MoE 模型 Qwen3.5-397B-A17B。在 SWE-bench Verified 上拿了 77.2 分,比老旗舰的 76.2 高。

推荐理由:Qwen 开源 270 亿参数的稠密编程模型 Qwen3.6-27B,在 SWE-bench Verified 上以 77.2 分超过上一代 3970 亿总参数的 MoE 旗舰,小体量稠密模型与超大 MoE 的这次对比是主要看点。