跳到正文

千问 Qwen

阿里千问 Qwen 系列的开源发布与迭代:从旗舰模型到端侧小模型的全谱系动态。

最新精选

第 101–120 条 · 共 205 条

5月24日星期日

机器之心 · 公众号

ICML 2026 中了一篇让视觉模型学会“多条思路并行思考”的论文,但正文被验证页挡住了

这篇被 ICML 2026 接收的论文叫 Visual Para-Thinker,给视觉语言模型加了一套并行思考框架。核心是用 Pa-Attention 和 LPRoPE 把视觉推理拆成四条独立路径,让模型同时从不同角度理解图像,再综合出答案。训练数据是 16.3 万组问答对,规模不算大,所以泛化能力得打个问号。不过目前文章页面被微信环境异常验证挡住了...

推荐理由:这篇 ICML 2026 论文给视觉语言模型装了一个并行思考框架,叫 Visual Para-Thinker。核心是把视觉推理拆成 4 条路径同时跑,用 Pa-Attention 和 LPRoPE 做隔离,防止路径间串味。训练数据是 16.3 万对问答,规模不算大,但够验证想法。我会先打个折:这是单篇研究,没有多团队复现或产品落地,所以重要性停在 79。对做多模态推理加速和内部机制拆解的人,这篇值得看,但别当成熟方案直接用。

r/LocalLLaMA

KV 缓存量化对模型伤害不大,权重量化才是大头:Qwen3.6 27B 的一次小测试

Reddit 用户 hopbel 拿 Qwen3.6 27B 在 wikitext-2 上跑了一组 16k 上下文的近似 KLD 测试,想看看 KV 缓存量化和模型权重量化哪个更影响输出质量。他用 Q5_K_M 权重当基准,对比了两组配置:一组是 Q5_K_S 权重配 q4_0 的 KV 缓存,KLD 分数 0.016304;另一组是 Q4_K_XL ...

推荐理由:这篇 Reddit 帖子自己跑了一组对比实验,结论挺直接:KV 缓存量化带来的质量损失没那么可怕,模型本身的量化等级才是大头。数据给得清楚,Q5 模型加低精度 KV 缓存,KLD 反而比 Q4 模型加全精度 KV 缓存更低。我会先打个折,这只是一个模型在 wikitext-2 上的近似 KLD,不是严格消融实验,但作为一手测试,对玩本地部署的人有参考价值。正文没披露推理速度或显存占用的具体数字,这点比较可惜。

5月23日星期六

r/LocalLLaMA

club-rdna16:一个在 16GB AMD 显卡上实测本地大模型的仓库

这个仓库用一张 RX 6900 XT(16GB 显存)跑 llama.cpp,后端是 ROCm/HIP,专门验证 AMD 卡在本地跑大模型的实际表现。目前放出的一个亮点是 Qwen3.6 35B-A3B 这个 MoE 模型,用 q8 格式缓存 KV 状态,能稳定撑到 131k 上下文窗口。正文没披露具体的推理速度、功耗和温度数据,所以性能上限和日常可用...

推荐理由:这是一条 Reddit 帖子,不是论文或官方报告。作者把测试仓库公开了,但正文只给了能跑起来的配置条件,没放推理速度、显存占用曲线或可复现的完整日志。我会先打个折:它证明了 16GB A 卡跑大上下文 MoE 模型可行,这点挺省钱,但别急着当生产参考,信息缺口还很大。HKR 三项都踩中了,作为一条给本地 LLM 玩家的实操线索,上 featured 没问题。

r/LocalLLaMA

Agent 里的调度模型能做多小?有人用 3B 激活参数的 MoE 跑通了本地 ReAct 循环

这篇帖子来自一个叫 HomoAgens1 的本地部署实验,他把 Agent 的调度模型和写代码的大模型拆开看,专门测调度环节能缩到多小。他用的 Qwen3.6-35B-A3B 是个 MoE 模型,实际干活时只激活约 3B 参数,跑在一块 12GB 显存的 GPU 上,关了 30 个专家做 offload,生成速度能到每秒 40 个 token。实验发现...

推荐理由:我会先打个折:这是 Reddit 上的单人实验,不是正式发布,结论别当定论。但它的发现很实在——用 Qwen3.6-35B-A3B 跑 ReAct 编排,3B 激活参数就能在 12GB 显卡上跑到 40 t/s,成本够低。更小的模型不是推理先崩,而是工具调用纪律先坏,这个失败模式对选型很有参考价值。显存、速度和故障点都给了具体数字,对想在家用显卡上折腾 agent 的人是一手好参考。

r/LocalLLaMA

llama.cpp 新分支让 MoE 模型在 12GB 显存上跑得更快,RTX 2060 上速度从 19/22 tk/s 提到 26 tk/s

comanderxv 给 llama.cpp 开了个叫“experts first”的分支,专门优化混合专家模型(MoE)的显存调度。做法是把常用的专家模块提前缓存到显存里,实测用 RTX 2060(12GB 显存)跑 Qwen3.6-35B-A3B 模型,专家缓存命中率约 62%,生成速度从原来的 19 或 22 token/秒提升到了 26 tok...

推荐理由:HKR 三项都踩中了:钩子是一块 12GB 的老卡把 35B MoE 速度拉上来一截,有缓存机制和命中率数据撑着,话题又打在本地推理的成本神经上。不过这事目前还局限在本地推理的小圈子,所以放在 featured 档刚好,不用拔到必读。

5月22日星期五

AI HOT 精选

阿里千问 App、PC 及网页端上线 Qwen3.7-Max,免费可用

千问 App 更新到 6.9.7 版就能在对话框里切到 Qwen3.7-Max,PC 和网页端也一样,目前免费。官方说这个模型主打“让模型进业务流程干活”,能写代码、自动跑办公流程,还能扛住长任务——他们自己测了一次 35 小时、调用工具超过 1000 次的内核优化实验,全程没断思路。不过这些数据来自官方测试,实际体验会不会打折还得自己试。另外,API...

推荐理由:阿里把 Qwen3.7-Max 铺到千问全线产品,门槛降到免费,还特意强调 35 小时连续工具调用没崩,摆明了在打 agent 可靠性和零成本体验这两张牌。我会先打个折:正文没给基准测试、上下文窗口和 API 定价,所以实际能力上限和商用成本还看不清。但就凭多端同步上线和这个压测结果,对正在选模型做工具链集成的人来说,是个值得立刻上手试的信号。

5月21日星期四

新智元 · 公众号

中科大两篇顶会论文:教多模态大模型持续学新知识,同时不忘旧本事

中科大团队在顶会上发了两篇工作,专门解决多模态大模型“学新忘旧”的问题。一篇是 MMEVOKE,搞了一个包含 159 个子类、9422 个样本的评测集,用来检验模型在持续学习中会不会把之前的知识覆盖掉。另一篇是 KORE,提出用知识树扩充样本,再通过零空间约束微调来减少遗忘。正文没披露具体性能数字和训练成本,但思路很明确:让模型像人一样,学了新东西还能...

推荐理由:HKR-K 和 HKR-R 都站得住:文章给出了数据集规模和具体的微调机制。不过这只是论文阶段的知识注入方案,没有生产环境的验证或完整的复现细节,所以先打个折,放在低 featured 档。

5月20日星期三

AI HOT 精选

通义千问发布 Qwen3.7-Max,主打长时间自主干活和跨平台编程

Qwen 团队推出了 Qwen3.7-Max,一个专为智能体场景设计的闭源模型。它最显眼的能力是能长时间自主执行任务,官方演示了一个连续跑 35 小时、调用上千次工具的内核优化任务。在编程方面,它在 Terminal Bench 2.0 上拿了 69.7 分,超过了 DeepSeek-V4-Pro Max 的 67.9 分;在 SWE-Pro 这类复杂...

推荐理由:Qwen Studio 发了 Qwen3.7,一口气覆盖聊天、图像视频理解、图像生成、文档处理、网页搜索、工具调用和工件生成,摆明要往智能体方向走。我会先打个折:正文没给任何 benchmark、定价、上下文窗口或延迟数据,所以没法判断实际可用性和成本。亮点是工具调用和工件生成这两项,说明模型不只是聊天,而是被设计成能进业务流程干活。这点先别太激动,等看到具体评测和接入方式再说。

r/LocalLLaMA

英伟达放出 Nemotron-Labs-Diffusion 模型,用扩散解码把 8B 模型跑到 850 tok/s

英伟达发了 Nemotron-Labs-Diffusion 系列,包含 3B、8B 和 14B 三个稠密模型。这组模型同时支持传统的自回归解码和新的扩散并行解码,还带了一种叫 self-speculation 的加速技巧。最抓眼球的是 8B 版本在 GB200 上单并发能跑到每秒 850 个 token,作为对比,同样条件下自回归解码是 253 tok...

推荐理由:NVIDIA 这次没走自回归老路,拿扩散模型做了三个稠密 LLM,最小的 3B,最大的 14B。我会先打个折:目前只有 Reddit 帖子当信源,没有论文或技术报告,所以 850 tok/s 这个数先别太激动,正文没披露具体测试条件和 batch size。但方向本身有意思——扩散并行解码加上 self-speculation,理论上可以一次出多个 token,不用像自回归那样一个字一个字往外蹦,推理延迟能压下去。8B 模型在 GB200 上跑出这个速度,如果属实,对本地跑模型、做实时对话的人挺省钱。信息缺口也明显:没提训练数据、没提多语言能力、没...

r/LocalLLaMA

KV 缓存量化实测:TurboQuant 被高估,q5 值得多看两眼,对称 q8 可能白占显存

Anbeeld 用一张 RTX 3090 跑 Qwen 3.6 27B,在 64k 和 128k 上下文长度下测了 KV 缓存量化。先说结论:q4_0 在尾部 token 上的 KLD 比 q5_0 差了 32%,精度掉得明显;turbo4 比普通 q4_0 还慢 17%,显存却没省下多少,有点名不副实。q5_0 在精度和压缩率之间平衡得不错,但正文没...

推荐理由:我会先打个折:这篇测试只跑了一张 RTX 3090 和一个模型,结论不能直接套到其他卡或模型上。但它的好处是给了具体数字,比如 q4_0 在长上下文时尾部偏差比 q5_0 高 32%,turbo4 反而比 q4_0 慢 17%,对称 q8 可能白占显存。这些发现对玩本地推理的人有参考价值,不是泛泛而谈的评测。正文没披露更多硬件或复现细节,所以先别太激动,但作为社区一手数据,值得推给关注推理优化的人看一眼。

r/LocalLLaMA

6GB 显卡跑本地会议纪要的下限测试:Qwen3.5 0.8B 用 57 秒出结果,Granite 4 350M 快但会瞎编

一位用户在 RTX 3060 笔记本(6GB 显存)上拿 VoiceFlow 1.6.0 测了两款小模型,看谁能在本地把一段 4 分钟的会议转成纪要。Qwen3.5 0.8B 在 16K 上下文窗口下花了 57 秒完成总结,结果可用。Granite 4 350M 速度很快,0.6 到 2.8 秒就出稿,但会凭空捏造内容,比如编出币安和《星际迷航》的情节...

推荐理由:一个 Reddit 用户拿笔记本 3060 6GB 跑 VoiceFlow 1.6.0 做会议总结,Qwen3.5 0.8B 用 57 秒处理 4 分钟录音,Granite 4 350M 虽然快到 0.6-2.8 秒但会凭空编造内容。我会先打个折,这是单人单卡的一次性测试,不是系统评测,但 6GB 这个门槛和幻觉案例对想本地跑会议总结的人有直接参考价值,所以给 73 分 featured。

5月19日星期二

r/LocalLLaMA

Sapient 发布 HRM-Text 1B:40B token 预训练,成本约 1000 美元,数学和阅读理解分数超过 Llama3.2 3B

Sapient Intelligence 开源了一个 10 亿参数的小模型 HRM-Text 1B,用 16 张 GPU 跑了 1.9 天,喂了 400 亿个 token,总花费大概 1000 美元。他们自己测的榜单显示,这个 1B 模型在 MATH 数学题上拿了 56.2 分,在 DROP 阅读理解上拿了 82.2 分,两项都压过了 Meta 的 L...

推荐理由:我会先打个折:独立评测还没做完,MATH 56.2 和 DROP 82.2 都是自报分数,别急着全信。但 1000 美元预训练一个 1B 模型这件事本身就有信息量——它说明小团队也能用很少的算力做出能打的模型,对预算有限的开发者是个实在信号。正文没披露数据配比和消融实验,所以没法判断这 40B tokens 的质量到底多高。分数先按 78 给,等第三方跑完基准再考虑往上调。

量子位 · 公众号

京东和中科院信工所连发三篇论文,提出让大模型“自己教自己”的强化学习路线

这篇推文本身因为环境异常没加载出正文,我只能根据标题和外部信息给你还原一下。京东和中科院信工所联合发了三篇论文,核心思路叫 Self-Taught RLVR,也就是让模型在强化学习里自己生成训练信号、自己教自己,省掉人工标注或外部奖励模型。其中一篇叫 RLSD 的工作,在 Qwen3-VL-8B-Instruct 上只训了 200 步,就在 8 个基准...

推荐理由:我会先打个折:这不是哪个大厂发了新模型,而是京东和中科院信工所连着放了三篇论文,把 Self-Taught RLVR 这条路线从不同角度拆了一遍。亮点在 RLSD,它让模型自己生成推理步骤、自己打分、自己迭代,200 步就超过 GRPO 跑 400 步,等于训练量砍半还能赢,对算力吃紧的团队是个好消息。不过正文没披露复现需要多少卡、数据怎么配,这点先别太激动。整体属于有干货、有对比、但热度还没起来的阶段,放 featured 低位合适。

AI HOT 精选

Qwen3.7预览版上线竞技场,阿里视觉排名冲到第五

阿里云在 X 上官宣 Qwen3.7-Plus-Preview 已经挂上竞技场,同时提到自家在视觉榜单上排到第五。帖子没给具体跑分、参评模型数量,也没说 Qwen3.7 系列什么时候正式发,只说“迫不及待要发布”。我会先打个折:排名第五听着不错,但不知道跟谁比、怎么比,这点先别太激动。

推荐理由:Qwen3.7-Plus-Preview 上了 Arena 并拿到视觉第五,我会先打个折——正文没披露具体分数、同期参评模型有多少、也没说什么时候正式发布。排名能说明模型在视觉任务上有竞争力,但信息缺口不小,分数暂时放在 featured 低位。

AI HOT 精选

Qwen 3.7 预览版

通义千问发了条推,标题是 Qwen 3.7 预览版,但正文是空的。没写参数量多大、上下文窗口多长、什么时候能用、怎么访问、收不收费,也没给模型卡和跑分数据。目前只能当个预告看,具体信息得等后续公布。

推荐理由:H 和 R 都过了,因为 Qwen 3.7 预览版这个信号对旗舰模型竞争确实有分量。但 K 过不了:正文是空的,没披露任何技术细节或访问方式,读者看完只知道有个名字,没法判断实际进展。所以整体停在 featured,等有干货再升级。

r/LocalLLaMA

llama.cpp 合并 MTP 投机解码,Qwen3.6 27B 在 Strix Halo 上跑到 2.44 倍速

llama.cpp 在 PR #22673 里正式合并了 MTP(多 token 预测)投机解码支持。实测 Qwen3.6 27B 用 Q8_0 量化,在 Strix Halo 上从 7.4 tok/s 提到 18.1 tok/s,速度翻了 2.44 倍;双 RTX 3090 的 Q8_0 方案也从 25.7 tok/s 涨到 55.9 tok/s,约...

推荐理由:HKR 三项都满足:llama.cpp 合入了 MTP 投机解码,用 Qwen3.6 27B 在 Strix Halo 和 RTX 3090 上跑出了实打实的加速数字。范围限定在本地推理优化,不是大模型发布,78 分放在 featured 合适。

5月18日星期一

r/LocalLLaMA

Qwen 3.6 27B 在 24G 显存上的部署实测:后端、量化方案与参数对比

作者用一张 RTX 3090 24GB 跑 Qwen 3.6 27B,最终留用了 ik_llama.cpp 搭配 Qwen3.6-27B-MTP-IQ4_KS.gguf 这个量化版本。在 156k 上下文、q8_0 KV 缓存并开启 MTP 的设置下,输入约 5900 token 的提示、生成 1024 token 时,预填充速度约 1261 tok/...

推荐理由:这是一篇个人实测,不是官方发布,所以传播面窄一些,但信息密度很高。作者在单张 3090 上把 Qwen 3.6 27B 压进 24GB 显存,还跑通了 156k 上下文,最终选了 ik_llama.cpp 加 IQ4_KS 量化。prefill 能到 1261 tok/s,decode 72.9 tok/s,对本地部署来说相当可用。后端对比部分把 llama.cpp 系和 vllm 的取舍讲清楚了,对想自己搭推理服务的人有直接参考价值。我会先打个折:这只是单人单卡的一次测试,没有多卡、没有生产环境压测,但作为选型参考够用了。

r/LocalLLaMA

TIME:让 Qwen 模型只在需要时短思考,而不是一直过度推理

作者用 QLoRA 在 Qwen3 的 4B 到 32B 全系列上训练了一个叫 TIME 的方法,核心思路是当上下文发生变化时,模型才触发一段简短的中途推理,避免没完没了地“想太多”。帖子说数据集、notebook、训练脚本、课程学习方案和 TIMEBench 评测都公开了,24GB 显存就能训到 14B 规模。不过正文被 Reddit 的安全策略挡了...

推荐理由:我会先打个折:这是 Reddit 单帖发布,不是实验室论文,所以放在 featured 里 74 分比较合适。但内容本身挺实在——作者没去追长链推理,而是让模型在上下文切换时做短思考,避免“想太多”拖慢速度。用 QLoRA 在 Qwen3 四个尺寸上都训了,代码和数据全公开,24GB 显存能玩到 14B,这点如果是真的挺省钱。TIMEBench 评测也给了,不是空口说效果。整体对想自己动手调模型的人有直接参考价值,信息量够,判断也挂得住。

r/LocalLLaMA

骁龙 8 Elite 跑混合专家模型实测:CPU 推理反而比 NPU 快

一位 Reddit 用户用 24GB 内存的荣耀 Magic 7 Pro(骁龙 8 Elite)跑了几个混合专家(MoE)模型。在 Q4 量化下,LFM2-24b-a2b 跑到约 24 token/秒,Gemma 约 11 token/秒。比较意外的是,他这套配置里 CPU 推理速度比 NPU 和 GPU 都快,正文没披露具体用的什么推理框架和功耗数据...

推荐理由:这条来自 Reddit 个人测试,不是官方数据,权威性弱,但信息量够:24GB 手机、Q4 量化、LFM2-24b-a2b 跑 24 token/s、Gemma 跑 11 token/s,CPU 比 NPU/GPU 快。对想在手机上本地部署的人有参考价值,不过只有一台设备的数据,别当普遍结论。给 featured 低分段,因为话题热、数据具体,但来源单一。

5月17日星期日

r/LocalLLaMA

MiroThinker-1.7 开源版深度研究 agent 发布,基于 Qwen3 MoE,mini 版总参数量 30B 但推理时只激活 3B

MiroMindAI 把他们的深度研究 agent MiroThinker-1.7 放出来了,权重直接挂在 HuggingFace 上。mini 版挺有意思:总参数量 30B,但用了 MoE(混合专家)架构,实际干活时只激活 3B 参数,所以对本地消费级硬件比较友好。上下文管理这块,他们用了滑动窗口 K=5 加 episode 重启的策略,相当于每轮对...

推荐理由:这条消息来自 Reddit 帖子,实验室也不是一线大厂,所以重要性我打个折,但信息量够上 featured。开源权重加上 MoE 的 30B/3B 配置,对想自己跑 deep research 的人是个实在的钩子;滑窗和 episode 重启的上下文管理方案也给了可复现的细节。正文没披露具体 tok/s 数据,这点先别太激动,但话题本身会引发本地部署的性能讨论,值得放出来。