跳到正文

千问 Qwen

阿里千问 Qwen 系列的开源发布与迭代:从旗舰模型到端侧小模型的全谱系动态。

最新精选

第 141–160 条 · 共 215 条

5月14日星期四

机器之心 · 公众号

阿里达摩院用信息瓶颈做自奖励,让模型做数学题时多试几条不同的路

阿里达摩院发了篇 ACL 2026 论文,提出 I²B-LPO,解决强化学习微调时模型解题思路越来越像的问题。做法是在模型生成答案时,碰到它犹豫不决的节点就分叉出多条路径,再用一个基于信息瓶颈的自奖励机制筛掉重复的、留下真正不一样的解法。

推荐理由:阿里达摩院提出 I²B-LPO,在模型解题犹豫处分支采样,并用信息瓶颈自奖励筛出不同解法,缓解强化学习微调中思路趋同的问题。

AI HOT 精选

Unsloth 放出 Qwen3.6 MTP GGUF 模型,推理速度提升超 1.4 倍

Unsloth 创始人 Daniel Han 发了几个实验版 Qwen3.6 MTP GGUF 模型,用了一种叫“投机解码”的技术来加速推理。具体做法是让模型一次猜两个草稿 token(draft tokens=2),在速度和猜对率之间找了个平衡点。

推荐理由:Unsloth 创始人 Daniel Han 发布实验版 Qwen3.6 MTP GGUF 模型,用投机解码让模型一次猜两个草稿 token,在速度与猜对率之间取平衡,推理速度提升超 1.4 倍。

r/LocalLLaMA

双卡 RTX 3090 跑 Qwen 3.6 27B:48G 显存、26 万上下文窗口,生成速度 113 token/秒

一位 Reddit 用户用两张 RTX 3090 在 Ubuntu 上跑 Qwen 3.6 27B 模型,没上 NVLink。处理长文本时每秒能啃 4000 个 token,生成回答的速度是每秒 113 个 token。这个速度日常聊天或做文档处理都够用。

推荐理由:一位 Reddit 用户用两张 RTX 3090 在 Ubuntu 上跑 Qwen 3.6 27B,48G 显存撑起 26 万上下文,生成速度每秒 113 token,给出了消费级双卡本地部署长上下文模型的一套具体配置。

r/LocalLLaMA

老显卡 GTX 1080 跑 30B 混合专家模型,每秒能出 24 个 token

用户 mdda 在一台老机器(i7-6700、GTX 1080 8GB 显存、32GB 内存)上跑 Qwen 3.6 35B-A3B 这类约 300 亿参数的混合专家模型,推理速度到了每秒 24 个 token 左右,上下文窗口开到 128k。

推荐理由:用户 mdda 在 i7-6700 配 GTX 1080 8GB 显存的老机器上跑约 300 亿参数混合专家模型,推理速度约每秒 24 个 token,上下文开到 128k,给出了老硬件运行大模型的具体配置与实测数字。

5月13日星期三

Hacker News 首页

Needle:一个 26M 参数的小模型,专门做工具调用,能在普通电脑上跑到每秒 1200 token

Cactus 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万,小到可以在消费级设备上跑。它的推理速度很快,预填充阶段每秒能处理 6000 个 token,生成阶段每秒 1200 个 token。这个模型是从 Gemini 的工具调用能力蒸馏出来的,相当于把大模型怎么调用 API、怎么选函数这套本事,压缩进了一个极小的模型里。

推荐理由:Cactus 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数模型,预填充每秒 6000 token、生成每秒 1200 token,可在消费级设备本地运行。

r/LocalLLaMA

Needle:他们把 Gemini 的工具调用能力蒸馏进了一个 26M 小模型

Cactus Compute 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万。它用 Gemini 当老师,把怎么调用外部工具的能力蒸馏出来,塞进一个没有传统 MLP 层、靠注意力机制和门控结构的小模型里。在消费级设备上跑,预填充速度能到每秒 6000 个 token,解码速度每秒 1200 个 token。

推荐理由:Cactus Compute 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数的小模型,并给出消费级设备上每秒 6000 个 token 的预填充速度,为端侧工具调用提供了一种轻量方案。

5月12日星期二

r/LocalLLaMA

一台 16GB 显存 + 64GB 内存跑本地代码补全和智能体编程

Reddit 用户 grumd 在一张 RTX 5080(16GB 显存)和 64GB 内存的单机上同时跑了两套模型:Qwen2.5-Coder-7B Q6 做代码补全,Qwen3.6-35B-A3B Q8 做智能体编程(让模型自己规划步骤、调用工具写代码)。

推荐理由:Reddit 用户 grumd 在单张 16GB 显存显卡加 64GB 内存的机器上同时运行代码补全与智能体编程两套模型,并列出所用模型、量化方式和上下文长度。

r/LocalLLaMA

把 prompt 缓存用到强化学习训练里:长提示短回复场景下,Qwen3.5-4B 训练速度提升 7.5 倍

作者提出在强化学习训练时复用 prompt 缓存,专门针对那种提示很长、模型回复很短的任务。在 Qwen3.5-4B 上跑 16k token 提示、64 token 回复的例子,训练速度直接快了 7.5 倍。

推荐理由:作者把推理阶段的 prompt 缓存思路搬进强化学习训练,针对长提示短回复任务复用重复 token 计算,在 Qwen3.5-4B 上跑 16k 提示、64 token 回复时训练速度提升 7.5 倍。

5月11日星期一

r/LocalLLaMA

ExLlamaV3 连续更新:DFlash 让编程吞吐量翻三倍,多款模型推理再提速

ExLlamaV3 最近几个版本更新挺猛。v0.0.31 引入 DFlash 后,编程任务的生成速度从每秒 59.21 个 token 直接拉到 177.67,翻了近三倍。v0.0.32 专门优化了五款模型,其中 Trinity-Nano 在 6000 Pro² 显卡上的速度提升了 72.4%。

推荐理由:ExLlamaV3 在 v0.0.31 引入 DFlash,把编程任务生成速度从每秒 59.21 个 token 提到 177.67,v0.0.32 又针对五款模型优化,Trinity-Nano 在 6000 Pro² 上提速 72.4%。

机器之心 · 公众号

ICML 2026 论文:PRISM 框架让扩散语言模型做推理时扩展不再烧算力

这篇 ICML 2026 的论文给扩散语言模型(dLLM)提出了一套叫 PRISM 的推理时扩展方法。它把搜索过程拆成三层:先让模型并行生成多条推理路径,再对每条路径局部“回退重写”不靠谱的步骤,最后用模型自己当裁判打分筛选。在数学题集 GSM8K 上,LLaDA-8B-Instruct 的准确率从 67.58% 拉到了 85.30%。

推荐理由:ICML 2026 论文提出 PRISM 框架,用并行生成、局部回退重写和自评分筛选三层搜索做推理时扩展,在 GSM8K 上把 LLaDA-8B-Instruct 准确率从 67.58% 提到 85.30%。

AI HOT 精选

Qwen-Image-2.0 技术报告:把视觉理解模型和扩散模型拼在一起,生图和改图用一个框架搞定

这篇技术报告介绍了 Qwen-Image-2.0,一个把生图和精确修图合到一个模型里的方案。它的做法是把 Qwen3-VL 当成“条件编码器”,去理解你输入的指令,再连上一个多模态扩散模型来出图。指令最长能塞进 1000 个 token。报告里说,这套架构在多语言文字渲染、画面排版质量、以及人工打分上都有提升,尤其适合文字多、构图复杂的场景。

推荐理由:Qwen-Image-2.0 将 Qwen3-VL 作为条件编码器接入多模态扩散模型,把生图与精确修图合入同一框架,指令最长支持 1000 个 token,报告称多语言文字渲染与排版质量有提升。

AI HOT 精选

本地 35B 模型扛下作者一半日常工作,响应速度是云端 Claude Opus 4.5 的两倍

作者用五周时间测了约 1400 个日常工作请求,发现本地跑的 Qwen 3.6 35B 这类模型能搞定其中一半,平均响应 2.8 秒,比云端 Claude Opus 4.5 的 5.8 秒快了 2.1 倍。像邮件草拟、日程安排、摘要和行政杂活这些任务,本地模型完全够用。

推荐理由:作者用五周约1400个日常请求测试本地35B模型,其中一半任务可完成,平均响应2.8秒,比云端Claude Opus 4.5的5.8秒快2.1倍。

r/LocalLLaMA

MTP 实测:写代码能加速 71%,写小说反而变慢 9%,任务类型决定投机推理是帮忙还是帮倒忙

一位 Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理(让模型先猜后验证)的效果完全看任务类型。写代码时草稿被采纳的比例高达 79% 到 89%,用 F16 精度跑代码生成速度提升了 171%;但换成创意写作,Q4_K_M 量化下推理速度反而慢了 9%。

推荐理由:Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理在写代码时草稿采纳率高达 79% 到 89%,换成创意写作反而慢 9%,任务类型直接决定加速还是拖慢。

AI HOT 精选

MachinaCheck:用本地大模型把 CNC 图纸审核从半小时压到 30 秒

MachinaCheck 是一个跑在 AMD MI300X 上的多智能体系统,专门分析 STEP 格式的 CNC 零件图,判断能不能做、需要什么刀具。它用 Qwen 2.5 7B 模型在本地推理,靠 192GB 显存把客户设计数据留在厂里,不往外传。核心流程是先用纯代码解析几何特征,再让多个模型分工做工序分类、刀具匹配、可行性判断和报告生成。

推荐理由:MachinaCheck 把 CNC 图纸审核拆成几何解析与多智能体分工,用本地 Qwen 2.5 7B 在 AMD MI300X 上完成刀具匹配和可行性判断,设计数据不出厂。

5月10日星期日

新智元 · 公众号

大模型预测太短视?Next-ToBE 让模型多看几步,ICLR 2026 新方法在 36 项测试里赢了 35 次

华东师大和复旦的研究者发现,现在大模型训练时只盯着“下一个词”来猜,容易让模型变得自信但目光短浅。他们提出 Next-ToBE,训练时给模型一个“软目标”,让它同时参考未来几个词的信息,但推理时不用改,还是正常的逐词生成。

推荐理由:华东师大和复旦研究者提出 Next-ToBE,训练时让模型参考未来几个词的软目标,推理时仍逐词生成,在 36 项测试中赢了 35 次。

r/LocalLLaMA

BeeLlama.cpp:用 DFlash 和 TurboQuant 让 Qwen 3.6 27B 在单张 3090 上跑 20 万上下文,速度翻倍

Anbeeld 发了一个 llama.cpp 的分支 BeeLlama.cpp,主要加了 DFlash(一种省显存的注意力机制)和 TurboQuant(更快的量化方案),还支持推理和视觉任务。

推荐理由:Anbeeld 发布 llama.cpp 分支 BeeLlama.cpp,加入 DFlash 省显存注意力与 TurboQuant 量化,让 Qwen 3.6 27B 在单张 3090 上支持 20 万上下文并提速 2 至 3 倍。

5月9日星期六

r/LocalLLaMA

用 12GB 显存跑 Qwen3.6 35B A3B,llama.cpp MTP 实测跑到 80 tok/s、128K 上下文

Reddit 用户 janvitos 在 RTX 4070 Super(12GB 显存)上跑 Qwen3.6-35B-A3B-MTP-GGUF,搭配 llama.cpp 的一个 MTP 拉取请求。他贴出的实测数据是每秒 69.2 到 81.9 个 token,草稿接受率在 0.694 到 0.947 之间,上下文长度拉到 131072。

推荐理由:Reddit 用户 janvitos 在 12GB 显存的 RTX 4070 Super 上跑 Qwen3.6 35B A3B,贴出 69.2 到 81.9 tok/s 与 128K 上下文的实测配置。

量子位 · 公众号

千问AI眼镜S1上线空间3D显示和主动服务,能提醒你叫车、帮你买东西

千问AI眼镜S1这次更新加了两个新东西:空间3D显示和主动提醒。空间3D显示是行业里第一个这么做的,眼镜里看到的画面会有立体感。主动提醒的意思是眼镜会自己跳出来提示你,比如该叫车了,还能直接帮你操作叫车。这个月还会上线即时购物和拍照搜题功能。另外Wellsenn XR的数据显示,从3月8号开始,千问AI眼镜拿下了国内线上AI眼镜53%的销量,卖得最多。

推荐理由:千问AI眼镜S1上线空间3D显示与主动提醒,能提示叫车并代为操作,本月还将加入即时购物和拍照搜题;Wellsenn XR数据显示其3月8日起占国内线上AI眼镜53%销量。

r/LocalLLaMA

单张 RTX 4090 跑 Qwen3.6-27B,262K 上下文冲到 80+ t/s

indrasmirror 用一张 RTX 4090 跑 Qwen3.6-27B-Heretic-v2,上下文拉到 262K token,搭配 TBQ4_0 格式的 KV 缓存和 MTP 推测解码(draft 3),生成速度从约 43 t/s 提到 80-87 t/s。MTP 草稿接受率大概 73%,说明模型对草稿的采纳比例不低,这是提速的关键。

推荐理由:indrasmirror 在单张 RTX 4090 上把 Qwen3.6-27B 的上下文拉到 262K,并用 MTP 推测解码把生成速度从约 43 t/s 提升到 80-87 t/s,草稿接受率约 73%。

5月8日星期五

新智元 · 公众号

用 token 级价值函数控制回答长度,3B 模型在长度控制上跑赢 GPT-5.4 和 Claude

加州大学圣塔芭芭拉分校和苹果的研究人员搞了个叫 LenVM 的方法,把“还剩多少 token 要生成”建模成一个 token 级别的价值函数,相当于给模型装了个实时字数进度条。

推荐理由:加州大学圣塔芭芭拉分校和苹果提出 LenVM,把剩余生成长度建模为 token 级价值函数,让 3B 模型在长度控制上超过 GPT-5.4 和 Claude。