跳到正文

千问 Qwen

阿里千问 Qwen 系列的开源发布与迭代:从旗舰模型到端侧小模型的全谱系动态。

最新精选

第 61–80 条 · 共 215 条

6月10日星期三

r/LocalLLaMA

用约3美元API调用微调Qwen2.5-7B,在特定任务上达到Claude Haiku 96%的表现

一位Reddit用户用1040组偏好样本(DV-DPO,一种让模型学会回答风格的方法)微调了Qwen2.5-7B,成本按Claude Haiku的API价格算大约3美元,没花钱请人标注。在特定领域任务上,这个微调模型的综合得分达到了Claude Haiku的96%。部署在4-bit量化的T4机器上,生成一次回答的延迟是11秒。

推荐理由:一位Reddit用户用1040组偏好样本微调Qwen2.5-7B,API成本约3美元且无需人工标注,在特定领域任务上达到Claude Haiku 96%的得分。

AI HOT 精选

Google Gemini 3.5 实时翻译开放公测,支持 70 多种语言、2000 个语言对

Google 把 Gemini 3.5 的实时翻译功能放出来了,现在通过 Gemini API 就能用。它做的是语音到语音的低延迟翻译,覆盖 70 多种语言,能组合出 2000 个语言对,冷门小语种也包含在内。开发者可以把它接进实时对话、客服、直播或跨国会议里。

推荐理由:Google 将 Gemini 3.5 实时语音翻译开放公测,覆盖 70 多种语言、可组合出 2000 个语言对,开发者能通过 API 接入实时对话、客服、直播和跨国会议场景。

r/LocalLLaMA

ICML 论文提出可预测幻觉的“回答-弃权”闸门,并开源 ntkMirror 免训练实现

这篇 ICML 2026 论文给证据型问答任务设计了一个 ISR=1 的闸门:模型在不确定时直接闭嘴不答,而不是硬编。他们同时放出了 ntkMirror,一个免训练的开源实现,能在本地模型上跑。做法是让模型对同一问题看多份不同排序的证据,如果几次回答不一致就弃权。在留出的审计集上,幻觉率压到了 0.0%–0.7%,代价是大约 24% 的问题被主动弃权。

推荐理由:ICML 论文为证据型问答设计弃权闸门,模型在多次证据排序下回答不一致时直接不答,配套开源免训练实现 ntkMirror,审计集上幻觉率降至 0.0%–0.7%,代价是约 24% 的问题被弃权。

6月9日星期二

AI HOT 精选

Cohere 发布 North Mini Code:一个 30B 参数、每次只用 3B 的开源代码模型

Cohere 在 Hugging Face 上开源了 North Mini Code,采用 Apache 2.0 协议。这是一个 30B 参数的混合专家模型,每次推理只激活 3B 参数,专门为让模型在终端里自主写代码、修 bug 这类任务设计。

推荐理由:Cohere 以 Apache 2.0 协议开源 North Mini Code,30B 参数混合专家模型每次推理只激活 3B,面向终端里自主写代码、修 bug 的任务。

AI HOT 精选

Qwen3.7-Max 靠一份 15 万字文档,4 小时做出能跑的手机和网页应用

实验里 Qwen3.7-Max 不看设计稿、不接后端,只读一份约 15 万字的产品调研文档,在隔离环境里分别生成了安卓 APK 和一个 Web 应用,单端耗时约 4 小时,中间没人插手。模型本身看不懂图,它是通过像素坐标反推布局来还原界面。

推荐理由:Qwen3.7-Max 只读一份约 15 万字产品文档,在无人介入下用约 4 小时分别生成安卓 APK 和 Web 应用,其通过像素坐标反推布局的方式,为无设计稿交付双端应用提供了一条可复现路径。

r/LocalLLaMA

单张 MI50 跑 Qwen3.6-27B 速度翻倍:从 19.4 涨到 38.1 token/秒

有个玩家在单张 AMD MI50 上跑 Qwen3.6-27B 模型,用 Q8 或更低精度的量化版本时,发现显卡的算力没吃满。他想到一个取巧的办法:不额外加载一个小模型做投机解码,而是让同一个模型同时跑两路计算,假装自己有两份模型副本。结果生成速度直接从 19.4 token/秒翻到 38.1 token/秒。

推荐理由:有玩家在单张 MI50 上让 Qwen3.6-27B 同时跑两路计算,把生成速度从 19.4 token/秒提到 38.1 token/秒,为量化模型算力未吃满的情况提供了一种不加载小模型的提速思路。

r/LocalLLaMA

Levi:在你的本地 Qwen 30B 上跑类似 AlphaEvolve 的搜索系统

Levi 是一个开源项目,让你能在本地用 Qwen3-30B-A3B 模型跑一套类似 AlphaEvolve 的搜索系统。作者在 ADRS、IFBench 和 HotpotQA 三个基准上做了测试,声称在单模型、相同预算的条件下,整体成本最多能降到原来的 1/35,评估次数最多能减少到 1/12。

推荐理由:开源项目 Levi 让本地 Qwen3-30B-A3B 跑起 AlphaEvolve 式搜索,作者在三个基准上测得同等预算下成本最多降至 1/35、评估次数减至 1/12。

6月8日星期一

r/LocalLLaMA

Luce Spark:让 35B 的 MoE 模型在 16GB 显存上跑起来,不用忍受传统卸载的速度惩罚

Luce Spark 是一个开源方案,能让 Qwen3.6 35B-A3B 这种规模的混合专家模型在 RTX 3090 上只占 13.3 GiB 显存,跑出约 100 tok/s 的速度。

推荐理由:Luce Spark 让 Qwen3.6 35B-A3B 在 RTX 3090 上只占 13.3 GiB 显存并跑到约 100 tok/s,其做法是把常用专家留在 GPU、其余放内存并异步搬运,与计算重叠。

r/LocalLLaMA

RTX 5090 跑 Qwen3.6-27B 实测:DFlash 投机解码加 KV 缓存压缩,速度提到 3.26 倍

作者在单张 RTX 5090 上跑了 Qwen3.6-27B,用 DFlash 做投机解码(让一个小模型先猜答案,大模型再核对,省时间),同时压缩 KV 缓存(把模型记住的上下文瘦身,省显存)。结果最高提速到 3.26 倍。用 q4_0/turbo4 量化时速度是原来的 3.18 倍,WikiText-2 上的困惑度只涨了 0.02%,基本没掉精度。

推荐理由:作者在单张 RTX 5090 上把 DFlash 投机解码与 KV 缓存压缩组合用于 Qwen3.6-27B,最高提速 3.26 倍,q4_0 量化下困惑度仅涨 0.02%。

r/LocalLLaMA

双卡 3090 跑 27B 模型,解码速度几乎翻倍,没插 NVLink 也做到了

一位 Reddit 用户拿 qwen3.6-27b-autoround-int4 模型做测试,对比单张 3090 和两张 3090 的表现。

推荐理由:Reddit 用户用两张 3090 在无 NVLink 的普通 PCIe 下跑 qwen3.6-27b 的 int4 量化版,解码速度相比单卡接近翻倍,为本地推理加卡提供了具体参考。

机器之心 · 公众号

阿里 RTPurboV2:用几百步训练把注意力计算砍掉九成,原生 Transformer 又硬气了一回

阿里 RTP 团队发了 RTPurboV2,思路很直接:把模型里 85% 的注意力头换成滑动窗口注意力(SWA),剩下 15% 负责长距离检索的头用低秩投影、聚类和动态 top-p 压缩。适配训练只要大概 600 步、约 100 万条标注 token,Prefill 阶段推理加速最高到 9.36 倍。

推荐理由:阿里 RTP 团队把模型 85% 的注意力头换成滑动窗口注意力,适配训练约 600 步、100 万条 token,Prefill 阶段推理加速最高 9.36 倍。

6月7日星期日

r/LocalLLaMA

一台笔记本跑通 Qwen3.6 35B-A3B:我的本地模型“从零到一”时刻

一位 Reddit 用户分享了自己在笔记本上跑通 Qwen3.6 35B-A3B 的体验。他的机器是华硕 Zenbook Pro 14,配了 RTX 4060 8GB 显存和 64GB 内存。

推荐理由:一位 Reddit 用户在华硕 Zenbook Pro 14 上跑通 Qwen3.6 35B-A3B,机器配 RTX 4060 8GB 显存和 64GB 内存,为想在同类笔记本上部署大模型的人提供了具体硬件参考。

量子位 · 公众号

快手可灵提出 VLM-as-Teacher:生成视频时让视觉模型当老师,在线微调 LoRA 来遵守文字规则

这篇文章的正文被微信环境异常页挡住了,看不到具体技术细节。从标题和现有摘要看,快手可灵和城大合作了一个叫 VLM-as-Teacher 的方法。思路是在测试阶段用视觉语言模型(VLM)给视频生成模型(VGM)的 LoRA 模块打分反馈,边生成边优化,让模型学会按文字规则推理。

推荐理由:快手可灵与城大提出 VLM-as-Teacher,在测试阶段用视觉语言模型为视频生成模型的 LoRA 提供反馈,边生成边优化,让模型按文字规则推理。

AI HOT 精选

五个实验室,五个心智:用小模型搭了个会内幕交易的金融宫斗剧

这个项目用四家不同实验室的小模型(OpenAI 的 gpt-oss-20b、OpenBMB 的 MiniCPM3-4B、NVIDIA 的 Nemotron-Mini-4B 和一个自己微调的 0.5B Qwen)分别扮演市场里的不同角色,玩家则充当幕后金主,可以放贷、散布真假内幕消息、做空和贿赂。

推荐理由:四个实验室的小模型分别扮演市场角色,玩家作为幕后金主放贷、散布真假内幕消息、做空和贿赂,多模型差异被用来制造博弈感。

6月6日星期六

AI HOT 精选

GitHub 开源 Spec Kit:先写产品规范再让 AI 写代码,把 vibe coding 的流程反过来

GitHub 把 Spec Kit 开源了,专门解决 AI 编程里一个常见毛病:需求还没说清楚,模型就开始写代码,结果边界漏了、反复返工。这个工具包把流程倒过来——先写产品功能规范,再让 AI 根据规范去澄清差距、做技术计划、拆任务,最后交给 agent 执行。规范本身成了可执行的开发合约,不是一份看完就扔的文档。

推荐理由:GitHub 开源 Spec Kit,把先写产品规范再让 AI 编码的流程做成工具包,规范成为驱动 agent 执行的开发合约。

r/LocalLLaMA

Domino:把推测解码里的因果建模和自回归起草拆开,Qwen3 吞吐最高提 5.8 倍

这篇论文提出 Domino,把推测解码(让一个小模型先快速起草、大模型再校验)里的两个步骤拆得更干净:因果建模和自回归起草不再绑在一起跑。在 Qwen3 上测出了最高 5.8 倍的吞吐提升。

推荐理由:这篇论文提出 Domino,把推测解码中的因果建模与自回归起草拆开,在 Qwen3 上测出最高 5.8 倍吞吐提升,为推理优化提供了一种可迁移的拆分思路。

机器之心 · 公众号

大晓机器人和南洋理工发布 PhysX-Omni,一个框架直接生成能进仿真器跑的 3D 物体

这篇推文本身因为微信环境验证没抓到正文,我只能根据标题和已有英文摘要来说。PhysX-Omni 是一个 3D 生成框架,特点是生成出来的模型不是只能看,而是直接带物理属性,能区分刚体、软体和带关节的物体,扔进仿真器就能跑。配套的数据集 PhysXVerse 有超过 8700 个物理 3D 资产,覆盖 2900 多个类别。

推荐理由:大晓机器人与南洋理工发布的 PhysX-Omni 让生成的 3D 物体自带物理属性,可直接进仿真器运行,配套 PhysXVerse 含 8700 多个物理资产、覆盖 2900 多个类别。

AI HOT 精选

用Qwen2.5-3B搭了个五人森林经济体,小模型能跑流程但算账不太行

一个开发者拿Qwen2.5-3B(30亿参数的开源小模型)做了个多智能体模拟:五个角色在森林里各自生产、交易、囤货,跑了15轮。模型在100%的调用里都能输出格式正确的JSON,这点挺稳,但一到经济决策就露怯——它分不清该囤柴还是该卖蜜。作者靠两招补救:一是给环境加限制,比如食物会坏、冬天缺燃料,逼着模型做取舍。

推荐理由:开发者用Qwen2.5-3B让五个角色在森林里生产交易15轮,模型每次都能输出合法JSON,却分不清囤柴还是卖蜜,靠食物会坏和冬天缺燃料的环境约束逼出取舍。

r/LocalLLaMA

在笔记本 RTX 4060 8GB 上跑 Qwen3.6-35B-A3B 的实测:一个参数改动让速度从 11 跳到 43 tok/s,投机解码再提 26%

一位 Reddit 用户在自己的笔记本(RTX 4060 8GB 显存)上跑了 Qwen3.6-35B-A3B 这个混合专家模型。他试下来发现,加上 --no-mmap 这个启动参数后,生成速度直接从大约 11 tok/s 飙到 43 tok/s,翻了近四倍。

推荐理由:一位 Reddit 用户在笔记本 RTX 4060 8GB 上实测 Qwen3.6-35B-A3B,仅加 --no-mmap 启动参数就把生成速度从约 11 tok/s 提到 43 tok/s,并给出投机解码再提 26% 的结果。

Hacker News 首页

General Instinct 开源 InstinctRazor:把 245GB 的大模型压到 48GB,能在本地设备上跑

General Instinct 开源了 InstinctRazor,一个专门给边缘设备用的模型压缩方案。他们拿 Qwen3.5-122B-A10B 开刀,这个模型原本是 BF16 格式的混合专家模型(MoE),体积大约 245GB。

推荐理由:General Instinct 开源了面向边缘设备的压缩方案 InstinctRazor,把 245GB 的 Qwen3.5-122B-A10B 混合专家模型压到 48GB,关注本地部署大模型的团队可参考其压缩路径。