阿里千问 Qwen 系列的开源发布与迭代：从旗舰模型到端侧小模型的全谱系动态。
这篇 Reddit 帖子被网络屏蔽了，正文内容没拿到，只能根据标题和现有摘要说个大概。作者花了 85 个 GPU 小时，在 Qwen3.6-27B 模型上对比了 5 种 abliteration（去掉模型安全限制）方法，跑了一堆基准测试、HarmBench 安全评测、KL 散度（看输出分布变化）和权重分析。摘要里提到，Huihui 方法对模型原本能力的...
推荐理由：这篇不是实验室通稿，是实打实的 85 GPU 小时对比实验。5 种去审查方法在 Qwen3.6-27B 上跑完，给出了基准测试掉分、KL 散度和安全拒答移除率三个维度的数据。Huihui 掉分最少，Heretic 最像原版，但所有变体都几乎把安全护栏拆干净了——这点先别太激动，正文没披露这些变体在真实对抗场景下的表现，也没说拆掉拒答后模型会不会乱说话。对想用开源模型又需要绕过安全限制的人，这份对比能省不少试错成本。
一位用户自己跑了 55 组本地推理测试，覆盖 Strix Halo、RTX 3090 和 RTX 5070 三块卡、五种推理后端，模型从 0.35B 小不点到 35B-A3B 混合专家都有。结论很直接：能塞进 12GB 显存的模型，RTX 5070 比 RTX 3090 快；但到了 14B 到 31B 这个区间，模型超过 12GB 又刚好能装进 24G...
推荐理由：这篇值得看，因为作者没抄官方数据，自己跑了 55 组对比。我会先打个折：来源是 Reddit 单人帖，不是严格受控实验，但结论很实用。12GB 显存以内 RTX 5070 解码比 3090 快，14B 到 31B 模型区间 3090 反超，说明大模型推理 3090 的大显存优势还在。Strix Halo 的加入让 AMD 方案也有了参照。正文没披露功耗和价格，所以别直接当购买建议，但作为选卡参考够直接。
Qwen3.6 的两个新尺寸上了 Terminal-Bench 2.0 的公开排行榜。搭配 little-coder 这套脚手架（给模型加了一套在终端里干活的外壳），35B-A3B 版本跑出 24.6%（±3.2），压过了 Gemini 2.5 Pro 在 Gemini CLI 上的 19.6% 和 Qwen3-Coder-480B 在 Terminu...
推荐理由：Qwen3.6-35B-A3B 在 Terminal-Bench 2.0 上拿了 24.6%±3.2，比 Gemini 2.5 Pro 在 Gemini CLI 下的 19.6% 和自家 480B 大模型的 23.9% 都高。35B-A3B 这种规模能打，说明小模型做终端 agent 有戏，部署成本会友好很多。不过这是 Reddit 帖子，只贴了排行榜数字，测试怎么跑的、能不能复现，正文都没说。分数本身有参考价值，但别急着当定论，先打个折看。
浙大和微软搞了个叫 World-R1 的方法，拿 Wan 2.1 模型做实验，只用了大概 3000 条纯文本提示词，没加任何 3D 标注数据，就让模型生成的视频在空间一致性上好了不少。他们设计了一套叫 Flow-GRPO 的训练流程，外加四个维度的奖励信号来引导模型。1.3B 参数量版本跑出来的 PSNR 指标比原版高了 10.23 dB，说明画面里的...
推荐理由：我会先打个折：正文没披露这3000条文本的具体来源和构造方式，也没说四维奖励里各维度的权重怎么定，所以效果能不能稳定复现还得看后续。但亮点很实在——不用费劲标视频数据，纯靠文本就让 Wan 2.1 的 1.3B 小模型在 PSNR 上跳了10.23 dB，说明用偏好对齐的思路（Flow-GRPO）去修视频里的物理一致性，这条路走得通而且成本低。对想低成本改进视频模型物理合理性的团队来说，这个方向值得跟。
这个工作把 Qwen3-8B 的原始参数完全冻住，只额外训练一个扩散注意力头，让模型一次前向能生成多个 token，最高做到 7.8 倍。在 MATH-500 上实测 wall-clock 速度大约快了 6 倍。训练只动了 16% 的参数，用了不到 10 亿 token 的数据，在 8 张 H200 上跑了 24 小时。论文声称输出分布和原模型在数学上...
推荐理由：我会先打个折：这是单篇 Reddit 研究发布，没有论文或第三方复现，验证强度偏弱。但信息量够用——在 Qwen3-8B 冻结主干上加扩散注意力头，只训 16% 参数，8 张 H200 跑一天，MATH-500 上 token 吞吐最高提到 7.8 倍，墙钟时间约快 6 倍，而且输出分布可证明不变。这点先别太激动，正文没披露其他 benchmark 和更长序列下的表现，但推理加速和一致性这两点对本地跑模型的从业者来说很实在，所以放在 featured 里当个信号看。
一位 Reddit 用户分三次跑了超过一百万 token 来测 Qwen3.6-35B-A3B 的多 token 预测（MTP）版本，上下文拉到 300k，量化用 KV Q8_0。他给出的结论是生成速度大概比之前测过的版本快了 1.5 倍。不过帖子正文被 Reddit 的安全策略挡了，看不到具体测试环境、硬件配置和任务类型，所以这个提速是在什么条件下跑...
推荐理由：一个 Reddit 用户拿 Qwen3.6-35B-A3B MTP 版跑了三轮百万 token 的测试，在 300k 上下文、KV Q8_0 量化下，速度大概是旧测试的 1.5 倍。这个多 token 预测版（一次预测多个 token）确实在本地跑出了可感知的加速，但正文没披露功耗、显存占用和不同量化级别的对比，所以这个 1.5 倍先别太激动，得看自己硬件上复现怎么样。帖子本身有细节、有实测，对想省钱跑长上下文的开发者有参考价值，但毕竟只是单篇个人测试，重要性我给 74。
作者拿 Qwen 2.5 7B 基础模型做实验，先让它自己写代码、自己跑测试，把跑不过的代码和报错信息收集起来，再让它根据报错改出正确版本，这样就自动生成了“错误-修正”配对数据。用这批数据微调后，7B 模型在 HumanEval 上的通过题数从 25 题（约 15%）提升到 112 题（约 68%），数学能力也超过了 GPT-3.5。14B 版本只用...
推荐理由：我会先打个折：标题说 80% 但正文是 112/164，约 68%，这点先别太激动。不过 hook 确实抓人——让模型自己写题、自己答、再自己改错，用这些修正对去微调，HumanEval 直接翻几倍。14B 版本只用了 100 对样本、一张 H100 跑一个半小时花 3.50 美元，成本低到可以复现。正文没披露数学 benchmark 的具体名称和完整分数，验证偏弱，但作为单人实验，信息量和可操作性都够。保留 78 分，因为它是单篇 Reddit 帖子，且 80% 的说法和实际数字有出入。
一位完全没装过机的 Reddit 用户花了 5600 美元攒了一台 RTX 5000 PRO 48GB 的机器，单卡跑 Qwen3.6-27B-FP8 模型。他自己说装机全靠问 LLM，配 vLLM 时烧掉了 Claude Code 一半的周额度才搞定。实测下来，生成速度最高能到每秒 80 个 token，提示很长时掉到 50–60 tok/s，但提示...
推荐理由：这篇来自 Reddit 的个人装机实测，把价格和跑分都摆出来了，对想自己攒机跑大模型的人参考价值很高。我会先打个折：只有单卡、单模型、单人测试，没对比其他卡，也没提散热和长期稳定性，所以不能直接当采购指南。但 48GB 显存能跑 27B 模型还这么快，确实让人对本地推理的成本和体验更有信心。
HuggingFace 之前开源了一个叫 ml-intern 的自动化 AI 研究员，现在社区有人把它接上了 llama.cpp 和 ollama，让整个流程能在本地跑。帖子说用 Qwen3.6-35B-A3B 这个模型就能当大脑，指挥 CPU/GPU 沙箱和 HuggingFace Hub 上的任务，从头到尾完成一次 SFT（有监督微调）。正文没披露...
推荐理由：我会先打个折：这是 Reddit 出来的开源工具更新，不是大模型发布。但本地沙箱加 Hub 作业编排能跑通完整微调，对想在自己机器上做自动化实验的人挺实用。正文没披露具体延迟和资源占用，这点先别太激动。
这个叫 StudioMI300 的开源流水线，把一句英文提示词变成 720p 短片，全程跑在一张 AMD Instinct MI300X 上。流程分 8 步：先用 FLUX.2 [klein] 生成角色关键帧，再用 Wan2.2-I2V 把静态图转成动画，中间加了一道视觉评分和自动重试的质检，最后配上音乐和 9 种语言的旁白。开发者把单条片子的生成时间...
推荐理由：HKR 三项都成立：帖子把一句提示词到成片的完整链路讲清楚了，有硬件型号、阶段数和压缩后的耗时，对想自己搭视频管线的开发者来说，省钱和可控这两点很抓人。不过来源只有 Reddit 单帖，没有第三方复现或更多验证，所以分数没再往上走。
阿里达摩院发了篇 ACL 2026 论文，提出 I²B-LPO，解决强化学习微调时模型解题思路越来越像的问题。做法是在模型生成答案时，碰到它犹豫不决的节点就分叉出多条路径，再用一个基于信息瓶颈的自奖励机制筛掉重复的、留下真正不一样的解法。论文在 Qwen2.5-7B 和 Qwen3-14B 上跑数学题，准确率最多提了 5.3%，答案的语义多样性提了 7...
推荐理由：我会先打个折：这还是一篇训练方法论文，不是新模型或产品发布，所以重要性给 78 合理。亮点在于它把 RLVR 的探索问题讲得很具体——不是泛泛说“多样性不足”，而是用高熵节点定位、分支采样、自奖励这套组合拳给出可操作的解法。数字也实在，准确率和多样性双涨，没有只挑好看的说。正文没披露训练成本和延迟数据，这点先别太激动。整体适合推荐给做推理微调的人看，不是那种看完就忘的刷榜文章。
Unsloth 创始人 Daniel Han 发了几个实验版 Qwen3.6 MTP GGUF 模型，用了一种叫“投机解码”的技术来加速推理。具体做法是让模型一次猜两个草稿 token（draft tokens=2），在速度和猜对率之间找了个平衡点。效果上，27B 模型在单张 GPU 上能跑到每秒 140 个 token，35B-A3B 版本能到每秒 ...
推荐理由：我会先打个折：正文只给了一条 X 动态，没披露用的什么 GPU、量化到几比特、怎么复现。所以分数停在低 featured 是合理的。但亮点很实在——用 MTP 投机解码把 27B 和 35B-A3B 的推理速度拉到一个单卡就能爽用的水平，对本地部署和低成本推理场景是个直接利好。这点先别太激动，等补上硬件和量化细节再往上调。
一位 Reddit 用户用两张 RTX 3090 在 Ubuntu 上跑 Qwen 3.6 27B 模型，没上 NVLink。处理长文本时每秒能啃 4000 个 token，生成回答的速度是每秒 113 个 token。这个速度日常聊天或做文档处理都够用。不过帖子正文被 Reddit 的安全策略挡了，看不到具体配置细节，比如用的是哪个量化版本、功耗和温...
推荐理由：我会先打个折：这是单个 Reddit 帖子，没披露量化方式、批处理大小和功耗，复现细节不够。但 HKR 三条都踩中了——配置具体、数字清楚、直击本地推理玩家的痛点，所以给到 featured 的低位。
用户 mdda 在一台老机器（i7-6700、GTX 1080 8GB 显存、32GB 内存）上跑 Qwen 3.6 35B-A3B 这类约 300 亿参数的混合专家模型，推理速度到了每秒 24 个 token 左右，上下文窗口开到 128k。他的做法是把模型里的一部分专家层卸载到显卡上跑，其余放内存，同时用 TurboQuant 和 RotorQua...
推荐理由：单条 Reddit 帖子权威性不高，但配置和数字很具体，对想用老硬件跑大模型的从业者有参考价值。我会先打个折，这不算正式产品发布或模型更新，但实操信息够硬，适合放进 featured。
Cactus 开源了一个叫 Needle 的工具调用模型，参数量只有 2600 万，小到可以在消费级设备上跑。它的推理速度很快，预填充阶段每秒能处理 6000 个 token，生成阶段每秒 1200 个 token。这个模型是从 Gemini 的工具调用能力蒸馏出来的，相当于把大模型怎么调用 API、怎么选函数这套本事，压缩进了一个极小的模型里。模型权...
推荐理由：我会先打个折：这是 Show HN 和 GitHub 自报的数据，没有独立评测或大厂背书，所以分数没往上走。但亮点很直接——把 Gemini 的工具调用蒸馏进一个 26M 的小模型，prefill 6000 tok/s、decode 1200 tok/s，MIT 开源，意味着你可以在自己电脑甚至手机上跑一个能调工具的 agent，不用连云端。正文没披露训练用了多少样本、工具调用准确率对比基线是多少，也没说支持哪些工具类型，这些缺口让实际可用性还看不清。不过就冲这个尺寸和速度，对做本地 agent 的人来说值得看一眼。
Cactus Compute 开源了一个叫 Needle 的工具调用模型，参数量只有 2600 万。它用 Gemini 当老师，把怎么调用外部工具的能力蒸馏出来，塞进一个没有传统 MLP 层、靠注意力机制和门控结构的小模型里。在消费级设备上跑，预填充速度能到每秒 6000 个 token，解码速度每秒 1200 个 token。不过正文被 Reddit...
推荐理由：我会先打个折：目前只有一篇 Reddit 帖子作为来源，团队也不算知名，所以分数没给太高。但亮点很实在——一个 26M 的模型声称能复现 Gemini 的工具调用行为，速度数据也漂亮，prefill 6000 tok/s、decode 1200 tok/s，在消费级设备上跑。结构上做了减法，不用 MLP，只留注意力和门控，这点如果属实挺省钱。正文没披露详细的训练数据和完整的基准测试对比，所以“蒸馏效果到底多好”还得看后续验证。
Reddit 用户 grumd 在一张 RTX 5080（16GB 显存）和 64GB 内存的单机上同时跑了两套模型：Qwen2.5-Coder-7B Q6 做代码补全，Qwen3.6-35B-A3B Q8 做智能体编程（让模型自己规划步骤、调用工具写代码）。35B 那个模型用了内存卸载，上下文能撑到约 145k，速度是每秒 35.29 个 token...
推荐理由：这是一篇 Reddit 个人实验帖，不是系统评测，没有对比其他方案或验证稳定性，所以我会先打个折。但作者把模型、量化方式、上下文长度和吞吐都列清楚了，对想在自己机器上搭本地编程助手的开发者有直接参考价值。正文没披露功耗、并发表现和长上下文下的准确率，这点先别太激动。
作者提出在强化学习训练时复用 prompt 缓存，专门针对那种提示很长、模型回复很短的任务。在 Qwen3.5-4B 上跑 16k token 提示、64 token 回复的例子，训练速度直接快了 7.5 倍。另一个 G=8 的例子更直观：1000 token 提示加 100 token 回复，原本要处理 8800 个 token，用这方法后实际只需处...
推荐理由：这是一篇 Reddit 帖子，作者把推理时常用的 prompt caching 思路搬到了 RL 训练里，在长提示短回答的场景下效果明显：Qwen3.5-4B 跑 16k 提示、64 输出 token 的任务，训练速度提了 7.5 倍。核心逻辑是 RL 训练时同一组 prompt 会被反复采样，把重复的 token 缓存起来不重复算，G=8 时实际要处理的 token 数从 8800 掉到 1800。这个数字说明去重效果确实好，但前提是 prompt 够长、回答够短，场景比较挑。正文没给代码或论文链接，也没有独立复现验证，所以分数先打个折，定在 78。
ExLlamaV3 最近几个版本更新挺猛。v0.0.31 引入 DFlash 后，编程任务的生成速度从每秒 59.21 个 token 直接拉到 177.67，翻了近三倍。v0.0.32 专门优化了五款模型，其中 Trinity-Nano 在 6000 Pro² 显卡上的速度提升了 72.4%。最新的 v0.0.33 开始支持 DFlash 的模型量化...
推荐理由：我会先打个折：这主要是 ExLlama 用户和 LocalLLaMA 圈子的好消息，不是全行业当天必读的大新闻。但提速数字很实在，Coding 场景三倍提升、特定显卡上 72.4% 的涨幅，对正在折腾本地部署的人就是直接省时间省硬件。正文没提这些优化对显存占用或精度的副作用，这点先别太激动，但作为一次开源推理库的版本更新，信息量够、指向明确，值得推给关注推理效率的读者。
这篇 ICML 2026 的论文给扩散语言模型（dLLM）提出了一套叫 PRISM 的推理时扩展方法。它把搜索过程拆成三层：先让模型并行生成多条推理路径，再对每条路径局部“回退重写”不靠谱的步骤，最后用模型自己当裁判打分筛选。在数学题集 GSM8K 上，LLaDA-8B-Instruct 的准确率从 67.58% 拉到了 85.30%。最直接的好处是省...
推荐理由：这篇 ICML 论文给扩散语言模型做 test-time scaling，核心卖点是不靠堆算力硬拉分。PRISM 在 LLaDA-8B-Instruct 上把 GSM8K 正确率从 67.58% 提到 85.30%，靠的是三层搜索、局部 remasking 和自验证，把复杂度从 O(NT) 压到接近 O(N+KT)。我会先打个折：这只是单模型单数据集的实验，正文没披露在其他 benchmark 或更大模型上的表现，泛化性还不好说。但思路本身对做推理优化的人有参考价值，尤其适合预算有限又想压榨小模型推理能力的场景。