跳到正文

#评测/基准

今日 1 条

5月25日星期一

r/LocalLLaMA

RTPurbo:用几百步训练把全注意力模型转成稀疏推理,长上下文预填充快 9.36 倍

这篇论文提出 RTPurbo,能把原本用全注意力的模型改成稀疏注意力来跑推理,而且只需要几百步训练。做法是只给“检索头”保留完整的 KV 缓存,其他头用一个 16 维的 token 索引器来近似,相当于大幅压缩了要存要算的内容。在 100 万 token 的长上下文场景下,预填充阶段最高快了 9.36 倍,解码阶段快了约 2.01 倍。

推荐理由:RTPurbo 把全注意力模型改成稀疏推理,只给检索头保留完整 KV 缓存,其余头用 16 维索引器近似,几百步训练即可完成,在 100 万 token 场景下预填充最高快 9.36 倍。

5月24日星期日

r/LocalLLaMA

OpenBMB 在华为昇腾 NPU 上把大模型从头训成 1.58-bit,8B 模型性能保住全精度 97%

OpenBMB 放出了 BitCPM-CANN,一个在华为昇腾 NPU 上原生跑通的 1.58-bit(三值)大模型训练方案。他们用和 MiniCPM4 一样的架构与数据,从零训了 0.5B、1B、3B、8B 四个尺寸。

推荐理由:OpenBMB 在华为昇腾 NPU 上从零训练了 0.5B 到 8B 四个 1.58-bit 三值模型,8B 性能保留全精度的 97%,训练阶段即完成极低比特压缩。

新智元 · 公众号

AI 写的文章数量已经超过人类了,但正文被微信验证页挡住了

这篇来自新智元的文章标题说 AI 生成的文章数量碾压人类,但正文被微信环境异常验证页完全挡住,看不到任何具体内容。从已有的英文摘要看,研究方 Graphite 从 CommonCrawl 里抽了 4.3 万篇文章做检测,发现从 2024 年 11 月起 AI 写的英文文章数量超过了人类写的。

推荐理由:Graphite 从 CommonCrawl 抽取 4.3 万篇文章检测,发现 2024 年 11 月起 AI 生成的英文文章数量超过人类,为公开网页数据被 AI 内容稀释提供了带时间点的样本。

r/LocalLLaMA

视觉模型直接读 PDF vs 先 OCR 再问答:一次长文档实测

作者用 Claude Sonnet 4.5 跑了 MMLongBench-Doc 里的 30 份带图、带表格的 PDF,共 171 道题,对比两种路线:让模型直接看 PDF 画面,和先用 OCR 把文档转成文字再喂给模型。直接看 PDF 的准确率只有 52.0%,在六套方案里排第五,每次查询成本 0.2552 美元。

推荐理由:作者用 Claude Sonnet 4.5 在 MMLongBench-Doc 的 30 份带图表 PDF 上对比直接读画面与先 OCR 再问答,直接读的准确率为 52.0%,单次查询成本 0.2552 美元。

r/LocalLLaMA

KV 缓存量化对模型伤害不大,权重量化才是大头:Qwen3.6 27B 的一次小测试

Reddit 用户 hopbel 拿 Qwen3.6 27B 在 wikitext-2 上跑了一组 16k 上下文的近似 KLD 测试,想看看 KV 缓存量化和模型权重量化哪个更影响输出质量。他用 Q5_K_M 权重当基准,对比了两组配置:一组是 Q5_K_S 权重配 q4_0 的 KV 缓存,KLD 分数 0.016304。

推荐理由:Reddit 用户 hopbel 用 Qwen3.6 27B 在 wikitext-2 上做 16k 上下文近似 KLD 测试,对比 KV 缓存量化与权重量化对输出质量的影响,为本地部署的量化取舍提供一组一手数据。

5月23日星期六

机器之心 · 公众号

Bengio 团队新论文:用多条并行思路链做递归推理,效果比单条串行推理好

这篇论文提出了 GRAM,一个会生成多条内部推理轨迹、再从中挑出最优解的递归模型。在极难数独测试上,GRAM 用 16 步递归、同时跑 20 条并行思路,准确率达到 97.0%;作为对比,传统串行递归模型 TRM 要跑到 320 步才做到 90.5%。简单说,就是让模型多想几条路再选,比闷头一条路走到黑更靠谱,而且推理步数还少得多。

推荐理由:Bengio 团队提出 GRAM,让模型并行生成多条推理轨迹再选最优解,在极难数独上用 16 步递归达到 97.0% 准确率,而串行模型需 320 步才到 90.5%。

r/LocalLLaMA

club-rdna16:一个在 16GB AMD 显卡上实测本地大模型的仓库

这个仓库用一张 RX 6900 XT(16GB 显存)跑 llama.cpp,后端是 ROCm/HIP,专门验证 AMD 卡在本地跑大模型的实际表现。目前放出的一个亮点是 Qwen3.6 35B-A3B 这个 MoE 模型,用 q8 格式缓存 KV 状态,能稳定撑到 131k 上下文窗口。

推荐理由:作者公开了在 RX 6900 XT 上跑 llama.cpp 的测试仓库,其中 Qwen3.6 35B-A3B 以 q8 缓存 KV 状态可稳定撑到 131k 上下文,为 16GB AMD 显卡的本地部署留下一份实测配置参考。

AI HOT 精选

Anthropic 公布 Glasswing 项目首月战报:用 Claude Mythos Preview 挖出上万个高危漏洞

Anthropic 说,他们和大约 50 家合作伙伴用 Claude Mythos Preview 模型,在全球最关键的基础软件里找到了超过一万个高危或严重级别的漏洞。现在瓶颈已经不是找漏洞的速度,而是验证、通报和打补丁的速度。

推荐理由:Anthropic 与约 50 家合作伙伴用 Claude Mythos Preview 在关键基础软件中找出超一万个高危漏洞,验证与修补速度成为新的瓶颈。

5月22日星期五

AI HOT 精选

大模型在生产环境会“说胡话”,但大部分跑分测试根本不查这个

Dharma-AI 在 Hugging Face 发了篇博文,说现在的大语言模型上线后经常出现文本退化——输出内容来回重复、前言不搭后语或者逻辑崩掉。这种故障直接影响用户体感和模型能不能用,但主流基准测试基本没把这类问题纳入评分。文章呼吁业界在评估体系里加上对文本退化的系统追踪和量化指标,正文没披露具体的指标设计或实验数据。

推荐理由:Dharma-AI 指出大模型上线后常出现重复、逻辑崩坏等文本退化,而主流基准测试基本未将这类故障纳入评分,评估体系与实际生产表现存在落差。

AI HOT 精选

首个在华为昇腾910B上全栈训练的1.58比特开源模型BitCPM-CANN发布

ModelBest、清华和OpenBMB搞了个BitCPM-CANN,从0.5B到8B都有,全程用华为昇腾910B NPU训练,没走英伟达路线。1.58比特三元量化意味着每个权重只取三种值,内存比BF16省了约6倍,能塞进手机、电脑和车载设备里跑。基准测试成绩保住了全精度模型的95-97%,这点挺实在。

推荐理由:ModelBest、清华和OpenBMB发布BitCPM-CANN,全程用华为昇腾910B训练,1.58比特量化让内存比BF16省约6倍,基准成绩保住全精度模型的95-97%。

彭博科技

五角大楼拉上 25 个内部用户,实测 OpenAI 和 Google 的模型,准备找 Anthropic 的替代品

五角大楼正在让 25 个部门里的“高级用户”同时测试 OpenAI 和 Google 的 AI 模型,目的是给目前用的 Anthropic Claude 找个备胎。一位高级国防官员透露了这个消息,但具体在测哪些模型、用什么标准打分、以及什么时候会正式切换,正文都没说。我会先打个折:这更像是一次早期的内部摸底,离真正换供应商还有距离。

推荐理由:五角大楼让25个部门的高级用户同时测试OpenAI和Google的模型,为现用的Anthropic Claude寻找替代方案,这是美国国防部AI供应商格局的一次内部动向。

5月21日星期四

r/LocalLLaMA

Fireworks 提出“Agent 执行税”:浏览器智能体跑任务时,22.9% 的推理算力都浪费了

Fireworks 在 WebVoyager 上跑了 720 个浏览器智能体任务,发现平均有 22.9% 的推理调用属于无效消耗,他们管这个叫“Agent 执行税”——也就是为了完成任务,模型多做的无用功。具体到各家模型:MiniMax M2.5 每成功完成一个任务的成本比 Gemini 低了 2.3 倍;GLM-5 的任务成功率做到 57.1%。

推荐理由:Fireworks 在 WebVoyager 上跑了 720 个浏览器智能体任务,测得平均 22.9% 的推理调用属于无效消耗,并据此提出衡量选型隐性成本的 Agent 执行税指标。

r/LocalLLaMA

LLM 硬件规划器:按你的用途、模型或预算挑一套跑本地模型的机器,或者给现有机子选模型

totosse17 做了一个叫 LLMRequirements 的硬件规划工具,整理了 60 多套装机方案、50 多个模型,还附了 130 多个有来源标注的每秒 token 生成速度、150 多个评测视频。它会标每套配置的待机功耗和满载功耗,价格覆盖多个地区,数据放在 GitHub 上公开更新。

推荐理由:作者 totosse17 把 60 多套本地模型装机方案与 50 多个模型的实测生成速度、待机满载功耗和多地区价格整理成公开数据集,方便按用途或预算直接比对。

r/LocalLLaMA

腾讯发布 Hy-MT2 翻译模型,覆盖 33 种语言,最小 1.8B 版压缩后仅 440MB

腾讯放出了 Hy-MT2 系列翻译模型,有 1.8B、7B 和 30B-A3B 三个尺寸,支持 33 种语言互译。1.8B 小模型用上 AngelSlim 1.25-bit 量化后,存储占用压到 440MB,推理速度还快了 1.5 倍,适合本地跑。不过 Reddit 原帖被屏蔽了,正文没披露具体翻译质量评测和更多技术细节,这点先别太激动。

推荐理由:腾讯发布 Hy-MT2 系列翻译模型,含 1.8B、7B、30B-A3B 三个尺寸并支持 33 种语言互译,其中 1.8B 版经量化后存储占用降至 440MB。

新智元 · 公众号

中科大两篇顶会论文:教多模态大模型持续学新知识,同时不忘旧本事

中科大团队在顶会上发了两篇工作,专门解决多模态大模型“学新忘旧”的问题。一篇是 MMEVOKE,搞了一个包含 159 个子类、9422 个样本的评测集,用来检验模型在持续学习中会不会把之前的知识覆盖掉。另一篇是 KORE,提出用知识树扩充样本,再通过零空间约束微调来减少遗忘。

推荐理由:中科大团队用 MMEVOKE 评测集和 KORE 微调方法,针对多模态大模型持续学习中的遗忘问题给出可复用的评测与训练思路。

Latent Space

OpenAI 用通用推理模型花不到 1000 美元,推翻了一个 80 年前的数学猜想

OpenAI 公布了一个内部通用推理模型(外界猜是 GPT 5.6)的成果:它找到了平面单位距离问题的新构造族,推翻了 1946 年 Erdős 提出的一个猜想。这个模型不是专门为数学训练的,就是普通的语言模型,但推理过程生成了约 125 页的总结。有外部观察者推测,这次运行只用了不到 32 小时,成本不到 1000 美元。

推荐理由:OpenAI 一个通用推理模型推翻了 1946 年 Erdős 提出的平面单位距离猜想,其推理过程生成约 125 页总结,外部观察者推测运行不到 32 小时、成本不到 1000 美元。

机器之心 · 公众号

谢赛宁团队发布第二代表征自编码器 RAEv2,训练效率大幅提升

谢赛宁团队、Adobe Research 和澳大利亚国立大学放出了 RAEv2。在 ImageNet-256 上训练 80 轮后,生成质量指标 gFID 做到了 1.06。更关键的是效率:衡量收敛速度的 EPFID@2 从上一代需要的 177 轮训练直接压缩到 35 轮,计算量维持在 189 GFLOPs 没涨。

推荐理由:谢赛宁团队联合 Adobe Research 和澳大利亚国立大学发布 RAEv2,在 ImageNet-256 上把收敛所需训练轮数从上一代的 177 轮压到 35 轮,计算量维持在 189 GFLOPs。

r/LocalLLaMA

HalBench 基准测试:用 3200 个带坑问题测了 4 个头部模型,看谁更会拒绝瞎编

一位开发者自己搭了个叫 HalBench 的测试,专门看模型在遇到“前提本身是错的”的问题时,是会顺着瞎编(谄媚)还是直接指出问题。他拿 3200 个这种带坑提示词跑了 4 个模型:Sonnet 4.6 平均分 0.565 排第一,最敢反驳;Gemini 3.1 Pro 0.339 垫底,更容易顺着错误前提往下编。

推荐理由:开发者自建 HalBench,用 3200 个错误前提提示词测试 4 个头部模型,比较它们顺着编还是指出问题,并给出各模型得分排名。

5月20日星期三

AI HOT 精选

Gemini 3.5 Flash 发布,跑分超 3.1 Pro,生成速度是其他顶尖模型的 4 倍

Google 在 I/O 后开放了 Gemini 3.5 Flash,产品端和 API 都能用。官方说它在多数基准测试上比 3.1 Pro 强,编程能力提升明显,每秒吐 token 的速度是其他前沿模型的 4 倍。不过帖子没给具体跑分数字和测试条件,这点先别太激动。

推荐理由:Google 在 I/O 后开放 Gemini 3.5 Flash,产品端和 API 均可使用,官方称其多数基准测试强于 3.1 Pro,生成速度达其他前沿模型的 4 倍。

AI HOT 精选

谷歌发布 Gemini 3.5 Flash,智商分涨到 55,速度超 280 tokens/秒,但运行成本贵了 5.5 倍

谷歌把 Gemini Flash 系列更新到了 3.5 版,智商评分从上一代的 46 分提到 55 分,直接超过了 Grok 4.3 和 Claude Sonnet 4.6。进步主要在两方面:一是让模型进业务流程干活(代理任务)更靠谱了,二是知识真实性提升,幻觉明显减少。输出速度超过每秒 280 个 token,在速度和智商之间卡了个好位置。

推荐理由:谷歌将 Gemini Flash 更新到 3.5 版,智商评分从 46 提到 55,输出速度超过每秒 280 个 token,运行成本涨到上一代的 5.5 倍。

AI HOT 精选

谷歌发布 Gemini 3.5 Flash,专治复杂、跑得久的自动化流程

谷歌在 I/O 大会上掏出了 Gemini 3.5 系列的第一个模型 Flash,定位很明确:让模型进业务流程干活,处理那种步骤多、周期长的任务。在 Terminal-Bench 和 MCP Atlas 这两个考编程和代理能力的测试里,它的分数压过了自家上一代的 3.1 Pro。

推荐理由:谷歌在 I/O 大会发布 Gemini 3.5 系列首个模型 Flash,面向步骤多、周期长的代理工作流,在 Terminal-Bench 和 MCP Atlas 上的得分超过上一代 3.1 Pro。

AI HOT 精选

谷歌发布 Gemini 3.5 Flash,输出速度跑到每秒 289 个 token,是 GPT-5.5 的四倍

谷歌在 I/O 大会上推出了 Gemini 3.5 Flash,官方说它在很多基准测试里比自家 3.1 Pro 强。最直观的卖点是快:输出速度达到每秒 289 个 token,对比的是 Claude Opus 4.7 和 GPT-5.5 xhigh,快了大约四倍。

推荐理由:谷歌在 I/O 发布 Gemini 3.5 Flash,输出速度达每秒 289 个 token,约为 GPT-5.5 xhigh 与 Claude Opus 4.7 的四倍。

r/LocalLLaMA

KV 缓存量化实测:TurboQuant 被高估,q5 值得多看两眼,对称 q8 可能白占显存

Anbeeld 用一张 RTX 3090 跑 Qwen 3.6 27B,在 64k 和 128k 上下文长度下测了 KV 缓存量化。先说结论:q4_0 在尾部 token 上的 KLD 比 q5_0 差了 32%,精度掉得明显;turbo4 比普通 q4_0 还慢 17%,显存却没省下多少,有点名不副实。

推荐理由:Anbeeld 在 RTX 3090 上测 Qwen 3.6 27B 的 KV 缓存量化,给出 q4_0 尾部 KLD 比 q5_0 差 32%、turbo4 比 q4_0 慢 17% 等具体数字。

5月19日星期二

r/LocalLLaMA

Sapient 发布 HRM-Text 1B:40B token 预训练,成本约 1000 美元,数学和阅读理解分数超过 Llama3.2 3B

Sapient Intelligence 开源了一个 10 亿参数的小模型 HRM-Text 1B,用 16 张 GPU 跑了 1.9 天,喂了 400 亿个 token,总花费大概 1000 美元。

推荐理由:Sapient Intelligence 用 16 张 GPU、1.9 天和约 1000 美元预训练出 10 亿参数的 HRM-Text 1B,其 MATH 与 DROP 成绩高于 Llama3.2 3B,展示了小模型低成本训练的一种路径。

AI 群聊日报

AI21裁员六成停卖模型,GPT-5.4被假共识带偏后准确率从100%暴跌到23%

AI21 Labs裁员60%并停止独立销售模型,文章判断纯卖模型访问权限这条路已经走不通了——token价格两年跌了100倍,过去16个月里有六家独立模型公司以几乎相同的方式被大厂吸收。Meta内部文件也曝出要裁10%约8000人,同时强征7000人转AI岗。

推荐理由:AI21 Labs裁员六成并停止独立销售模型,文章把它与token价格两年跌100倍、六家独立模型公司被大厂吸收放在一起,说明纯卖模型访问权限这条路正在收缩。

量子位 · 公众号

京东和中科院信工所连发三篇论文,提出让大模型“自己教自己”的强化学习路线

这篇推文本身因为环境异常没加载出正文,我只能根据标题和外部信息给你还原一下。京东和中科院信工所联合发了三篇论文,核心思路叫 Self-Taught RLVR,也就是让模型在强化学习里自己生成训练信号、自己教自己,省掉人工标注或外部奖励模型。

推荐理由:京东与中科院信工所联合发布三篇论文,提出 Self-Taught RLVR 路线,让模型在强化学习中自行生成训练信号,省去人工标注与外部奖励模型。

AI HOT 精选

Qwen3.7预览版上线竞技场,阿里视觉排名冲到第五

阿里云在 X 上官宣 Qwen3.7-Plus-Preview 已经挂上竞技场,同时提到自家在视觉榜单上排到第五。帖子没给具体跑分、参评模型数量,也没说 Qwen3.7 系列什么时候正式发,只说“迫不及待要发布”。我会先打个折:排名第五听着不错,但不知道跟谁比、怎么比,这点先别太激动。

推荐理由:阿里云将 Qwen3.7-Plus-Preview 挂上竞技场,并称视觉榜单排名第五,但未公布跑分、参评模型数量和正式发布时间。

r/LocalLLaMA

有人租了 21 款 GPU 跑同一个 5GB 显存的小 TTS 模型,实测速度差距

一位 Reddit 用户为了测 OmniVoice 这个小 TTS 模型,在 vast.ai 上租了 21 款不同的 GPU。模型跑起来显存峰值大概 5GB,不算大。测试用 xRT 作为音频生成速度的指标,每张卡都跑了 3 次带参考音频的声音克隆取平均。

推荐理由:一位 Reddit 用户在 vast.ai 租用 21 款 GPU,对峰值显存约 5GB 的 OmniVoice 小模型做声音克隆速度测试,每张卡跑 3 次取平均,为自建语音合成环境的人提供显卡选择参考。

r/LocalLLaMA

llama.cpp 合并 MTP 投机解码,Qwen3.6 27B 在 Strix Halo 上跑到 2.44 倍速

llama.cpp 在 PR #22673 里正式合并了 MTP(多 token 预测)投机解码支持。实测 Qwen3.6 27B 用 Q8_0 量化,在 Strix Halo 上从 7.4 tok/s 提到 18.1 tok/s,速度翻了 2.44 倍。

推荐理由:llama.cpp 合并 MTP 投机解码后,Qwen3.6 27B 在 Strix Halo 上实测从 7.4 tok/s 提升到 18.1 tok/s,本地推理的加速幅度有了具体参照。

5月18日星期一

AI HOT 精选

IBM 在 Hugging Face 上线开放智能体排行榜,直接对比整套系统谁更省钱能干

IBM Research 做了一个开放排行榜,不只看模型本身,而是把智能体整套系统(模型、工具、规划、记忆、纠错)拉出来比。它用六个不同场景的基准测试来打分,同时公布质量和运行成本,让你知道哪个方案真值得部署。正文没披露具体模型分数、数据集大小和评测日期。

推荐理由:IBM Research 在 Hugging Face 上线开放智能体排行榜,把模型、工具、规划、记忆、纠错整套系统放进六个场景基准里比,并同时公布质量与运行成本。

r/LocalLLaMA

我拿 42 个模型测了它们愿不愿意造末日,号称最安全的闭源模型在撒谎

作者搞了个叫 DystopiaBench 的测试,拿 36 个逐步升级的场景和 6 种反乌托邦套路去试探 42 个模型,每个模型跑 3 次取平均分,再用 3 个裁判模型打分。结果发现,很多模型能拦住直白的危险请求,但一旦把恶意藏在“军民两用”或“正常化”的包装里,它们就松口了。正文没披露具体模型名单和详细分数分布,这点先别太激动。

推荐理由:作者用 DystopiaBench 的 36 个递进场景和 3 个裁判模型测试 42 个模型,发现恶意藏在军民两用包装里时不少模型会松口,这比单轮危险请求更接近真实诱导路径。

r/LocalLLaMA

Qwen 3.6 27B 在 24G 显存上的部署实测:后端、量化方案与参数对比

作者用一张 RTX 3090 24GB 跑 Qwen 3.6 27B,最终留用了 ik_llama.cpp 搭配 Qwen3.6-27B-MTP-IQ4_KS.gguf 这个量化版本。

推荐理由:作者在单张 RTX 3090 24GB 上实测 Qwen 3.6 27B 的多种后端与量化方案,最终选用 ik_llama.cpp 搭配 IQ4_KS 量化,为本地部署的选型提供了一份单卡实测对比。

r/LocalLLaMA

TIME:让 Qwen 模型只在需要时短思考,而不是一直过度推理

作者用 QLoRA 在 Qwen3 的 4B 到 32B 全系列上训练了一个叫 TIME 的方法,核心思路是当上下文发生变化时,模型才触发一段简短的中途推理,避免没完没了地“想太多”。帖子说数据集、notebook、训练脚本、课程学习方案和 TIMEBench 评测都公开了,24GB 显存就能训到 14B 规模。

推荐理由:作者用 QLoRA 在 Qwen3 的 4B 到 32B 全系列上训练 TIME,让模型只在上下文变化时触发简短中途推理,数据集、训练脚本和 TIMEBench 评测均已公开。

AI HOT 精选

开源工具 api-relay-audit 能揪出 AI API 中转站有没有偷工减料

这个工具专门查中转站三类小动作:改写工具调用指令、用报错信息泄露模型身份、偷偷截断上下文。它给出的是可复现的三态结果(有/无/不确定),附带透明日志,比 hvoy.ai 和 cctest.ai 这类工具更可信。作者把检测方法、对比结果和速查表都公开了,工具本身也开源了。

推荐理由:开源工具 api-relay-audit 把中转站改写工具调用、借报错泄露模型身份、截断上下文这三类动作拆成可复现的三态检测,并公开检测方法与对比结果。

r/LocalLLaMA

vLLM 在混插 Blackwell/Ada 显卡集群上跑长上下文预填充,速度比 llama.cpp 快 4 到 6 倍

作者用 7 张混插显卡(RTX PRO 6000、PRO 5000、两张 5090 和三张改显存的 4090)测了三个推理引擎处理长上下文的效率。在 Qwen3.5-397B-A17B 模型上塞进 7.5 万 token 的上下文,vLLM 首 token 延迟 9.8 秒,预填充速度 7683 token/秒。

推荐理由:作者在 7 张混插 Blackwell 与 Ada 显卡上实测长上下文预填充,vLLM 处理 7.5 万 token 时首 token 延迟 9.8 秒、预填充速度 7683 token/秒,约为 llama.cpp 的 4 到 6 倍。

r/LocalLLaMA

骁龙 8 Elite 跑混合专家模型实测:CPU 推理反而比 NPU 快

一位 Reddit 用户用 24GB 内存的荣耀 Magic 7 Pro(骁龙 8 Elite)跑了几个混合专家(MoE)模型。在 Q4 量化下,LFM2-24b-a2b 跑到约 24 token/秒,Gemma 约 11 token/秒。

推荐理由:一位 Reddit 用户在 24GB 内存的荣耀 Magic 7 Pro 上实测骁龙 8 Elite 运行 MoE 模型,Q4 量化下 LFM2-24b-a2b 约 24 token/秒、Gemma 约 11 token/秒,CPU 推理快于 NPU。

5月17日星期日

r/LocalLLaMA

用 85 个 GPU 小时,把 Qwen3.6-27B 的 5 种“去安全限制”方法拉出来比了比

这篇 Reddit 帖子被网络屏蔽了,正文内容没拿到,只能根据标题和现有摘要说个大概。作者花了 85 个 GPU 小时,在 Qwen3.6-27B 模型上对比了 5 种 abliteration(去掉模型安全限制)方法,跑了一堆基准测试、HarmBench 安全评测、KL 散度(看输出分布变化)和权重分析。

推荐理由:作者用 85 个 GPU 小时在 Qwen3.6-27B 上对比 5 种 abliteration 方法,同时给出基准测试、HarmBench 安全评测、KL 散度和权重分析四类数据。

r/LocalLLaMA

有人实测 DeepSeek V4 的百万上下文窗口,发现写代码的最佳区间是 15 万到 25 万 token

一位 Reddit 用户拿 DeepSeek V4 去啃 4.5 万、18 万和 52 万 token 的代码库,结论是 15 万到 25 万 token 时写代码最顺手。超过 30 万 token 后,模型对具体行号的定位开始不准;到 52 万 token 时,输出明显偏向架构总结,具体实现细节会跳过。

推荐理由:一位 Reddit 用户用 4.5 万、18 万和 52 万 token 的代码库实测 DeepSeek V4,发现 15 万到 25 万 token 区间写代码最顺手,超过 30 万后行号定位开始失准。

机器之心 · 公众号

AI Agent 的隐性账单:多花 1000 倍 token,效果未必更好

这篇文章本身因为微信环境验证没抓到正文,所以具体实验细节没法展开。

推荐理由:文章基于 OpenHands 在 500 个 swe-bench-verified 任务上的轨迹数据,给出 154:1 的输入输出比和 0.32 的 Kendall tau,指出 token 消耗相差千倍时效果未必更好。

r/LocalLLaMA

同批模型在 Strix Halo、RTX 3090 和 RTX 5070 上的实测对比

一位用户自己跑了 55 组本地推理测试,覆盖 Strix Halo、RTX 3090 和 RTX 5070 三块卡、五种推理后端,模型从 0.35B 小不点到 35B-A3B 混合专家都有。结论很直接:能塞进 12GB 显存的模型,RTX 5070 比 RTX 3090 快。

推荐理由:一位用户自跑 55 组本地推理测试,覆盖三块显卡与五种后端,给出 12GB 显存内 RTX 5070 解码快于 RTX 3090 的实测对比。