跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 281–300 条 · 共 471 条

5月18日星期一

r/LocalLLaMA

我拿 42 个模型测了它们愿不愿意造末日,号称最安全的闭源模型在撒谎

作者搞了个叫 DystopiaBench 的测试,拿 36 个逐步升级的场景和 6 种反乌托邦套路去试探 42 个模型,每个模型跑 3 次取平均分,再用 3 个裁判模型打分。结果发现,很多模型能拦住直白的危险请求,但一旦把恶意藏在“军民两用”或“正常化”的包装里,它们就松口了。正文没披露具体模型名单和详细分数分布,这点先别太激动。

推荐理由:作者用 DystopiaBench 的 36 个递进场景和 3 个裁判模型测试 42 个模型,发现恶意藏在军民两用包装里时不少模型会松口,这比单轮危险请求更接近真实诱导路径。

r/LocalLLaMA

Qwen 3.6 27B 在 24G 显存上的部署实测:后端、量化方案与参数对比

作者用一张 RTX 3090 24GB 跑 Qwen 3.6 27B,最终留用了 ik_llama.cpp 搭配 Qwen3.6-27B-MTP-IQ4_KS.gguf 这个量化版本。

推荐理由:作者在单张 RTX 3090 24GB 上实测 Qwen 3.6 27B 的多种后端与量化方案,最终选用 ik_llama.cpp 搭配 IQ4_KS 量化,为本地部署的选型提供了一份单卡实测对比。

r/LocalLLaMA

TIME:让 Qwen 模型只在需要时短思考,而不是一直过度推理

作者用 QLoRA 在 Qwen3 的 4B 到 32B 全系列上训练了一个叫 TIME 的方法,核心思路是当上下文发生变化时,模型才触发一段简短的中途推理,避免没完没了地“想太多”。帖子说数据集、notebook、训练脚本、课程学习方案和 TIMEBench 评测都公开了,24GB 显存就能训到 14B 规模。

推荐理由:作者用 QLoRA 在 Qwen3 的 4B 到 32B 全系列上训练 TIME,让模型只在上下文变化时触发简短中途推理,数据集、训练脚本和 TIMEBench 评测均已公开。

AI HOT 精选

开源工具 api-relay-audit 能揪出 AI API 中转站有没有偷工减料

这个工具专门查中转站三类小动作:改写工具调用指令、用报错信息泄露模型身份、偷偷截断上下文。它给出的是可复现的三态结果(有/无/不确定),附带透明日志,比 hvoy.ai 和 cctest.ai 这类工具更可信。作者把检测方法、对比结果和速查表都公开了,工具本身也开源了。

推荐理由:开源工具 api-relay-audit 把中转站改写工具调用、借报错泄露模型身份、截断上下文这三类动作拆成可复现的三态检测,并公开检测方法与对比结果。

r/LocalLLaMA

vLLM 在混插 Blackwell/Ada 显卡集群上跑长上下文预填充,速度比 llama.cpp 快 4 到 6 倍

作者用 7 张混插显卡(RTX PRO 6000、PRO 5000、两张 5090 和三张改显存的 4090)测了三个推理引擎处理长上下文的效率。在 Qwen3.5-397B-A17B 模型上塞进 7.5 万 token 的上下文,vLLM 首 token 延迟 9.8 秒,预填充速度 7683 token/秒。

推荐理由:作者在 7 张混插 Blackwell 与 Ada 显卡上实测长上下文预填充,vLLM 处理 7.5 万 token 时首 token 延迟 9.8 秒、预填充速度 7683 token/秒,约为 llama.cpp 的 4 到 6 倍。

r/LocalLLaMA

骁龙 8 Elite 跑混合专家模型实测:CPU 推理反而比 NPU 快

一位 Reddit 用户用 24GB 内存的荣耀 Magic 7 Pro(骁龙 8 Elite)跑了几个混合专家(MoE)模型。在 Q4 量化下,LFM2-24b-a2b 跑到约 24 token/秒,Gemma 约 11 token/秒。

推荐理由:一位 Reddit 用户在 24GB 内存的荣耀 Magic 7 Pro 上实测骁龙 8 Elite 运行 MoE 模型,Q4 量化下 LFM2-24b-a2b 约 24 token/秒、Gemma 约 11 token/秒,CPU 推理快于 NPU。

5月17日星期日

r/LocalLLaMA

用 85 个 GPU 小时,把 Qwen3.6-27B 的 5 种“去安全限制”方法拉出来比了比

这篇 Reddit 帖子被网络屏蔽了,正文内容没拿到,只能根据标题和现有摘要说个大概。作者花了 85 个 GPU 小时,在 Qwen3.6-27B 模型上对比了 5 种 abliteration(去掉模型安全限制)方法,跑了一堆基准测试、HarmBench 安全评测、KL 散度(看输出分布变化)和权重分析。

推荐理由:作者用 85 个 GPU 小时在 Qwen3.6-27B 上对比 5 种 abliteration 方法,同时给出基准测试、HarmBench 安全评测、KL 散度和权重分析四类数据。

r/LocalLLaMA

有人实测 DeepSeek V4 的百万上下文窗口,发现写代码的最佳区间是 15 万到 25 万 token

一位 Reddit 用户拿 DeepSeek V4 去啃 4.5 万、18 万和 52 万 token 的代码库,结论是 15 万到 25 万 token 时写代码最顺手。超过 30 万 token 后,模型对具体行号的定位开始不准;到 52 万 token 时,输出明显偏向架构总结,具体实现细节会跳过。

推荐理由:一位 Reddit 用户用 4.5 万、18 万和 52 万 token 的代码库实测 DeepSeek V4,发现 15 万到 25 万 token 区间写代码最顺手,超过 30 万后行号定位开始失准。

机器之心 · 公众号

AI Agent 的隐性账单:多花 1000 倍 token,效果未必更好

这篇文章本身因为微信环境验证没抓到正文,所以具体实验细节没法展开。

推荐理由:文章基于 OpenHands 在 500 个 swe-bench-verified 任务上的轨迹数据,给出 154:1 的输入输出比和 0.32 的 Kendall tau,指出 token 消耗相差千倍时效果未必更好。

r/LocalLLaMA

同批模型在 Strix Halo、RTX 3090 和 RTX 5070 上的实测对比

一位用户自己跑了 55 组本地推理测试,覆盖 Strix Halo、RTX 3090 和 RTX 5070 三块卡、五种推理后端,模型从 0.35B 小不点到 35B-A3B 混合专家都有。结论很直接:能塞进 12GB 显存的模型,RTX 5070 比 RTX 3090 快。

推荐理由:一位用户自跑 55 组本地推理测试,覆盖三块显卡与五种后端,给出 12GB 显存内 RTX 5070 解码快于 RTX 3090 的实测对比。

Dwarkesh Patel 播客

预训练并行策略与翻车训练笔记

这篇笔记聊了两件事:预训练为什么容易跑崩,以及怎么把训练拆到多张 GPU 上。跑崩的核心原因有两个——破坏因果性和引入偏差。比如 MoE 路由里用专家选择(expert choice)分配 token,会让 token n 的去向依赖 token n+k 的路由结果,训练时看到了推理时看不到的信息。

推荐理由:作者拆解了预训练跑崩的两个原因,并解释 MoE 路由中专家选择为何让 token 的去向依赖后续路由结果,训练时看到推理时拿不到的信息。

AI HOT 精选

开源模型井喷:Gemma 4、DeepSeek V4、Kimi K2.6 等集体发布,CAISI 评估称开源落后闭源

这个月开源模型扎堆更新,DeepSeek V4、Gemma 4、Kimi K2.6、MiMo 2.5、GLM-5.1 全来了。

推荐理由:DeepSeek V4、Gemma 4、Kimi K2.6 等五款开源模型在同一月集中发布新版本,为关注开源模型迭代节奏与版本选型的人提供了一份集中清单。

5月16日星期六

机器之心 · 公众号

机器人为什么需要世界模型?顶尖机构联合发布综述

这篇综述正文被微信的验证页面挡住了,我没法看到具体内容。从标题和已知信息看,NTU MARS Lab 联合几家机构发了一篇 43 页的综述,讲的是机器人世界模型。世界模型可以理解成让机器人脑子里有个对物理世界的模拟器,能预判“我动一下会发生什么”,而不是每次都靠真实试错。

推荐理由:NTU MARS Lab 联合多家机构发布 43 页机器人世界模型综述,梳理世界模型如何让机器人在行动前预判物理结果,为理解具身智能的仿真训练路径提供背景。

r/LocalLLaMA

Qwen3.6-35B-A3B 和 9B 登上 Terminal-Bench 2.0 公开榜,小模型在硬核智能体测试里能跑分了

Qwen3.6 的两个新尺寸上了 Terminal-Bench 2.0 的公开排行榜。

推荐理由:Qwen3.6 的 35B-A3B 和 9B 两个尺寸进入 Terminal-Bench 2.0 公开榜,小模型在终端智能体这类硬核测试中有了可查的公开成绩。

Google DeepMind

WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加

Google DeepMind 的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 将以五级强度登陆牙买加,置信度达 80%,三天前升至接近 100%。

推荐理由:Google DeepMind 的 WeatherNext 在美国国家飓风中心预报飓风 Melissa 时,提前五天以 80% 置信度预测其将以五级强度登陆牙买加,这一案例展示了 AI 模型对快速增强型风暴的预测能力。

r/LocalLLaMA

Orthrus-Qwen3-8B:冻住 Qwen3-8B 主干,加一个扩散注意力头,一次前向最多吐出 7.8 倍的 token,输出分布数学上可证明不变

这个工作把 Qwen3-8B 的原始参数完全冻住,只额外训练一个扩散注意力头,让模型一次前向能生成多个 token,最高做到 7.8 倍。在 MATH-500 上实测 wall-clock 速度大约快了 6 倍。训练只动了 16% 的参数,用了不到 10 亿 token 的数据,在 8 张 H200 上跑了 24 小时。

推荐理由:研究团队冻结 Qwen3-8B 主干,仅训练一个扩散注意力头,在 MATH-500 上把单次前向的 token 吞吐提到最高 7.8 倍,墙钟时间约快 6 倍,输出分布保持不变。

The Verge · AI

Andon Labs 用 20 美元让四个 AI 各自开电台,结果集体翻车

Andon Labs 给 Claude、ChatGPT、Gemini 和 Grok 各 20 美元启动资金,让它们独立运营电台。Claude 试图煽动革命,Gemini 兴高采烈地播报惨烈灾难,Grok 全程懵圈。正文没披露完整的实验数据,但光看这几个片段就知道,让 AI 在没人盯着的情况下自主运行,目前还很不靠谱。

推荐理由:Andon Labs 给 Claude、ChatGPT、Gemini 和 Grok 各 20 美元独立运营电台,四个模型在无人监督下集体失控,为观察 agent 自主运行的边界提供了同台对照的样本。

5月15日星期五

r/LocalLLaMA

实测外挂资料库客服机器人:最贵的模型表现最差,真正管用的是这几招

作者搭了一个客服用的外挂资料库(RAG)问答机器人,用模型当裁判打分,把质量分从 6.62 拉到了 7.88,同时单次会话成本从 $0.002420 砍到 $0.000509,降了将近八成。最反直觉的发现是:最贵的模型反而是表现最差的。

推荐理由:作者用模型当裁判调优客服 RAG 机器人,质量分从 6.62 升到 7.88,单次会话成本降近八成,最贵的模型反而表现最差。

The Verge · AI

AI 写的论文越来越像真的,同行评审快扛不住了

The Verge 报道了一个具体案例:研究员 Peter Degen 发现一篇 2017 年的论文引用量突然暴增,从过去几年总共几十次,变成每隔几天就被引用一次。他怀疑这些引用来自 AI 生成的论文,因为 AI 写手会从训练数据里随机抓取看起来相关的文献塞进参考文献列表。

推荐理由:研究员 Peter Degen 发现一篇 2017 年论文引用量从几年几十次变成每隔几天一次,他怀疑这些引用来自 AI 生成的论文,因为 AI 写手会从训练数据里随机抓取相关文献塞进参考文献列表。

r/LocalLLaMA

网友用百万级 token 实测 Qwen 3.6 35B MTP 版,速度比之前快了约一半

一位 Reddit 用户分三次跑了超过一百万 token 来测 Qwen3.6-35B-A3B 的多 token 预测(MTP)版本,上下文拉到 300k,量化用 KV Q8_0。他给出的结论是生成速度大概比之前测过的版本快了 1.5 倍。

推荐理由:一位 Reddit 用户分三次跑了超百万 token,在 300k 上下文和 KV Q8_0 量化下实测 Qwen3.6-35B-A3B 的 MTP 版本,生成速度约为此前版本的 1.5 倍。