跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 61–80 条 · 共 471 条

9月14日星期一

Computing Life · Share · 鸭哥调研

谁在改尺子:AI 榜单的两重张力

文章以 OpenAI 发布 GPT-6 Astra 后 Artificial Analysis 在一周内两次修改 Intelligence Index 规则为例,指出 Astra 与 Claude Fable 5.1 的分数从 66:61 变为 57:55,最终并列 53 分,而模型本身没有更新。

推荐理由:Artificial Analysis 在 GPT-6 Astra 发布后一周内两次修改 Intelligence Index 规则,使 Astra 与 Claude Fable 5.1 从 66:61 变为 53:53 并列,而两款模型本身没有更新。

9月11日星期五

Hacker News 首页

代码能跑但写得烂:怎么衡量 AI 生成的代码有多“水”

Earendil 的 Sebastian 撰文讨论 LLM 生成代码虽形式正确却引入冗余抽象与重复的问题,并介绍两种度量方式:verbosity 衡量重复与冗余行占比,erosion 衡量复杂度超过 10 的函数所占的代码质量比例。

推荐理由:Earendil 的 Sebastian 提出 verbosity 与 erosion 两种度量,分别衡量 LLM 生成代码中重复冗余行占比和复杂度超 10 的函数所占比例,把代码臃肿程度变成可量化的指标。

9月10日星期四

Hacker News 首页

在真实的 Claude Code 会话里,LRU 缓存淘汰策略比很多新论文说的更难打败

作者用前缀缓存模拟器回放 393 个真实 Claude Code 会话的 68,266 条请求和 23,608 条 Mooncake 请求,尝试三种方式击败生产基线均未成功。作者称在容量压力下,大部分重算来自相隔数秒的工具调用循环,而非会话空闲超过 TTL,5 分钟 TTL 在容量压力下从未触发。仓库可通过 make setup data repro 从冷检出复现全部结果。

推荐理由:作者用 393 个真实 Claude Code 会话的 6.8 万条请求回放前缀缓存,三种击败生产基线的尝试均未成功,并指出容量压力下的重算主要来自相隔数秒的工具调用循环。

AI HOT 精选

OpenRouter 推出 Fusion:让多个模型先辩论,再合成一个最终答案

OpenRouter 发布复合模型 Fusion,把一次提示词同时发给多个模型并行作答,由 judge 比较共识与分歧后,再由调用模型写出最终答案。

推荐理由:OpenRouter 的 Fusion 把一次提示词并行发给多个模型,由 judge 比较共识与分歧后合成最终答案,默认三模型面板的调用成本约为单次补全的四到五倍。

AI HOT 精选

Cognition 发布 SWE-2 编码模型,跑分逼近前沿但成本砍掉六成多

Cognition 发布编码模型 SWE-2,在 FrontierCode 1.1 Main 上取得 50.0%,与 Fable 5.1 相差 1 个百分点,但成本低 64%。

推荐理由:Cognition 发布编码模型 SWE-2,在 FrontierCode 1.1 Main 上取得 50.0%,与 Fable 5.1 只差 1 个百分点,成本却低 64%。

9月7日星期一

Computing Life · Share · 鸭哥调研

AI 把作业下限抬高了,但评分标准还在惩罚想得更深的人

作者梳理米兰商科营销作业与土耳其高中数学两场千人级随机对照实验,指出 AI 在场时练习得分可提升 48% 甚至 127%,但撤除 AI 后闭卷测验反而下降 17%。米兰实验中,写明方案失效条件与因果机制的答案得分系统性偏低,逻辑连贯、点子数量多的答案得分更高,说明评分标准只奖励下限。作者据此建议 AI 在场时放心用、定期撤掉 AI 自测,并重构评价导向以奖励探索上限。

推荐理由:两场千人级随机对照实验显示,AI 在场时练习得分最高提升 127%,撤除后闭卷测验反降 17%,米兰实验还发现写明失效条件与因果机制的答案得分系统性偏低。

r/LocalLLaMA

Qwen 3.8-27B 的 4-bit 量化版调两个参数后,跑分反超 Q5 量化并逼近官方满血版

作者在 5090 上对比 NInfer+NVFP4(Unsloth Dynamic NVFP4 权重)与 llama.cpp+Q5_K_M(Unsloth Dynamic 3.0 GGUF)运行 Qwen3.8-27B,用 IFBench(50 样本,seed 42)测试。

推荐理由:作者在5090上对比Qwen3.8-27B的NVFP4与Q5_K_M量化版,将采样参数从temp=1.0、min_p=0改为0.9和0.05后,NVFP4的IFBench严格分从74%升至80%,反超Q5并接近官方BF16的79.5%。

9月6日星期日

AI HOT 精选

OpenAI 在 GPT-6 Astra 发布后反复修改跑分,幻觉率一度从 4.2% 砍半到 2% 又改回去

据 Fortune 报道,OpenAI 自 9 月 3 日下午首次发布 GPT-6 Astra 公告以来多次修改评测基准数据,部分成绩一度大幅变化。网页快照显示,Astra 幻觉率曾从 4.2% 降至 2%,后又回到 4.2%;Anthropic Fable 5.1 在 FrontierMath Tier 4(v2)的成绩一度从 87.8% 降至 78%,目前回升至 83%。

推荐理由:OpenAI 在 GPT-6 Astra 发布后多次修改评测基准数据,Astra 幻觉率一度从 4.2% 降至 2% 又改回,Anthropic 模型成绩也出现下调,基准测试成绩的可信度问题由此再次浮现。

AI HOT 精选

OpenAI GPT-6 Astra 在 Code Arena WebDev 榜单拿第一,比第二名 Claude Fable 5.1 高出 35 分

GPT-6 Astra(Max 版本)在 Code Arena 的网页开发专项榜上跑出 1797 分,排第一。第二名 Claude Fable 5.1(Max)是 1762 分,第三名 Claude Opus 5(Max)1688 分。这条信息只来自一条推文,正文没披露测试样本量、具体任务类型和响应延迟,所以这个领先幅度先别太当真,等有更多细节再判断。

推荐理由:GPT-6 Astra 在 Code Arena 网页开发榜以 1797 分登顶,比第二名 Claude Fable 5.1 高出 35 分,这一差距来自单条推文,未附样本量与任务细节。

9月5日星期六

AI 群聊日报

GPT-6 Astra 全面开放首日实测:更快但更贵,额度战同步开打

GPT-6 Astra 面向 ChatGPT Pro 用户全面开放,Codex CLI 中显示为默认模型,Copilot 也已接入 GPT-6。群友实测同一任务从 12 分钟缩短到 6 分钟,但单任务消耗比 Sol 贵约 75%,2 分钟 high effort 即烧掉 1% weekly 额度。

推荐理由:GPT-6 Astra 面向 Pro 用户开放首日,群友实测同一任务从 12 分钟缩到 6 分钟,单任务消耗却比 Sol 贵约 75%,速度与成本的取舍有了具体参照。

Hacker News 首页

Artificial Analysis 发布 v4.2 智能指数,用隐藏题库防刷分,并加入模拟知识工作的新测试

Artificial Analysis 发布 Intelligence Index v4.2,新增 AA-Briefcase 智能体知识工作评测和 Surge AI 的 GDP.pdf 长文档推理评测,移除已饱和的 GPQA Diamond。

推荐理由:Artificial Analysis 发布 Intelligence Index v4.2,新增 AA-Briefcase 智能体知识工作评测与 GDP.pdf 长文档推理评测,并将私有题库权重从 20% 提高到 40% 以降低刷分空间。

Hacker News 首页

AI 能画电路板了吗?EEBench 用仿真跑分告诉你还差多远

atopile 团队推出 EEBench V1,用 atopile 声明式代码让智能体直接操作元件与电气约束,再通过 SPICE 仿真和确定性检查评测电路设计。

推荐理由:atopile 团队推出 EEBench V1,用声明式代码让智能体直接操作元件与电气约束,再以 SPICE 仿真和确定性检查评测电路设计。

9月4日星期五

r/LocalLLaMA

GPT-6 Astra 在 ARC AGI-3 跑出 98.6% 别激动,OpenAI 用了自家改装套件

r/LocalLLaMA 用户发帖质疑 GPT-6 Astra 在 ARC AGI-3 上 98.6% 的成绩,指出 OpenAI 未使用标准 harness 而是自家 harness,并提到 NVIDIA 曾用 AVO harness 在 ARC AGI-3 上达到 100%。

推荐理由:Reddit 用户指出 OpenAI 在 ARC AGI-3 上未用标准套件,并提到 NVIDIA 曾以 AVO 套件达到 100%,为 98.6% 的成绩提供了比较背景。

AI 群聊日报

Flash 模型集体冲顶:Gemini 3.8 Flash 和 Muse Spark 1.3 同天发布,便宜模型已能搞定九成任务

2026-09-02 群聊日报汇总:Google 发布 Gemini 3.8 Flash(输入 $0.75/M tokens、输出 $3.75/M,305 tok/s。

推荐理由:Gemini 3.8 Flash 与 Meta Muse Spark 1.3 同日发布,前者以 Flash 档位定价在多项智能体跑分上超过 Sol 和 Opus 5,后者与 Grok 4.6 持平。

AI HOT 精选

OpenAI 发布 GPT-6 Astra,能跨应用操作电脑,越狱率直接压到零

OpenAI 发布 GPT-6 Astra,首席研究官 Mark Chen 称其能构建测试软件、跨应用操作电脑并尝试开放科学问题。作者补充的数据显示,OSWorld 真实桌面任务从 75 分钟降到 40 分钟,职场自动化从 18% 升到 41%,未防护越权率从上一代 48% 压到 0%,并称花了 2000 美元算力解出 10 道十年未解的数学与理论计算难题。

推荐理由:OpenAI 发布 GPT-6 Astra,材料给出跨应用操作电脑与对齐两项能力的具体数字,并提到带工具的综合测试仍落后 Claude。

Hacker News 首页

Claude Code、Codex 和 Cursor 写代码时爱装什么工具?我们跑了近 1.7 万次实测

Armature 团队对 Claude Code、Codex 和 Cursor 进行了 16,893 次会话实验,覆盖 1,163 个提示词变体、75 个代码库和 4 类用户画像,观察智能体在真实代码库中如何发现并选择第三方服务。

推荐理由:Armature 团队用近 1.7 万次会话实测 Claude Code、Codex 和 Cursor 在真实代码库中如何挑选第三方服务,覆盖 1163 个提示词变体、75 个代码库和四类用户画像。

AI HOT 精选

Perplexity 要接 GPT-6 Astra,CEO 说它在 WANDR 评测里排第一

Perplexity CEO Aravind Srinivas 祝贺 OpenAI 发布 GPT-6 Astra,称其在宽度和深度研究任务上远超其他模型且更具成本效益。该模型将很快向 Perplexity Computer 的 Pro 和 Max 用户开放。

推荐理由:Perplexity CEO 宣布将接入 OpenAI 新发布的 GPT-6 Astra,并称其在宽度和深度研究任务上表现居首且更具成本效益,该模型将面向 Perplexity Computer 的 Pro 和 Max 用户开放。

AI HOT 精选

GPT-6 Astra 在 ARC-AGI-3 上标准跑分 66%,靠持续对话硬拉到接近满分,但每道题烧掉 360 美元

François Chollet 发文称 GPT-6 Astra 在交互式推理任务上带来阶跃式能力提升,使用标准 harness 在 ARC-AGI-3 上得 66%。配合持续对话 harness 和自定义 compaction 后接近 100%,每局成本约 $360。

推荐理由:Chollet 公布 GPT-6 Astra 在 ARC-AGI-3 上的成绩,标准 harness 得 66%,配合持续对话与自定义压缩后接近满分,每局成本约 360 美元。

AI HOT 精选

GPT-6 Astra 编码智能体跑分追平 Fable 5,但价格涨到 2.5 倍

Artificial Analysis 发布 GPT-6 Astra 评测,其 Coding Agent Index 得分 67,约等于 Claude Opus 5 和 Fable 5,且成本不到 Fable 5 的一半。其 token 效率比 GPT-5.6 Sol(max)高约 70%。

推荐理由:Artificial Analysis 的评测显示,GPT-6 Astra 编码智能体得分追平 Claude Opus 5 和 Fable 5,成本不到 Fable 5 的一半,token 效率比 GPT-5.6 Sol 高约 70%。

9月3日星期四

Hacker News 首页

同一个模型套 9 种外壳,跑通一次的成本差了 17 倍

Runta 发布 FrontierHarness Eval,用同一模型 Kimi K3 在相同运行时和冷启动条件下测试 9 个 harness 共 12 种配置的软件工程任务表现。

推荐理由:Runta 用同一 Kimi K3 模型在相同冷启动条件下测试 9 个 harness 共 12 种配置,Claude Code 每次通过成本 18.34 美元,Codex 为 3.47 美元,通过率反而更高。