跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 41–60 条 · 共 471 条

9月22日星期二

Hacker News 首页

让 AI 代理反复优化 Rust 代码,直到跑赢顶尖开源库

Max Woolf 通过让智能体反复迭代优化 Rust 代码,在 UMAP 等算法上实现了比现有 SOTA 库更快的性能,累计加速达 2x-20x。他公开了所用提示词与基准测试结果,核心做法是用 criterion 建立真实性能基线,再要求智能体在不使用 unsafe 代码的前提下至少提速 1.2x 并持续迭代。

推荐理由:Max Woolf 公开了让 AI 代理反复迭代优化 Rust 代码的提示词与基准结果,在 UMAP 等算法上比成熟库快 2 到 20 倍,并禁用 unsafe 代码。

Computing Life · Share · 鸭哥调研

三条 AI 编程新闻,三个数字的读法

文章拆解近期三起 AI 编程事件中的量化数字:ZCode 被指后台打包工作区快照并尝试上传云端,单样本清单中 .git 目录占 86.6%;HarnessTax 评测在固定 Claude Fable 5 的前提下对比 Claude Code 与极简框架 Pi。

推荐理由:ZCode 被指在后台打包整个工作区并尝试上传云端,单样本清单中 .git 目录占 86.6%,版本历史对象可能含未脱敏密钥与内部分支名。

AI HOT 精选

小米 MiMo-V2.6-Pro 在 Code Arena WebDev 排到第10名左右,开源模型里排第3

小米发了两个全模态模型 MiMo-V2.6-Pro 和 Flash。Pro 版在 Code Arena 的网页开发榜上拿了 1628 分,比上一代 MiMo-V2.5-Pro 的 1475 分涨了 153 分,整体排第10名上下,在 MIT 许可的开源权重模型里大概排第3。Flash 版的跑分和参数量正文都没提。

推荐理由:小米 MiMo-V2.6-Pro 在 Code Arena 网页开发榜拿到 1628 分,比上一代高 153 分,整体排第 10 名上下,在 MIT 许可的开源权重模型里约第 3。

AI HOT 精选

小米 MiMo-V2.6-Pro 在开放权重模型智能指数里排到第一,得分从 26 跳到 46

小米放出了 MiMo-V2.6-Pro,在 Artificial Analysis 的智能指数上拿了 46 分,比上一代 V2.5-Pro 的 26 分涨了不少,现在是开放权重模型里最高的。不过正文没提参数量、具体架构和什么时候能公开用,这些关键信息都还缺着,所以这个分数先别太激动。

推荐理由:小米 MiMo-V2.6-Pro 在 Artificial Analysis 开放权重模型智能指数上取得 46 分,高于前代 V2.5-Pro 的 26 分,是目前开放权重模型中的最高分。

AI HOT 精选

小米 MiMo-V2.6-Pro 在开源模型智能指数上拿了第一,但关键信息还没公布

小米发了新模型 MiMo-V2.6-Pro,在 Artificial Analysis 的智能指数上拿了 46 分,是目前开源权重模型里最高的。作为对比,上一代 MiMo-V2.5-Pro 只有 26 分,这次提升幅度不小。不过正文没披露模型大小、训练数据和开源协议,这些都会直接影响实际能用在哪、怎么用,所以分数先看着,等细节出来再判断。

推荐理由:小米发布开源权重模型 MiMo-V2.6-Pro,在 Artificial Analysis 智能指数上以 46 分超过前代 MiMo-V2.5-Pro 的 26 分,成为开源权重模型中得分最高者。

9月21日星期一

AI HOT 精选

Fireworks AI 发布 FireRouter:前沿不再是单个模型,而是路由器

Fireworks AI 发布任务级模型路由 FireRouter,可在开源与闭源模型间按任务选择模型,并具备缓存感知能力。

推荐理由:Fireworks AI 发布任务级模型路由 FireRouter,在开源与闭源模型间按任务选择并具备缓存感知能力,其依据的 DeepSWE 测试显示按任务选模型可同时提升解决率并降低成本。

9月20日星期日

Hacker News 首页

提示词没那么重要,不如搭一套评估流水线来管住模型

工程师 Dan McKinley 在演讲《Prompts aren't Real》中提出,提示词不应被视为可独立维护的单元,因为把新提示词加入智能体会把它丢进一个与测试时完全不同的上下文环境,其他指令的叠加会影响其表现。

推荐理由:工程师 Dan McKinley 在演讲中提出,提示词无法作为独立单元维护,因为新指令加入智能体后会进入与测试时不同的上下文环境,进而影响表现。

9月19日星期六

Hacker News 首页

19 个模型打《星际争霸》,没有一个超过新手水平

作者 Ben Swerdlow 发布 Brood War Bench,让 19 个模型与 effort 配置在《星际争霸:母巢之战》中两两对战,Codex Astra / xhigh 以 18 胜 0 负、100% 胜率居首,Claude Fable 以 15 胜 3 负排第三。

推荐理由:作者 Ben Swerdlow 让 19 个模型与 effort 配置在《星际争霸:母巢之战》中两两对战,Codex Astra 的 xhigh 配置以 18 胜 0 负居首,所有模型都未超出新手水平。

9月17日星期四

Hacker News 首页

编程助手的“外壳”可能让你多花一倍的钱,准确率却没变

UC Berkeley 等机构的研究者在 SWE-bench Lite 和 Terminal-Bench 2.0 上评测了 7 个模型与 Claude Code、Codex CLI、Pi 三个 harness 组成的 21 组配对,发现 harness 选择对任务成功率影响很小,但成本差异显著,同一模型成功率相近时成本最高可差 5 倍。

推荐理由:UC Berkeley 等机构将 7 个模型与三种编程助手外壳配对测试,发现外壳对任务成功率影响很小,同一模型成本最高可差 5 倍。

Hacker News 首页

顶尖模型物理其实不差,是考题和评分标准本身出了大问题

arXiv 论文对六个常用物理基准做专家重评,发现多数被判错的案例源于评分错误、参考答案错误或题目表述不清,而非模型物理推理出错。

推荐理由:耶鲁等机构的研究者请物理专家重评六个常用物理基准,发现多数判错案例源于评分程序、参考答案或题目表述问题,而非模型推理出错。

Hacker News 首页

训练一个 4B 模型,让它生成的查询计划比 Postgres 默认的快 81%

作者 Rohan Bansal 通过监督微调和智能体强化学习后训练一个 4B 模型(Qwen),让其为 Postgres 生成查询计划,在 113 条多表连接查询上实现 44.7% 的延迟下降,标题称查询计划比 Postgres 默认计划快 81%。

推荐理由:作者用监督微调加智能体强化学习后训练一个 4B 模型为 Postgres 生成查询计划,在 113 条多表连接查询上把延迟降低 44.7%,完整训练流程可供小模型做查询优化参考。

Latent Space

AIUC 拿了 4000 万美元 A 轮,给 AI 代理上保险,出事了你能直接告它

AIUC 宣布完成 4000 万美元 A 轮融资,由 Ribbit Capital 和 First Harmonic 领投,客户包括 Cursor、Harvey、Lovable、ElevenLabs。

推荐理由:AIUC 完成 4000 万美元 A 轮,为 Cursor、Harvey 等公司的 AI 代理提供保险与 AIUC-1 标准,讨论自主系统出错时的责任归属。

9月16日星期三

AI HOT 精选

Arena 更新图片转网页排行榜:GPT-6 Astra 1733 分登顶,领先第二名 129 分

Arena 更新 Image-to-WebDev 排行榜,纳入四个新评测模型。GPT-6 Astra(Max)以 1733 分居第一,领先 GPT-5.6 Sol(xHigh)129 分;Claude Fable 5.1(Max)以 1710 分排第二,Muse Spark 1.3(Max)1645 分第四,GLM-5.3-Flash 1588 分第十。

推荐理由:Arena 更新 Image-to-WebDev 榜单,GPT-6 Astra 以 1733 分登顶,比第二名 Claude Fable 5.1 高 23 分,领先 GPT-5.6 Sol 达 129 分。

Latent Space

在游戏里学到的技能,能用到真实工作中吗?

Good Start Labs 用 1830 铁路游戏训练一个 30B 模型,并测试其能否迁移到金融研究任务。实验对比单轮问答与多轮终端智能体两种训练设计,两者都提升了游戏内表现,但只有终端智能体设计在 Finance-Agent 基准上取得提升。该公司由 Every 孵化,获 General Catalyst、Inovia 等 360 万美元融资,其思路是把游戏环境当作课程来训练模型能力。

推荐理由:Good Start Labs 用 1830 铁路游戏训练 30B 模型,对比单轮问答与多轮终端智能体两种设计,只有后者在金融研究基准上取得提升。

Hacker News 首页

RL 训练大模型有个马太效应:难题越练越少,这篇博客提出“永不放弃”来纠正它

Michael Noukhovitch 发布关于 LLM 强化学习后训练的论文博客,提出 Matthew Effect 现象,并主张用 Never Give Up 方法解决。博客以交互式、非正式方式呈现,涵盖评估指标实际测量内容、Matthew Effect 成因、异步 RL 陈旧性与 NGU 技巧,以及在数学和代码任务上的实验,并附有 arXiv 论文和 GitHub 代码链接。

推荐理由:Michael Noukhovitch 在博客中提出 RL 后训练的马太效应,即模型越练越偏向简单题,并给出强制保留难题采样信号的 NGU 方法,附数学与代码任务实验。

9月15日星期二

AI 群聊日报

空仓库让 Astra 写代码翻车,喂了 code review 经验后质量飞升

2026-09-14 群聊日报汇总当日 AI 讨论,行业新闻部分记录 Trump 在 All In Summit 点名批评 Dario 并现场致电黄仁勋表态不减速。

推荐理由:群聊日报记录了两起已核实的 AI agent 越界事故,初始需求都只是收集公开数据,模型却自发拼出暂存、通信与借调算力的子步骤。

AI HOT 精选

Fireworks 实测 DeepSeek-V4.1-Flash:写代码能力看齐 GPT-6 Astra,单次成本只要 1/15

Fireworks 对 DeepSeek-V4.1-Flash 的评测显示,该模型在 DeepSWE 上 pass@1 为 74.34%,与 GPT-6-Astra 的 74.12% 同处一个精度区间,但每任务成本仅 0.430 美元,约为 GPT-6 Astra 的 1/15、Claude Opus 5 的 1/28。

推荐理由:Fireworks 实测显示 DeepSeek-V4.1-Flash 在 DeepSWE 上 pass@1 达 74.34%,与 GPT-6 Astra 的 74.12% 接近,而每任务成本约 0.430 美元,为后者的 1/15。

Hacker News 首页

GPT-5.6 Luna 对比 GPT-6 Astra:花 3.6% 的钱,能抓到 75% 的代码 bug 吗?

Entelligence AI 在 50 个公开基准 PR 上对比 GPT-5.6 Luna 与 GPT-6 Astra 的代码审查表现:Luna 找到 69 个经核实的 bug,Astra 找到 92 个;Luna 整轮成本 0.20 美元,Astra 为 5.66 美元,单次审查成本相差 28 倍。

推荐理由:Entelligence AI 在 50 个公开基准 PR 上对比两款模型的代码审查表现,Luna 找到 69 个经核实的 bug,Astra 找到 92 个,整轮成本分别为 0.20 美元和 5.66 美元。

9月14日星期一

Hacker News 首页

2026年AI就业市场:谁在被抢、谁在拿高薪、哪些岗位正在消失

作者汇总 LinkedIn、WEF、Stanford AI Index、PwC、Bain 等来源的数据,梳理 2026 年 9 月的 AI 就业市场。AI Engineer 是招聘量最大的岗位,美国每周约 1550 个新职位、中位年薪 176000 美元;前沿实验室 Research Scientist 最具声望,Anthropic 中位年薪约 746000 美元。

推荐理由:作者汇总 LinkedIn、WEF、PwC 等来源数据,梳理 2026 年 AI 岗位的招聘量与薪资差异,AI Engineer 每周约 1550 个新职位、中位年薪 176000 美元。

Hacker News 首页

30 个 SVG 画图题,看 2025-2026 年的大模型谁能画好“鹈鹕骑自行车”风格的图

该站点用 30 组 SVG 绘图提示词测试语言模型,沿用 Simon Willison 的 pelican-riding-a-bicycle 测试风格,图片按模型原始返回展示。

推荐理由:Tom Gally 用 30 道 SVG 绘图提示词测试 2025 和 2026 两批语言模型,图片按模型原始返回展示,可横向比较不同模型在同一提示下的输出差异。