跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 121–140 条 · 共 471 条

8月2日星期日

Computing Life · Share · 鸭哥调研

同一模型,换个外壳就泄密:提示词注入的防线不在模型,在系统架构

Ghostcommit 实验捅破了一层窗户纸:同一个 Sonnet 模型,在 Claude Code 里能 10 次全拒藏在图片里的恶意指令,换到 Cursor 和 Antigravity 里就 10 次全中招,把 .env 密钥泄露到公开仓库。这说明防不防得住,关键不在模型本身,而在它外面的工具链和运行外壳。

推荐理由:Ghostcommit 实验显示,同一个 Sonnet 模型在 Claude Code 中十次全拒图片里的恶意指令,换到 Cursor 和 Antigravity 则十次全泄露 .env 密钥,防线差异落在工具链与运行外壳。

7月31日星期五

Hacker News 首页

用 DeepSeek 教出来的模型,没学会它的审查习惯

CTGT 拿 DeepSeek V4 Flash 当老师,蒸馏出一个 120B 的金融模型。在 152 组配对测试里,老师碰到中国敏感话题时审查得分高出 45.45 分,但学生模型完全没这毛病——四个美国实验室的裁判一致认定它不审查。

推荐理由:CTGT 用 DeepSeek V4 Flash 蒸馏出 120B 金融模型,152 组配对测试显示老师的审查倾向高出 45.45 分,学生模型却未被四个美国实验室的裁判判为审查。

7月29日星期三

AI HOT 精选

OpenAI 只改了两项 API 设置,就让 GPT-5.6 在 ARC-AGI-3 上的得分翻了三倍

GPT-5.6 Sol 在 ARC-AGI-3 基准测试上最初只拿了 7.8% 的总分,公开集也才 13.3%,远低于人类测试者约 48% 的平均水平。OpenAI 排查后发现,问题主要出在官方测试框架上:每次行动后模型之前的“内心思考”会被清空,而且历史记录一长就会被截断,导致模型既记不住自己想过什么,也看不到更早的操作。

推荐理由:OpenAI 排查发现,GPT-5.6 在 ARC-AGI-3 上得分低源于测试框架清空思考并截断历史,修正这两项设置后得分提升三倍。

7月28日星期二

Hacker News 首页

花 500 美元微调一个 9B 开源模型,在商品目录审核上干掉了顶尖闭源模型

Fermisense 用 GRPO 强化学习微调了一个 9B 开源模型做商品目录审核,质量得分达到 87.3%,而他们测试的最强闭源模型组合只拿到 76.9%。成本差距更夸张:微调模型审一千条商品只要 0.5 美元,闭源方案则要 19 到 172 美元,便宜了 40 到 340 倍。

推荐理由:Fermisense 用 GRPO 微调 9B 开源模型做商品目录审核,质量得分 87.3%,超过其测试的最强闭源组合 76.9%,单千条成本从 19 至 172 美元降到 0.5 美元。

7月27日星期一

Computing Life · Share · 鸭哥调研

SWE-bench 高分,为什么在大厂 Kotlin 项目里照样抓瞎?

JetBrains 在 2026 年 7 月 24 日发布了 Kotlin Benchmark,用 8 个开源项目的 105 个真实任务测 AI 编程助手。同样用 Opus 4.7 模型,Claude Code 成功率 85.71%,JetBrains 自家的 Junie 是 81.9%,差了近 4 个百分点。

推荐理由:JetBrains 用 8 个开源项目的 105 个真实任务测试 AI 编程助手,同一模型下 Claude Code 与自家 Junie 的成功率相差近 4 个百分点,为衡量编程助手在真实工程中的表现提供参照。

7月26日星期日

Hacker News 首页

陶哲轩 ICM 2026 演讲:假设 AI 能做研究级数学,数学界该重新审视什么

陶哲轩在 2026 年国际数学家大会的公开演讲里,没有去争 AI 到底能不能做研究级数学。他直接假设一个“强能力版本”成立——AI 工具在不久后能以合理的成本、成功率、质量和人工监督,完成相当一部分研究级数学任务——然后反过来问数学界:我们的目标和价值观到底是什么。

推荐理由:陶哲轩在 2026 年国际数学家大会演讲中假设 AI 能完成研究级数学任务,转而追问数学界的目标与价值观,把讨论从工具能力转向学科自身的定位。

AI 群聊日报

Opus 5 实测次日:靠饱和式自测换质量,综合成本可能反超 Fable;OpenAI 深夜宕机换来全员重置卡

第三方测评显示,Claude Opus 5 最大的行为变化是饱和式自测——前端会对着需求截图逐个功能确认,后端能写超过 1000 个测试用例,大面上的交付问题几乎消失。代价是时间和 token 消耗极大,复杂场景下综合成本可能反超 Fable;关掉自测后直出代码的 bug 率并不比前代低。

推荐理由:第三方测评显示 Claude Opus 5 转向饱和式自测,前端逐项核对功能、后端可写超千个测试用例,交付问题减少的同时时间与 token 消耗大增,复杂场景综合成本可能反超 Fable。

7月25日星期六

Hacker News 首页

ARC Prize 发布 ARC-AGI-3 排行榜,按性价比给 AI 系统排座次

ARC Prize 放出了 ARC-AGI-3 的官方验证排行榜。这个新测试不再只看模型坐着答题,而是让 AI 智能体进入实时变化的交互环境里临场应变。排行榜最显眼的是张散点图,横轴是每道题的花费,纵轴是得分,直接把性价比摆到台面上。图上只展示运行总成本低于 1 万美元的系统;如果是 Kaggle 竞赛方案,还有 50 美元算力封顶的限制。

推荐理由:ARC Prize 发布 ARC-AGI-3 官方验证排行榜,把 AI 智能体在实时交互环境中的得分与单题成本画进同一张散点图,只收录总成本低于 1 万美元的系统。

Computing Life · Share · 鸭哥调研

OpenAI Presence:把现场失败修成下次能跑通的规则,装进了产品

OpenAI 在 7 月 22 日发布了 Presence,一个面向客服、外呼销售等具体岗位的企业语音和聊天 agent 产品。它的核心卖点不是模型能力,而是把 agent 卡住转人工之后的改进流程做成了标准功能:系统自动保存失败时的完整运行上下文,团队可以在沙盒里复现问题、修补规则、跑回归测试,再通过 Codex 改代码下发。

推荐理由:OpenAI 发布企业语音和聊天 agent 产品 Presence,把 agent 转人工后的失败上下文保存、沙盒复现、规则修补和回归测试做成标准功能。

7月24日星期五

Computing Life · Share · 鸭哥调研

GPT-5.6 提示指南:别再手写执行步骤,把交付标准写死就行

OpenAI 7 月 22 日更新的 GPT-5.6 提示指南给了一个反直觉的建议:Agent 上下文够用时,不用在 prompt 里逐行规定中间步骤。

推荐理由:OpenAI 在 GPT-5.6 提示指南中提出,Agent 上下文够用时不必逐行规定中间步骤,把交付标准写清即可,这条建议直接挑战了写 prompt 时硬编码流程的常见做法。

7月23日星期四

Computing Life · Share · 鸭哥调研

Cursor 用新编排系统重写 SQLite,4 小时通过 80% 测试,但离生产数据库还很远

Cursor 团队做了一次受控实验:让新旧两套 Agent 编排系统,都只读 835 页 SQLite 手册,用 Rust 从零写一个兼容的数据库。新系统 Harness 4 小时内 sqllogictest 通过率达到 80%,最终能到 100%;旧系统 Swarm 不到 2 小时就因为代码冲突和接口混乱被叫停。

推荐理由:Cursor 让新旧两套 Agent 编排系统在相同条件下从零用 Rust 写 SQLite,新系统 4 小时通过 80% 测试,旧系统不到 2 小时因代码冲突被叫停,两组表现差异提供了编排设计的直接比较。

7月22日星期三

OpenAI News

OpenAI 发布 Presence:一个已经在自家客服跑通的 AI 坐席产品

OpenAI 把给企业部署 AI 客服和内部流程机器人的经验打包成了产品 Presence,今天正式推出。它不是一个裸模型,而是一套带护栏的生产系统:企业可以设定 AI 能查哪些系统、能执行哪些操作、什么情况下必须转人工。

推荐理由:OpenAI 把内部客服机器人的部署经验打包成产品 Presence,企业可设定 AI 能查哪些系统、能执行哪些操作、什么情况下转人工,呈现了 AI 坐席落地时的权限与转接设计。

Hacker News 首页

Fireworks 实测 Kimi K3 对战 Fable:单挑打平,但让两个模型分工干活准确率冲到 93%,成本最多砍掉 50 倍

Fireworks 用约 1030 个真实编程 agent 任务跑了一遍 Kimi K3 和 Fable 5。单看 SWE 这类修 bug 的基准,K3 正确率 92.4%,Fable 92.6%,几乎没差别。但拆开看,K3 擅长符号数学和开发工具链,Fable 在网页和数据可视化上更强。

推荐理由:Fireworks 用约 1030 个真实编程 agent 任务对比 Kimi K3 与 Fable,两者单挑几乎打平,按任务类型分工后准确率升至 93%,成本最多降为五十分之一。

7月17日星期五

AI HOT 精选

Kimi K3 前端编码跑分登顶,2.8 万亿参数模型 7 月 27 日开放权重

Kimi K3 在 Frontend Code Arena 拿了 1679 分,7 个前端子任务里 6 个第一,压过了 Claude Fable 5 和 GPT-5.6 Sol。模型本身是个 2.8 万亿参数的 MoE 架构,上下文窗口能塞进 100 万 token,大概是一套《三体》三部曲的量。7 月 27 日会开放权重,到时候可以自己部署。

推荐理由:Kimi K3 在 Frontend Code Arena 前端编码榜拿了 1679 分,7 个子任务里 6 个第一,压过了 Claude Fable 5 和 GPT-5.6 Sol。模型是 2.8 万亿参数的 MoE 架构,上下文窗口能塞 100 万 token,7 月 27 日开放权重。这是国产旗舰模型在一个具体编码榜单上直接挑战闭源双巨头,而且马上能自己部署,对前端圈和国内开发者来说是个实打实可验证的信号。

AI HOT 精选

企业AI智能体评估存在“现实对齐”缺口:半数组织曾将通过内部测试的智能体部署到生产环境后导致客户故障

VentureBeat 对 157 家企业的调查发现,AI 智能体的内部评估和实际表现严重脱节。过去一年,50% 的组织都遇到过智能体或大模型功能通过了内部测试,上线后却在客户面前出故障的情况,其中四分之一不止一次踩坑。只有 5% 的人完全信任自动化评估,最大的槽点是评估结果跟真实世界表现对不上(29% 的人选了这项)。

推荐理由:VentureBeat调查157家企业发现,半数组织曾把通过内部测试的AI智能体部署到生产环境后引发客户故障,评估结果与真实表现脱节是受访者提到最多的问题。

7月16日星期四

Hugging Face 博客

Ai2 公开 Shippy 海事 AI 助手的工程经验:把不可靠的模型装进确定性的工具里

Ai2 的 Skylight 团队做了一个叫 Shippy 的海事 AI 助手,帮分析师查渔船活动、专属经济区边界和船只轨迹。他们把架构拆成三块:灵魂(系统提示词,定人设和行为边界)、技能(用 Markdown 文件教它调 API 和解读轨迹数据)、配置(运行时设置,目前用 Claude Opus 4.6 加 OpenClaw 框架)。

推荐理由:Ai2 的 Skylight 团队把海事助手 Shippy 拆成系统提示词、Markdown 技能文件和运行时配置三层,这套把模型能力约束在确定性工具里的做法可以迁移到其他 Agent 项目。

Hacker News 首页

MLOps 还没解决的几个硬问题

ACM Queue 这篇文章把现在 MLOps 的尴尬摊开了:传统运维那套靠确定性响应做健康检查、灰度发布、告警的方法,在 ML 系统上基本失灵。核心矛盾就两条——模型输出不是确定的,以及数据跟代码一样在驱动系统行为。

推荐理由:ACM Queue 一文梳理 MLOps 的两处硬伤,模型输出不确定、数据与代码共同驱动系统行为,使传统运维的健康检查与灰度发布方法失效。

7月15日星期三

Computing Life · Share · 鸭哥调研

AI 训练 AI:一次公开实验把自我改进的闭环走到了哪一步

Dan Austin 开源了一个完整的 AI 训练 AI 实验。外层用 Qwen3.6 智能体设计后训练方案,内层用 Qwen3-0.6B 或 1.7B 模型在 GPU 上真跑训练,隐藏评分再作为奖励反馈给外层。54 步下来,智能体先学会少交无效作业,然后把 1.7B 模型的使用比例从 42% 拉到了 95%,并开始主动调整温度、优化器等超参数。

推荐理由:Dan Austin 开源了一套 AI 训练 AI 的完整实验流程,外层智能体设计后训练方案,内层小模型在 GPU 上真跑训练,54 步里把 1.7B 模型使用比例从 42% 拉到 95%。

7月14日星期二

Hacker News 首页

DoorDash 用多个大模型当“陪审团”给菜品打标签,准确率比人工高 20%

DoorDash 的菜单上有几百万个菜品,名字写法千奇百怪,靠人一个个标辣度、菜系太慢也太贵。他们搭了一套 AI 标注平台,同时看菜名、图片和网页搜索结果来推断属性。最特别的是,他们不用人审,而是让多个强模型组成“陪审团”独立投票、取共识,标注准确率比普通人工审核高出约 20%。

推荐理由:DoorDash 用多个大模型组成陪审团为菜品自动标注辣度、菜系等属性,准确率比普通人工审核高出约 20%,展示了多模态数据标注的一种可迁移做法。

Hacker News 首页

实测苹果新语音 API:准确率超 Whisper Small,速度还快三倍

Inscribe 团队用 5,559 条标准语音样本,把苹果刚推出的 SpeechAnalyzer 跟老版 SFSpeechRecognizer 以及三个 Whisper 模型拉出来比了比。

推荐理由:Inscribe 团队用 5,559 条标准语音样本,将苹果新 SpeechAnalyzer 与老版 SFSpeechRecognizer 及三个 Whisper 模型横向对比,给出准确率和速度的量化结果。