跳到正文

#评测/基准

今日 0 条

5月26日星期二

Import AI

直面未来,或从当下撤退:一份 AI 进展的眩晕感与一个奇点故事

这是 Jack Clark 在牛津大学讲座的文字版,外加一篇他写的科幻小说。讲座的核心是一张让他感到眩晕的图——Epoch 能力指数,它用 40 多个基准测试画出了 AI 能力的陡峭爬升曲线。Clark 认为,AI 不是普通技术,它更像一片在加速生长的森林,而我们现在看到的通过律师资格考试、拿下国际数学奥赛金牌、发现软件新漏洞,都只是这片森林里的几棵树...

推荐理由:Jack Clark 这篇不是技术报告,更像一篇行业随笔。他拿 ECI 的 40 多项基准当引子,核心抛出一个具体判断:两年内可能出现能开发后继系统的 AI。这个说法把模糊的“奇点”变成了一个有明确时限的猜想,所以我会给高重要性。正文没给出两年预测的严格推导过程,更像基于趋势的直觉,这点先别太激动,但它确实把 AGI 时间线、安全和就业这些老话题拧成了一根引线,值得从业者读一读并自己判断。

5月24日星期日

新智元 · 公众号

AI 写的文章数量已经超过人类了,但正文被微信验证页挡住了

这篇来自新智元的文章标题说 AI 生成的文章数量碾压人类,但正文被微信环境异常验证页完全挡住,看不到任何具体内容。从已有的英文摘要看,研究方 Graphite 从 CommonCrawl 里抽了 4.3 万篇文章做检测,发现从 2024 年 11 月起 AI 写的英文文章数量超过了人类写的。他们用的检测器自称误判率约 4.2%、漏判率约 0.6%,也就...

推荐理由:这篇评论性文章用一个抽样数据把“AI 内容淹没人类内容”这个模糊焦虑变成了一个有时间点的判断。43000 篇样本不算大,但误报率和漏报率都给了,说明检测工具本身不是绝对可靠,这点先别太激动。文章没披露抽样方法和检测模型细节,所以交叉点的精确度要打个折。对从业者的实际提醒是:公开网页数据正在被 AI 生成内容快速稀释,做预训练或外挂资料库的人得把数据溯源和过滤当成硬需求。整体信息量够、有数据支撑,但单一信源且缺乏平台级影响分析,所以分数没再往上走。

5月22日星期五

AI HOT 精选

大模型在生产环境会“说胡话”,但大部分跑分测试根本不查这个

Dharma-AI 在 Hugging Face 发了篇博文,说现在的大语言模型上线后经常出现文本退化——输出内容来回重复、前言不搭后语或者逻辑崩掉。这种故障直接影响用户体感和模型能不能用,但主流基准测试基本没把这类问题纳入评分。文章呼吁业界在评估体系里加上对文本退化的系统追踪和量化指标,正文没披露具体的指标设计或实验数据。

推荐理由:HKR 三项都过了,但这篇帖子只披露了故障模式和基准盲区,没给样本量、具体指标或复现方法,信息密度偏低,放在 featured 里靠下的位置比较合适。

5月19日星期二

AI 群聊日报

AI21裁员六成停卖模型,GPT-5.4被假共识带偏后准确率从100%暴跌到23%

AI21 Labs裁员60%并停止独立销售模型,文章判断纯卖模型访问权限这条路已经走不通了——token价格两年跌了100倍,过去16个月里有六家独立模型公司以几乎相同的方式被大厂吸收。Meta内部文件也曝出要裁10%约8000人,同时强征7000人转AI岗。滑铁卢大学一篇论文测出GPT-5.4在注入虚假同伴共识后,准确率从100%掉到23%,模型内部...

推荐理由:我会先打个折:来源是群聊日报,不是官方公告或论文,所以细节可能不全。但两条信息都直接给数字——AI21 砍掉六成人、不再卖模型,说明这家实验室在收缩;GPT-5.4 被注入虚假同伴共识后准确率从全对掉到只剩两成多,暴露了模型在群体压力下的脆弱。这两件事放在一起,既有行业动态又有安全风险,对从业者来说值得扫一眼。

5月17日星期日

Dwarkesh Patel 播客

预训练并行策略与翻车训练笔记

这篇笔记聊了两件事:预训练为什么容易跑崩,以及怎么把训练拆到多张 GPU 上。跑崩的核心原因有两个——破坏因果性和引入偏差。比如 MoE 路由里用专家选择(expert choice)分配 token,会让 token n 的去向依赖 token n+k 的路由结果,训练时看到了推理时看不到的信息;token 丢弃也会让后面的 token 影响前面的处...

推荐理由:Dwarkesh 这期笔记把预训练里容易翻车的地方摊开讲:expert choice 和 token dropping 会破坏因果性,FP16 集体通信能把一万次累加算偏,这些坑不踩过很难意识到。我会先打个折——它更像从业者之间的经验交换,不是系统性的技术报告,但给的数字(6ND、288GB、参数量×3)对算成本和排故障都有用。正文没展开具体实验验证,所以别当定量结论用。

5月15日星期五

The Verge · AI

AI 写的论文越来越像真的,同行评审快扛不住了

The Verge 报道了一个具体案例:研究员 Peter Degen 发现一篇 2017 年的论文引用量突然暴增,从过去几年总共几十次,变成每隔几天就被引用一次。他怀疑这些引用来自 AI 生成的论文,因为 AI 写手会从训练数据里随机抓取看起来相关的文献塞进参考文献列表。文章指出,这种“看起来挺像回事”的 AI 论文正在大量涌入学术期刊的审稿流程,审...

推荐理由:这篇 The Verge 的报道抓到了一个很具体的信号——Peter Degen 发现一篇老论文的引用曲线突然反常飙升,但正文没披露他到底查了多少样本,所以这个异常有多普遍还不好说。我会先打个折,把它放在 featured 里偏低的位置,而不是必读。它好就好在用一个可查证的引用异常,把“AI 论文变好看了反而让审稿更难”这个矛盾讲清楚了,对做研究和搞评审的人都挺有触动。

5月11日星期一

量子位 · 公众号

菲尔兹奖得主实测 ChatGPT 5.5 Pro,17 分钟跑出论文级数学结果

陶哲轩的同事、菲尔兹奖得主 Timothy Gowers 拿 ChatGPT 5.5 Pro 试了一道加法数论里的难题,模型在 17 分 05 秒内给出了一个最优的二次上界构造,相当于直接产出了一篇小论文的核心证明。之后他又让模型把整个过程写成 LaTeX 预印本,总共花了 47 分钟。Gowers 把结果发在了自己博客上,因为 arXiv 目前拒收 ...

推荐理由:三条都过:Gowers 的第一人称实测、17 分 5 秒和 47 分钟预印本都是可讨论的硬信息。不是模型发布,但有名有姓的实验和数学推理冲击让它必须写。

5月10日星期日

新智元 · 公众号

硅谷顶尖 AI 甩开世界一年?这篇正文其实没给实锤

这篇文章的标题抛出一个很猛的判断,说硅谷最前沿的 AI 比外界领先一年,我们用的都是“技术余晖”。但点进去后,页面直接显示“环境异常,完成验证后即可继续访问”,正文内容完全没加载出来。所以,标题里提到的投资人 Elad Gil 的时间差说法(顶尖实验室员工领先硅谷 3-4 个月,硅谷又领先纽约 3-6 个月),以及 Mythos 在专家级网络攻击模拟中...

推荐理由:我会先打个折:这篇是二手评论,不是模型或产品发布,所以分数压在72–77这个区间。HKR三项都成立——“技术余晖”的钩子够抓人,时间差和73%成功率给了具体数字,地域焦虑感也拉满了。正文没披露Mythos测试的具体条件和样本量,这点先别太激动,但作为一篇制造FOMO的评论,它完成了任务。

5月8日星期五

阮一峰的网络日志

软件开发的第三种方式:像老太太盖神秘屋一样用 AI 写代码

阮一峰这期周刊把 AI 辅助编程比作“神秘屋”式开发——没有整体规划,想到哪写到哪,代码层层堆叠,充满个性但外人看不懂。这种开发方式可能取代传统的大教堂和集市模式,成为个人和小团队的主流。另外介绍了一个叫 HN SOTA 的大模型人气榜,通过扫描 Hacker News 每天最热的 200 个帖子里对模型的讨论和好评来排名,本周前三名是 Claude ...

推荐理由:阮一峰这期周刊把 AI 编程总结成“第三种方式”,核心是“神秘屋”——你给需求,模型直接出结果,中间过程你看不到。这个说法比“低代码”或“辅助编程”更直白,也更容易让人理解为什么开发者会又爱又怕。HN SOTA 的榜单用每天 200 个 HN 热门话题来量模型人气,不是跑分,而是看社区讨论热度,算是一种接地气的 benchmark。整篇是评论性质,没有新模型或产品发布,所以重要性停在 72。HKR 三项都过:比喻够新、方法够简单、情绪够普遍。

5月5日星期二

机器之心 · 公众号

Anthropic 联创预测:2028 年底前 AI 自己搞研发的概率超六成

Anthropic 联合创始人 Jack Clark 给了个时间点:到 2028 年底,AI 脱离人类独立做研发的概率超过 60%。他拿几个基准测试当证据——Claude Mythos Preview 在软件工程测试 SWE-Bench 上跑到 93.9%,Opus 4.5 在评估 AI 复现研究能力的 CORE-Bench 上拿到 95.5%。Cla...

推荐理由:我会先打个折:标题里的“自我进化”和“没有人类了”是媒体写法,Clark 原文说的是无人类参与的 AI 研发概率,不是奇点降临。但他作为联创,拿内部模型跑出来的基准分来押 2028 这个时间点,分量不一样。SWE-Bench 93.9% 说明代码修 bug 这类短任务已经很高,CORE-Bench 95.5% 测的是复现论文的工程能力,真正该盯的是 MLE-Bench 和 PostTrainBench——这两个才碰得到长周期、需要自己调参和做后训练的任务,目前正文没给具体分数,这点先别太激动。整体看,他是在用基准曲线推 timeline,不是纯拍脑...

5月4日星期一

Import AI

AI 研究即将全自动:Jack Clark 预测 2028 年底前,AI 自己造自己的概率超过六成

Jack Clark 根据公开数据做了一个判断:到 2028 年底,不需要人类插手的 AI 研发有超过 60% 的概率会出现。他主要拿两个指标说事。一个是 SWE-Bench,这个测试看 AI 能不能解决 GitHub 上的真实代码问题,Claude 2 当初得分大概 2%,现在 Claude Mythos Preview 已经干到 93.9%,基本把...

推荐理由:HKR 三项全中。Jack Clark 用 SWE-Bench 和 METR 的数据撑起一个 2028 年全自动 AI 研发的赌注,属于知名人物对 AI 时间线的判断,放在 85–94 分档合适,比模型发布的分量低一点。

4月28日星期二

The Verge · AI

AI 开始批量找漏洞,脚本小子要失业了?

The Verge 这篇讲的是 Claude 的一个安全测试版 Mythos 在 DARPA 的 AI 网络挑战赛里扫了 5400 万行代码。参赛队伍用它不仅找出了大部分预先埋好的漏洞,还额外揪出十几个没埋过的真实 bug。文章没提 Mythos 的跑分、收费方式和怎么申请试用,所以实际效果和成本还得观望。

推荐理由:这篇值得推,因为 DARPA 比赛的数据很实在——5400 万行代码扫下来,工具不仅认出了人工漏洞,还额外揪出十几个没埋的,说明 AI 挖洞确实能跑出意料之外的结果。标题的“脚本小子”说法虽然夸张,但把门槛降低这个风险讲透了。正文没给 Claude Mythos 的基准、价格或开放条件,所以没法判断它到底多强、多贵,这点先别太激动。整体信息量够上推荐位。

4月24日星期五

MIT Technology Review · AI

医疗 AI 已经进医院了,但我们还不知道它到底能不能让病人好得更快

密歇根大学的 Jenna Wiens 和多伦多大学的 Anna Goldenberg 在《自然·医学》上发了篇文章,核心就一句话:医院里 AI 工具铺得很快,但没人认真评估它们对病人最终健康结果的影响。2025 年一项研究说,美国约 65% 的医院在用 AI 做预测,其中只有三分之二会检查模型准不准,至于用了之后临床决策有没有变好、病人有没有受益,基本...

推荐理由:我会先打个折,这篇文章没有新模型、新法规或临床试验结果,所以分数到不了顶。但它抓的时机很准:医院里AI预测工具铺开了,病人结局的证据却缺位。2025年那两个数字——65%的医院在用,三分之二只测了准确性——直接把信息缺口摆上台面。对从业者来说,这比又一个刷榜的模型更值得盯,因为部署后的临床决策影响才是真金白银的考验。

4月22日星期三

Hacker News 首页

Show HN 提交量翻了三倍,现在大部分是 AI 一键生成的页面

Adrian Krebs 用脚本扫了 500 个 Show HN 落地页,发现 67% 的页面至少命中 2 个 AI 设计特征,比如 Inter 字体、紫色渐变、卡片彩色左边框、图标功能网格这些模板化痕迹。检测方法是用 Playwright 跑无头浏览器,在页面里直接检查 DOM 和计算样式,靠 15 条硬规则判断,人工抽查下来误判率大概 5% 到 1...

推荐理由:这条值得推给做 AI 工具和产品的人看。Adrian Krebs 没在评模型能力,而是用一套土办法——Playwright 跑脚本检查 DOM 和样式——发现 Show HN 现在 67% 的页面都命中至少两个 AI 设计特征。我会先打个折:这是单人实验,不是严格审计,误报他自己也认了 5% 到 10%。但信号比数字本身重要:AI 默认生成的前端模板正在让产品页面快速趋同,这对靠差异化吃饭的早期项目不是好事。正文没披露具体是哪 15 个特征,也没给误报的详细拆解,所以别当行业报告用,当个警钟看刚好。

4月20日星期一

r/LocalLLaMA

用一张 RTX 4090 跑 Gemma 4 26B,从 2400 份财报电话会里挖交易信号,一个有效,一个差点骗过我

一位 Reddit 用户用 800 份标注过的财报电话会记录微调了 Gemma 4 26B,然后在一张 RTX 4090 上花了约 14 小时,推理了 3 年内共 2400 份记录。在 600 份样本外数据上,一个信号显示:CFO 指引越含糊,公司股价在 5 天内相对板块平均跑输约 1.8%,信息系数(IC)为 0.04。另一个信号更强,与板块回报的相...

推荐理由:这是一篇第一人称的实战记录,不是公关稿。作者把 Gemma 4 26B 塞进一张 4090,用 800 份人工标注的财报电话会微调,然后让模型在 2400 份近三年转录上提取交易信号,整批跑完 14 小时。结果里有一个信号站住了:CFO 把业绩指引从具体数字改成模糊表述后,股价 5 日内相对行业落后约 1.8%,IC 0.04,不算强但能用。另一个信号和行业回报相关性高达 0.85,作者直接判定为幽灵信号,提醒读者因子去重比标题里的赚钱故事重要得多。全文没有吹模型多强,反而在讲怎么排雷,信息密度和诚实度都够,适合 featured 位置。

4月16日星期四

Hacker News 首页

AI 挖漏洞不是拼算力,模型智商才是天花板

antirez 拿 OpenBSD 的 SACK 漏洞举例,说了一个反直觉的结论:用 AI 找代码漏洞,堆 GPU 多跑几次没用。因为代码能走的执行路径是有限的,跑再多轮也会饱和,最终卡住你的是模型本身的智商,而不是采样次数。弱模型就算给它无限的 token,也永远没法把“窗口校验缺失”“整数溢出”“不该为空的指针分支”这三件事串起来,所以找不到真漏洞...

推荐理由:antirez 这篇不是论文,更像一篇带实验的博客。核心判断很明确:AI 找漏洞的上限卡在模型本身的智力水平,不是 GPU 数量。他用 OpenBSD 的 SACK bug 做了个可复现的测试——弱模型就算给你无限 token,也串不起来窗口校验、整数溢出和 NULL 分支这三件事,路径会饱和。这个结论对天天在算成本和效果的人有用:与其无脑加采样,不如盯模型质量和获取速度。我会先打个折,正文没给大规模对比数据,更像单点验证,但逻辑链条清楚,值得一看。

4月7日星期二

MIT Technology Review · AI

经济学家说,判断 AI 会不会抢你饭碗,缺的不是任务清单,而是“降价后需求涨多少”的数据

芝加哥大学经济学家 Alex Imas 认为,现在大家用任务暴露度(比如 OpenAI 说房产中介有 28% 的工作能被 AI 干)来预测失业,基本没用。真正关键的数据是行业层面的价格弹性——也就是 AI 把成本打下来之后,降价能不能把需求拉到足够大,大到反而要多雇人。他举了个例子:一个写约会 App 的程序员用 AI 一天干完三天的活,公司成本低了,...

推荐理由:这篇文章没给新数据集,但把讨论从“暴露度”拽到了“价格弹性”上,思路值得留意。我会先打个折:正文没披露现成的全经济弹性数据,所以目前还是个框架,不是可操作的结论。OpenAI 那个 28% 暴露度数字和 Anthropic 用 O*NET 做对话比对是实在的锚点,让讨论没飘在空中。对关心岗位替代的从业者来说,这篇文章提醒你别只盯暴露度,需求侧的反应可能才是决定性的——这点先别太激动,但方向对。

3月13日星期五

阮一峰的网络日志

测试是新的护城河

一个 Cloudflare 工程师用 AI 花了一周时间、1100 美元 token 费,就复刻了 Next.js 十年的开发成果,API 覆盖率达到 94%。早期测试显示,这个叫 vinext 的新实现构建速度快了 4 倍,客户端打包体积小了 57%,现有 Next.js 应用不用改代码就能直接跑。这件事直接捅破了代码护城河的窗户纸:只要文档和测试用...

推荐理由:这篇文章不是一手发布,是周刊评论,但切入点够刁。我会先打个折:它引用的 vinext 项目还缺长期维护验证,基准也只是早期数据,别急着下结论。不过它把两件事摆在一起看——AI 让复刻框架的门槛降到一千美元出头,而 SQLite 用 9205 万行测试守住质量——这个对比本身就有信息量。对从业者来说,提醒很直接:以后拼的不是谁能写出来,而是谁能证明它真的对。

2月27日星期五

MIT Technology Review · AI

AI 正在改写世界顶级围棋手的思考方式

AlphaGo 击败李世石十年后,AI 已经成为韩国职业围棋训练的标配,不用 AI 基本没法打职业。文章给了两个数:世界第一的申真谞落子与 AI 建议的重合率是 37.5%,而选手平均水平是 28.5%;另外 AlphaGo Zero 从零自学三天后,以 100 比 0 碾压了战胜李世石的那版 AlphaGo。现在棋手普遍用 KataGo 练棋,开局前...

推荐理由:这篇不是新模型发布或产品动作,而是一篇有数据的观察评论。我会先打个折:它没有给出可复现的方法或工程细节,但把 AI 如何渗入职业围棋训练这件事讲得很具体。申真谞 37.5% 的一致率比全体均值高出 9 个百分点,说明顶尖棋手更依赖 AI 选点;AlphaGo Zero 三天 100 比 0 的结果则把自我对弈的效率差距摆了出来。正文提到棋手常用 KataGo 且前 50 手常与 AI 建议一致,但又说他们仍难解释 AI 为什么这么下——这个信息缺口反而让判断更扎实,没有硬补因果。对从业者来说,这比泛泛谈“AI 改变行业”更有参考价值,所以放在 fe...

2月5日星期四

MIT Technology Review · AI

AI 圈被误解最深的一张图:METR 的时间线图到底在说什么

METR 这张图横轴是模型发布时间,纵轴是“时间线”——一个他们自己发明的指标,指模型在编程任务上能做到 50% 成功率时,对应的人类用时。Claude Opus 4.5 在 2025 年 12 月测出来大约是 5 小时,但 METR 自己给的误差范围是 2 到 20 小时,所以别拿一个数字当定论。这张图主要测的是写代码,不是通用 AI 能力,而且“5...

推荐理由:这篇文章不是新模型或产品发布,而是对一张流行图表的权威解释性评论。它把 METR 图里容易误读的地方拆得很清楚:5小时不是模型自己能跑5小时,而是人类做同样任务要花的时间;图主要测编码任务,且以50%成功率划线。这些细节对盯着 AGI 进度的人有用,但信息增量属于澄清而非首发,所以放在 featured 低段位。

2月1日星期日

Lex Fridman 播客

2026年AI现状:大模型、编程、规模定律、中国、智能体、GPU与AGI

Lex Fridman 与 Sebastian Raschka、Nathan Lambert 聊了聊 2026 年的 AI 竞赛。他们把 2025 年 1 月 DeepSeek R1 的发布看作一个关键转折点,那次发布让很多人意识到,用少得多的算力和成本也能做出接近顶尖水平的模型。现在竞争已经不只是美国公司的事,中国这边除了 DeepSeek,还有 Z...

推荐理由:这期播客不是新闻爆料,而是高质量的行业判断。三位把 2025 年 1 月 DeepSeek R1 发布当作转折点,认为技术扩散在加速,差距更多体现在算力、预算和团队文化上,而不是某个模型刷榜。我会先打个折:正文没给任何硬数据支撑,所以别当技术报告读。但如果你关心 AI 竞争格局怎么变,这期值得听。