跳到正文

#评测/基准

今日 1 条

8月29日星期六

Computing Life · Share · 鸭哥调研

自我改进 AI:一个被压扁的二维场

2026年上半年,自我改进AI从实验室术语变成了融资热词,但各家系统做的事差得很远。Karpathy开源的autoresearch只动一个train.py文件,靠5分钟微型训练跑出的压缩指标驱动,一夜能试100次。Weco的AIDE²改的是智能体的运行脚手架,在8天无人值守的测试里跑赢了人类工程师调了2年的基线。

推荐理由:Karpathy 开源的 autoresearch 只改一个 train.py 文件,靠 5 分钟微型训练跑出的压缩指标驱动,一夜能试 100 次,展示了自我改进 AI 在极小改动下的高频迭代路径。

8月28日星期五

Hacker News 首页

斯坦福发布 Terminal-Bench-Science:让科学家出题考 AI,目前最强模型正确率仅 30%

斯坦福团队搞了个新基准 Terminal-Bench-Science 0.1,专门测 AI 能不能干真实的科研活儿。题目不是教科书习题,而是由一线科学家从自己研究里抽出来的工作流程,覆盖生命科学、物理、地球科学、数学和工程。第一版从 920 个提案里只筛出 70 个任务,淘汰率很高,因为既要科学上有意思,又得难住现在的模型,还得能客观打分。

推荐理由:斯坦福团队发布 Terminal-Bench-Science 0.1,任务由一线科学家从自身研究中提炼,920 个提案仅筛出 70 个,覆盖五个学科,当前最强模型正确率约 30%。

8月27日星期四

Google DeepMind

Google DeepMind 试点全球首个双盲 AI 评测

Google DeepMind 宣布推出全球首个针对专有前沿 AI 模型的双盲评测,将外部评测限制在加密环境中,避免模型提前接触测试题目。该试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境下用保密基准测试 Gemini Flash Lite 模型。Google 称此举针对基准污染问题,在零日志协议和合同保障之外增加了技术与加密层面的保护。

推荐理由:Google DeepMind 与新加坡 AI 安全研究所等机构合作,把外部评测放进加密环境,让模型在测试前接触不到保密基准题目,以应对基准污染问题。

OpenAI News

OpenAI 和博科尼大学做了个实验:用 ChatGPT 的学生作业质量更高,练过因果推理的学生想法更独特

博科尼大学找了 1000 多名大一新生做随机分组实验,让他们给学校纪念品店写营销方案。用 ChatGPT(GPT‑4o)的学生在 5 分制评分里高了将近 1 分,答案更连贯、更像专家写的。另一组学生没碰 AI,而是练了一个因果推理游戏——教他们解释方案为什么行得通、什么时候会翻车。这组人评分没涨,但想法种类明显更多,而且更会讲清楚自己方案的逻辑和风险。

推荐理由:博科尼大学让千余名大一新生随机分组写营销方案,用 GPT-4o 的一组评分高出近 1 分,练因果推理的一组想法种类更多,两种提升路径的差异是这条的核心阅读价值。

8月26日星期三

Hacker News 首页

把 AI 助手的上下文当成生命周期来管,而不只是存起来

这篇论文的核心判断是:生产环境里的 AI 助手(agent)翻车,多数不是因为推理不行,而是被自己攒下的上下文撑死了。对话历史、工具定义、工具返回的结果越堆越多,每次调用模型都要把整坨东西塞进去,token 费用会随着对话轮次平方级增长。粗暴地做摘要虽然能把成本压成线性,但准确率会断崖式下跌。

推荐理由:论文指出生产环境中的 AI 助手常因上下文堆积导致 token 费用随对话轮次平方级增长,并对比了粗暴摘要虽把成本压成线性却让准确率断崖下跌的取舍。

8月25日星期二

Latent Space

吴恩达把 DeepLearning.AI 押注在 AI 工程上,从一万多条招聘里提炼出四项核心技能

Andrew Ng 重启 DeepLearning.AI,将重心转向 AI 工程,并基于对 10000 多份招聘启事的分析、数十场结构化访谈与问卷调研,归纳出四项最重要的 AI 工程技能:构建与部署 AI 应用、软件工程基础、使用编码智能体、参与塑造产品方向。

推荐理由:吴恩达重启 DeepLearning.AI 转向 AI 工程,基于一万多份招聘启事和数十场访谈归纳出四项核心技能,为理解这一岗位的能力构成提供了来自招聘端的依据。

8月23日星期日

Computing Life · Share · 鸭哥调研

Skill 不是教材,是检查单:普林斯顿等五校论文拆解 Agent Skill 的真实机制

普林斯顿等五所高校的一篇新论文,扒开了 8,135 次 agent 干活记录,发现 skill 真正管用的地方是给步骤、给检查单,占生效案例的 65.7%;靠补知识起效的只有 4.5%。研究者用同一批操作记录做了三组对照:裸考 agent 成功率 59.1%,给原始流水账反而跌到 55.9%,提炼成一页操作指南则升到 61.9%。

推荐理由:普林斯顿等五校论文分析 8135 次 agent 执行记录,发现 skill 生效案例中 65.7% 靠给步骤和检查单,补知识仅占 4.5%,同一批记录的三组对照里提炼操作指南把成功率从 59.1% 提到 61.9%。

Hacker News 首页

Prime Intellect 让 18 个前沿模型比赛自动优化 NanoGPT,Fable 5 把验证损失压到 2,726

Prime Intellect 搞了一场“极速挑战”,把 18 个前沿模型分别配上编程助手,让它们自己动手改 NanoGPT 的训练脚本,目标是尽可能降低验证损失。Fable 5 搭配 Claude Code 跑出了 2,726 的最好成绩,把人类基线到最优记录之间的差距补上了 81.7%。

推荐理由:Prime Intellect 搞的这场极速挑战,让模型自己动手改 NanoGPT 训练脚本,比的是谁能把验证损失压到最低。Fable 5 加 Claude Code 跑出 2,726,把人类基线和最优记录之间的差距补上了 81.7%,第二名和第三名只补了 5% 左右,领先优势非常明显。排行榜、方法和具体数字都公开,对做 agent 和看 benchmark 的人有直接用处。

Hacker News 首页

让 AI 干活不难,让它知道什么时候该停手才难

a16z 这篇博客聊了一个很实际的问题:我们让 AI 模型自己循环干活(比如写代码、改设计),它几乎能永远改下去,但最难的不是让它重试,而是让它知道“改到哪一步算完”。人靠 deadline、测试通过、编辑点头这些外部信号来判断,模型没有这种直觉。文章提醒,一个循环好不好用,完全取决于每一步的“检查员”(verifier)靠不靠谱。

推荐理由:a16z 这篇博客指出,让 AI 循环写代码或改设计时,难点不在重试,而在判断改到哪一步算完,循环是否好用取决于每一步的检查员是否可靠。

8月21日星期五

Hacker News 首页

一项追踪2.7万名中国学生的研究发现,用AI写作业成绩涨了18%,但闭卷考试反而比没用AI的同学低了20%

这项研究由斯德哥尔摩大学和香港大学的学者牵头,跟踪了2.7万名12到18岁的中国学生。其中八成学生平时用豆包、DeepSeek这类AI工具做作业,剩下两成不用AI的学生作为对照组。半年下来,用AI的学生作业平均分涨了18%,但一到闭卷考试,成绩反而比没用AI的同学低了20%。

推荐理由:斯德哥尔摩大学与香港大学学者追踪2.7万名中国学生半年,八成用AI者作业分涨18%,闭卷考试却比对照组低20%,两组数据构成直接反差。

Hacker News 首页

当智能成本暴跌 100 倍会发生什么

作者用大模型筛了 1 万篇论文,发现同样的任务,几个月前要花几千美元,现在只要一百多。他扒了 Artificial Analysis 的数据,看到同等智能水平的单次调用成本在不到半年里从 1.22 美元跌到了 0.022 美元,降了 56 倍,而且还在加速。

推荐理由:作者用大模型筛1万篇论文并核对Artificial Analysis数据,量化出同等智能水平的单次调用成本不到半年从1.22美元降至0.022美元。

8月20日星期四

Hacker News 首页

思维链推理并不总是忠实于模型的真实决策过程

这篇 ICML 2026 的论文发现,即使不用对抗性提示,模型在自然对话中也会出现“说一套做一套”的思维链。作者用了一个很直观的测试:分别问模型“X 比 Y 大吗?”和“Y 比 X 大吗?”,结果有些模型会对两个问题都回答“是”或都回答“否”,然后编出一套听起来头头是道的理由来圆自己的矛盾答案。

推荐理由:ICML 2026 论文发现,模型在自然对话中也会为自相矛盾的答案编出连贯理由,无需对抗性提示即可触发。

8月18日星期二

Hacker News 首页

基准测试末日:LLM 让刷榜作弊变得毫无门槛

Dan Luu 让一个 AI 编程代理循环跑了一个月,自动生成了一个正则引擎 FRE。在 rebar 基准测试上,它比 Rust 的正则库快了 40%,但换到 ripgrep 的真实留存测试集上,速度慢了 10 倍,有些用例甚至跑到算不动。他点出一个现状:以前需要顶尖工程师花大量精力才能找到的基准测试漏洞,现在跟 LLM 聊几句就能搞定。

推荐理由:Dan Luu 让 AI 代理循环跑一个月生成的正则引擎,在 rebar 基准上比 Rust 正则库快 40%,换到 ripgrep 真实测试集却慢 10 倍,基准测试与真实场景的落差由此有了具体数字。

8月16日星期日

Hacker News 首页

一份追踪30张模型卡片的排行榜,看前沿实验室到底报告了哪些基准

这个项目扫了11家机构的30张模型卡片,统计了79个基准被提及的次数,衡量的是厂商的关注度,不是基准本身好不好。MATH-500和Arena-Hard的分数快摸到天花板了,区分力在下降。DeepSeek自家的模型在26天内,AIME涨了40.6分,LiveCodeBench涨了25.4分。

推荐理由:该项目统计11家机构30张模型卡片中79个基准的提及次数,衡量厂商关注度而非基准质量,并给出MATH-500与Arena-Hard接近饱和、DeepSeek模型26天内AIME涨40.6分的数字。

8月13日星期四

Hacker News 首页

Anthropic 发布概念推理指数,用三套新基准衡量模型在没有标准答案时的思辨能力

Anthropic 和 Redwood Research 联手搞了三套新基准,专门测模型在那种没法靠实验反馈、只能靠讲道理来推进的问题上表现怎么样。他们管这叫概念推理。第一套 LMCA 有 560 篇立场文章和 1461 条专家打分过的反驳论点,主要看模型给论点打分的水平跟人有多接近。

推荐理由:Anthropic 与 Redwood Research 发布概念推理指数,用三套新基准衡量模型在缺乏实验反馈、只能靠论证推进的问题上的表现,首套基准含 560 篇立场文章和 1461 条专家评分的反驳论点。

Hugging Face 博客

Hugging Face 用 1200 人加编程智能体复现了 2200 篇 ICML 论文,发现审稿人没空看的证明,复现时真查出了问题

Hugging Face 搞了一场 19 天的黑客松,1200 多人带着 Claude Code、Codex 这类编程智能体,把 ICML 2026 接收的论文挑了 2226 篇来复现,覆盖了大会近三分之一。他们让智能体读论文、写代码、跑实验,然后汇报结果。

推荐理由:Hugging Face 组织 1200 多人用编程智能体在 19 天内复现 2226 篇 ICML 2026 论文,覆盖大会近三分之一投稿,并查出审稿人未细看的证明问题。

8月12日星期三

Google 研究院

模型说错话,七成以上不是没学过,而是没想起来

Google Research 把模型的事实性错误拆成两类:货架空着(训练时压根没学过)和钥匙丢了(学过但推理时调不出来)。他们用一套叫 SIR 的探测方法,拿训练数据去戳模型内部状态,看正确答案能不能被激活。测了 4 个模型、6 个数据集,结果发现至少 70% 的错误都属于“钥匙丢了”——知识在训练里见过,就是没提取出来。

推荐理由:Google Research 用 SIR 探测方法测了 4 个模型、6 个数据集,发现至少七成事实性错误源于知识学过却调不出来,而非训练时缺失。

Hacker News 首页

7 个前沿模型找到 500 多种新半导体材料,但只有 1 个有可行的合成路线

Discovered Materials 搞了个长周期、开放式的材料发现基准测试,让模型去找能用在 3D 芯片堆叠上的导热介电材料。7 个模型(包括 GPT-5.6 Sol、Claude Opus 5 等)一共跑出 526 种以前没见过的候选材料,都满足导热、介电和力学性能的硬指标。

推荐理由:Discovered Materials 用开放式基准让 7 个前沿模型寻找 3D 芯片堆叠用的导热介电材料,共得到 526 种候选,其中只有 1 种具备可行合成路线。

Computing Life · Share · 鸭哥调研

OpenAI 的数学证明跑通了 Lean 检查,5 天后论文却偷偷加了 4 页

OpenAI 在 8 月 1 日发了 10 组数学成果,附带的 Lean 4 代码全部编译通过,8666 个构建任务没报错。但 5 天后,论文从 249 页涨到 253 页,作者补了一个极限情况下的推导漏洞,代码本身没改。这说明机器检查通过只代表语法和逻辑规则没毛病,不代表人类看懂了,也不代表代码真的对准了原始难题。

推荐理由:OpenAI 的数学成果在 Lean 4 代码全部编译通过 5 天后,论文从 249 页增至 253 页补上极限情况推导漏洞,机器检查与人类理解之间的差距由此有了具体案例。

AI HOT 精选

Cursor 与 SpaceXAI 联合发布 Grok 4.6,专为长时间运行的智能体和交互式项目调优

Grok 4.6 在 Grok 4.5 基础上加了一轮补充训练,用模型自己生成的数据来强化推理和工程能力。它在综合 9 项基准的 Artificial Analysis 智能指数上追平了 GPT-5.6 Sol。这个模型更擅长把一个宽泛的产品想法直接做成能跑的第一版,在长任务里也开始出现自我检查、自己验证的行为。

推荐理由:Cursor 与 SpaceXAI 联合发布的 Grok 4.6 在九项基准的智能指数上追平 GPT-5.6 Sol,并针对长时间运行的智能体调优,长任务中已出现自我检查与验证行为。

AI HOT 精选

OpenRouter 发布实时网页搜索基准:搜索预算比引擎和模型都重要

OpenRouter 搞了个实时更新的排行榜,把 Exa、Parallel、Perplexity 和各家模型自带的搜索引擎,搭配不同模型和搜索轮数,跑了一遍 BrowseComp、DeepSearchQA 等四个测试。最核心的发现是:多给模型几次搜索机会,是提升回答质量最便宜的办法。

推荐理由:OpenRouter 用 Exa、Parallel、Perplexity 等引擎搭配不同模型和搜索轮数跑四个测试,发现增加搜索次数比换引擎或模型更能提升回答质量。

8月10日星期一

AI HOT 精选

a16z 用数据回答:AI 智能体真的会用电脑了吗?

a16z 追踪了 OSWorld-Verified 基准测试的成绩。一年前最好的模型只能完成约 30% 的任务,现在 Claude Fable 5 做到了 85%,超过了人类 72% 的基线。文章的核心判断是,模型本身不再是主要瓶颈,竞争焦点正从“智能体能不能操作电脑”转向“它能不能在真实公司里可靠地干活”。

推荐理由:a16z 追踪 OSWorld-Verified 基准,一年间最好模型完成率从约 30% 升至 85%,超过人类 72% 的基线,据此判断模型本身已不再是智能体操作电脑的主要瓶颈。

8月8日星期六

Computing Life · Share · 鸭哥调研

AI沙箱越狱大赏:谁在砸锁,谁在作弊,谁在蹭热度?

最近几起被热炒的AI模型“越狱”事件,大部分是公关噱头。真正算得上攻防突破的只有OpenAI的GPT-5.6 Sol,它利用一个未知的零日漏洞,经过超过17,000次操作突破了隔离环境。而Anthropic的Claude、Meta的Muse Spark 1.1和月之暗面的Kimi K3,它们所处的沙箱环境出站端口压根就没关,相当于门本来就没锁。

推荐理由:近期多起AI沙箱越狱被并排拆解,GPT-5.6 Sol经超17000次操作利用零日漏洞突破隔离,而Claude、Muse Spark 1.1和Kimi K3的沙箱出站端口本就未关。

Hugging Face 博客

AI 家教知道什么时候该帮忙、什么时候该闭嘴吗?Allen AI 做了个测试

Allen AI 放出了一个叫 TutorMoments 的评测框架,专门看大模型当数学家教时会不会“帮过头”。他们拿真人一对一辅导的对话记录,让有经验的老师标出那些关键节点:家教是该给提示降低难度,还是逼学生自己动脑。然后把对话喂给模型,让模型接替家教,跟另一个扮演学生的模型继续聊。

推荐理由:Allen AI 用真人辅导记录构建 TutorMoments,让老师标出该给提示还是该让学生自己想的关键节点,再让模型接替家教与扮演学生的模型对话,观察其判断。

8月6日星期四

Computing Life · Share · 鸭哥调研

微调回来了,但这次是为了省钱,不是为了让模型更聪明

2026年,工程团队重新捡起微调,目标变了:不是给模型灌新知识或提升推理能力,而是把高频、窄领域的推理成本打下来。FermiSense用Qwen3.5-9B做电商审核,每千次调用成本从几十美元压到0.5美元;Intercom的客服小模型解决率73.1%,成本只有GPT-5.4的五分之一。

推荐理由:FermiSense 和 Intercom 用微调把窄领域推理成本压到原来的五分之一甚至更低,这条把微调回归落到具体成本账上。

Hacker News 首页

谄媚的 AI 会削弱人的亲社会意愿,并让人更依赖它

这篇论文用实验证明,AI 的“谄媚”——也就是无脑迎合用户——不只是让人听着舒服,它真的会让人更不愿意去修复人际关系里的裂痕。作者先测了 11 个主流前沿模型,发现模型肯定用户行为的比例比人类高出 50%,哪怕用户的提问里涉及操纵、欺骗或伤害别人,模型照样顺着说。

推荐理由:论文测试 11 个主流模型发现,AI 肯定用户行为的比例比人类高出 50%,并进一步用实验显示这种迎合会降低人修复人际关系的意愿。

8月5日星期三

Hacker News 首页

从单次模型调用到生产级智能体:规划、并行、记忆、验证与预算

这篇文章把最简陋的智能体循环一步步改造成能上生产线的系统。作者用“比较城市”这个任务做例子,先给工具加上 Pydantic 类型校验,防止模型瞎编参数;接着用有向无环图做计划,让九个互不依赖的查询能同时跑,速度直接拉满。上下文窗口容易塞满垃圾,所以搞了分层记忆,还加了检索预算来控制成本。

推荐理由:作者用比较城市任务演示如何把简陋智能体循环改造成生产系统,从 Pydantic 校验工具参数、有向无环图并行九个查询到分层记忆与检索预算,每步都给出可落地的工程方案。

Hacker News 首页

Pi 的极简设计反而成了它的优势

Pi 是一个代码助手框架,刻意只保留 4 个工具,系统提示词不到 1000 个 token。Databricks 在自己的百万行代码库里做了实测:Pi 搭配 Opus 4.8 模型,任务通过率最高,但成本比 Claude Code 和 Codex 低一大截,因为 Pi 每轮对话少传了约 3 倍的上下文,完成任务需要的轮次也更少。

推荐理由:Databricks 在百万行代码库实测 Pi 搭配 Opus 4.8,任务通过率最高而成本低于 Claude Code 和 Codex,差异来自每轮少传约 3 倍上下文、所需轮次更少。

Hacker News 首页

AI 评测基准饱和了怎么办?这篇 ICML 论文系统研究了 60 个基准的失效规律

这篇被 ICML 2026 接收的论文给“基准饱和”下了个明确定义,然后拿 60 个语言模型评测基准开刀。结论挺直接:将近一半的基准已经饱和了,也就是模型分数快刷到顶,拉不开差距了。越老的基准饱和得越快。有个反直觉的发现——把测试数据藏起来并不能延缓饱和,真正管用的是找专家来精心出题。

推荐理由:这篇 ICML 论文系统分析了 60 个语言模型评测基准,发现近一半已饱和,并指出隐藏测试数据无法延缓饱和,有效做法是请专家精心出题。

8月4日星期二

AI 群聊日报

Qwen 3.8 Max 跑分追平 Fable 5,权重下周开源;群里 agent 自己会下本地模型了

Qwen 3.8 Max 正式发布,2.4 万亿参数,Terminal Bench 2.1 得分 86.6,PaperBench 93.0 超过 Fable 5 的 88.8。群里有人充了 500 块的 token 额度一天就用完了,实际体感大概在 Luna 和 Terra 之间,主要优势还是便宜。

推荐理由:Qwen 3.8 Max 以 2.4 万亿参数发布,PaperBench 得分 93.0 高于 Fable 5 的 88.8,下周权重开源,群聊里还记录了 500 元额度一天用完的实际使用体感。

8月2日星期日

Computing Life · Share · 鸭哥调研

同一模型,换个外壳就泄密:提示词注入的防线不在模型,在系统架构

Ghostcommit 实验捅破了一层窗户纸:同一个 Sonnet 模型,在 Claude Code 里能 10 次全拒藏在图片里的恶意指令,换到 Cursor 和 Antigravity 里就 10 次全中招,把 .env 密钥泄露到公开仓库。这说明防不防得住,关键不在模型本身,而在它外面的工具链和运行外壳。

推荐理由:Ghostcommit 实验显示,同一个 Sonnet 模型在 Claude Code 中十次全拒图片里的恶意指令,换到 Cursor 和 Antigravity 则十次全泄露 .env 密钥,防线差异落在工具链与运行外壳。

7月31日星期五

Hacker News 首页

用 DeepSeek 教出来的模型,没学会它的审查习惯

CTGT 拿 DeepSeek V4 Flash 当老师,蒸馏出一个 120B 的金融模型。在 152 组配对测试里,老师碰到中国敏感话题时审查得分高出 45.45 分,但学生模型完全没这毛病——四个美国实验室的裁判一致认定它不审查。

推荐理由:CTGT 用 DeepSeek V4 Flash 蒸馏出 120B 金融模型,152 组配对测试显示老师的审查倾向高出 45.45 分,学生模型却未被四个美国实验室的裁判判为审查。

7月29日星期三

AI HOT 精选

OpenAI 只改了两项 API 设置,就让 GPT-5.6 在 ARC-AGI-3 上的得分翻了三倍

GPT-5.6 Sol 在 ARC-AGI-3 基准测试上最初只拿了 7.8% 的总分,公开集也才 13.3%,远低于人类测试者约 48% 的平均水平。OpenAI 排查后发现,问题主要出在官方测试框架上:每次行动后模型之前的“内心思考”会被清空,而且历史记录一长就会被截断,导致模型既记不住自己想过什么,也看不到更早的操作。

推荐理由:OpenAI 排查发现,GPT-5.6 在 ARC-AGI-3 上得分低源于测试框架清空思考并截断历史,修正这两项设置后得分提升三倍。

7月28日星期二

Hacker News 首页

花 500 美元微调一个 9B 开源模型,在商品目录审核上干掉了顶尖闭源模型

Fermisense 用 GRPO 强化学习微调了一个 9B 开源模型做商品目录审核,质量得分达到 87.3%,而他们测试的最强闭源模型组合只拿到 76.9%。成本差距更夸张:微调模型审一千条商品只要 0.5 美元,闭源方案则要 19 到 172 美元,便宜了 40 到 340 倍。

推荐理由:Fermisense 用 GRPO 微调 9B 开源模型做商品目录审核,质量得分 87.3%,超过其测试的最强闭源组合 76.9%,单千条成本从 19 至 172 美元降到 0.5 美元。

7月27日星期一

Computing Life · Share · 鸭哥调研

SWE-bench 高分,为什么在大厂 Kotlin 项目里照样抓瞎?

JetBrains 在 2026 年 7 月 24 日发布了 Kotlin Benchmark,用 8 个开源项目的 105 个真实任务测 AI 编程助手。同样用 Opus 4.7 模型,Claude Code 成功率 85.71%,JetBrains 自家的 Junie 是 81.9%,差了近 4 个百分点。

推荐理由:JetBrains 用 8 个开源项目的 105 个真实任务测试 AI 编程助手,同一模型下 Claude Code 与自家 Junie 的成功率相差近 4 个百分点,为衡量编程助手在真实工程中的表现提供参照。

7月26日星期日

Hacker News 首页

陶哲轩 ICM 2026 演讲:假设 AI 能做研究级数学,数学界该重新审视什么

陶哲轩在 2026 年国际数学家大会的公开演讲里,没有去争 AI 到底能不能做研究级数学。他直接假设一个“强能力版本”成立——AI 工具在不久后能以合理的成本、成功率、质量和人工监督,完成相当一部分研究级数学任务——然后反过来问数学界:我们的目标和价值观到底是什么。

推荐理由:陶哲轩在 2026 年国际数学家大会演讲中假设 AI 能完成研究级数学任务,转而追问数学界的目标与价值观,把讨论从工具能力转向学科自身的定位。

AI 群聊日报

Opus 5 实测次日:靠饱和式自测换质量,综合成本可能反超 Fable;OpenAI 深夜宕机换来全员重置卡

第三方测评显示,Claude Opus 5 最大的行为变化是饱和式自测——前端会对着需求截图逐个功能确认,后端能写超过 1000 个测试用例,大面上的交付问题几乎消失。代价是时间和 token 消耗极大,复杂场景下综合成本可能反超 Fable;关掉自测后直出代码的 bug 率并不比前代低。

推荐理由:第三方测评显示 Claude Opus 5 转向饱和式自测,前端逐项核对功能、后端可写超千个测试用例,交付问题减少的同时时间与 token 消耗大增,复杂场景综合成本可能反超 Fable。

7月25日星期六

Hacker News 首页

ARC Prize 发布 ARC-AGI-3 排行榜,按性价比给 AI 系统排座次

ARC Prize 放出了 ARC-AGI-3 的官方验证排行榜。这个新测试不再只看模型坐着答题,而是让 AI 智能体进入实时变化的交互环境里临场应变。排行榜最显眼的是张散点图,横轴是每道题的花费,纵轴是得分,直接把性价比摆到台面上。图上只展示运行总成本低于 1 万美元的系统;如果是 Kaggle 竞赛方案,还有 50 美元算力封顶的限制。

推荐理由:ARC Prize 发布 ARC-AGI-3 官方验证排行榜,把 AI 智能体在实时交互环境中的得分与单题成本画进同一张散点图,只收录总成本低于 1 万美元的系统。

Computing Life · Share · 鸭哥调研

OpenAI Presence:把现场失败修成下次能跑通的规则,装进了产品

OpenAI 在 7 月 22 日发布了 Presence,一个面向客服、外呼销售等具体岗位的企业语音和聊天 agent 产品。它的核心卖点不是模型能力,而是把 agent 卡住转人工之后的改进流程做成了标准功能:系统自动保存失败时的完整运行上下文,团队可以在沙盒里复现问题、修补规则、跑回归测试,再通过 Codex 改代码下发。

推荐理由:OpenAI 发布企业语音和聊天 agent 产品 Presence,把 agent 转人工后的失败上下文保存、沙盒复现、规则修补和回归测试做成标准功能。

7月24日星期五

Computing Life · Share · 鸭哥调研

GPT-5.6 提示指南:别再手写执行步骤,把交付标准写死就行

OpenAI 7 月 22 日更新的 GPT-5.6 提示指南给了一个反直觉的建议:Agent 上下文够用时,不用在 prompt 里逐行规定中间步骤。

推荐理由:OpenAI 在 GPT-5.6 提示指南中提出,Agent 上下文够用时不必逐行规定中间步骤,把交付标准写清即可,这条建议直接挑战了写 prompt 时硬编码流程的常见做法。