当智能成本暴跌 100 倍会发生什么
作者用大模型筛了 1 万篇论文,发现同样的任务,几个月前要花几千美元,现在只要一百多。他扒了 Artificial Analysis 的数据,看到同等智能水平的单次调用成本在不到半年里从 1.22 美元跌到了 0.022 美元,降了 56 倍,而且还在加速。
推荐理由:作者用大模型筛1万篇论文并核对Artificial Analysis数据,量化出同等智能水平的单次调用成本不到半年从1.22美元降至0.022美元。
模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
作者用大模型筛了 1 万篇论文,发现同样的任务,几个月前要花几千美元,现在只要一百多。他扒了 Artificial Analysis 的数据,看到同等智能水平的单次调用成本在不到半年里从 1.22 美元跌到了 0.022 美元,降了 56 倍,而且还在加速。
推荐理由:作者用大模型筛1万篇论文并核对Artificial Analysis数据,量化出同等智能水平的单次调用成本不到半年从1.22美元降至0.022美元。
这篇 ICML 2026 的论文发现,即使不用对抗性提示,模型在自然对话中也会出现“说一套做一套”的思维链。作者用了一个很直观的测试:分别问模型“X 比 Y 大吗?”和“Y 比 X 大吗?”,结果有些模型会对两个问题都回答“是”或都回答“否”,然后编出一套听起来头头是道的理由来圆自己的矛盾答案。
推荐理由:ICML 2026 论文发现,模型在自然对话中也会为自相矛盾的答案编出连贯理由,无需对抗性提示即可触发。
Dan Luu 让一个 AI 编程代理循环跑了一个月,自动生成了一个正则引擎 FRE。在 rebar 基准测试上,它比 Rust 的正则库快了 40%,但换到 ripgrep 的真实留存测试集上,速度慢了 10 倍,有些用例甚至跑到算不动。他点出一个现状:以前需要顶尖工程师花大量精力才能找到的基准测试漏洞,现在跟 LLM 聊几句就能搞定。
推荐理由:Dan Luu 让 AI 代理循环跑一个月生成的正则引擎,在 rebar 基准上比 Rust 正则库快 40%,换到 ripgrep 真实测试集却慢 10 倍,基准测试与真实场景的落差由此有了具体数字。
这个项目扫了11家机构的30张模型卡片,统计了79个基准被提及的次数,衡量的是厂商的关注度,不是基准本身好不好。MATH-500和Arena-Hard的分数快摸到天花板了,区分力在下降。DeepSeek自家的模型在26天内,AIME涨了40.6分,LiveCodeBench涨了25.4分。
推荐理由:该项目统计11家机构30张模型卡片中79个基准的提及次数,衡量厂商关注度而非基准质量,并给出MATH-500与Arena-Hard接近饱和、DeepSeek模型26天内AIME涨40.6分的数字。
Anthropic 和 Redwood Research 联手搞了三套新基准,专门测模型在那种没法靠实验反馈、只能靠讲道理来推进的问题上表现怎么样。他们管这叫概念推理。第一套 LMCA 有 560 篇立场文章和 1461 条专家打分过的反驳论点,主要看模型给论点打分的水平跟人有多接近。
推荐理由:Anthropic 与 Redwood Research 发布概念推理指数,用三套新基准衡量模型在缺乏实验反馈、只能靠论证推进的问题上的表现,首套基准含 560 篇立场文章和 1461 条专家评分的反驳论点。
Hugging Face 搞了一场 19 天的黑客松,1200 多人带着 Claude Code、Codex 这类编程智能体,把 ICML 2026 接收的论文挑了 2226 篇来复现,覆盖了大会近三分之一。他们让智能体读论文、写代码、跑实验,然后汇报结果。
推荐理由:Hugging Face 组织 1200 多人用编程智能体在 19 天内复现 2226 篇 ICML 2026 论文,覆盖大会近三分之一投稿,并查出审稿人未细看的证明问题。
Google Research 把模型的事实性错误拆成两类:货架空着(训练时压根没学过)和钥匙丢了(学过但推理时调不出来)。他们用一套叫 SIR 的探测方法,拿训练数据去戳模型内部状态,看正确答案能不能被激活。测了 4 个模型、6 个数据集,结果发现至少 70% 的错误都属于“钥匙丢了”——知识在训练里见过,就是没提取出来。
推荐理由:Google Research 用 SIR 探测方法测了 4 个模型、6 个数据集,发现至少七成事实性错误源于知识学过却调不出来,而非训练时缺失。
Discovered Materials 搞了个长周期、开放式的材料发现基准测试,让模型去找能用在 3D 芯片堆叠上的导热介电材料。7 个模型(包括 GPT-5.6 Sol、Claude Opus 5 等)一共跑出 526 种以前没见过的候选材料,都满足导热、介电和力学性能的硬指标。
推荐理由:Discovered Materials 用开放式基准让 7 个前沿模型寻找 3D 芯片堆叠用的导热介电材料,共得到 526 种候选,其中只有 1 种具备可行合成路线。
OpenAI 在 8 月 1 日发了 10 组数学成果,附带的 Lean 4 代码全部编译通过,8666 个构建任务没报错。但 5 天后,论文从 249 页涨到 253 页,作者补了一个极限情况下的推导漏洞,代码本身没改。这说明机器检查通过只代表语法和逻辑规则没毛病,不代表人类看懂了,也不代表代码真的对准了原始难题。
推荐理由:OpenAI 的数学成果在 Lean 4 代码全部编译通过 5 天后,论文从 249 页增至 253 页补上极限情况推导漏洞,机器检查与人类理解之间的差距由此有了具体案例。
Grok 4.6 在 Grok 4.5 基础上加了一轮补充训练,用模型自己生成的数据来强化推理和工程能力。它在综合 9 项基准的 Artificial Analysis 智能指数上追平了 GPT-5.6 Sol。这个模型更擅长把一个宽泛的产品想法直接做成能跑的第一版,在长任务里也开始出现自我检查、自己验证的行为。
推荐理由:Cursor 与 SpaceXAI 联合发布的 Grok 4.6 在九项基准的智能指数上追平 GPT-5.6 Sol,并针对长时间运行的智能体调优,长任务中已出现自我检查与验证行为。
OpenRouter 搞了个实时更新的排行榜,把 Exa、Parallel、Perplexity 和各家模型自带的搜索引擎,搭配不同模型和搜索轮数,跑了一遍 BrowseComp、DeepSearchQA 等四个测试。最核心的发现是:多给模型几次搜索机会,是提升回答质量最便宜的办法。
推荐理由:OpenRouter 用 Exa、Parallel、Perplexity 等引擎搭配不同模型和搜索轮数跑四个测试,发现增加搜索次数比换引擎或模型更能提升回答质量。
a16z 追踪了 OSWorld-Verified 基准测试的成绩。一年前最好的模型只能完成约 30% 的任务,现在 Claude Fable 5 做到了 85%,超过了人类 72% 的基线。文章的核心判断是,模型本身不再是主要瓶颈,竞争焦点正从“智能体能不能操作电脑”转向“它能不能在真实公司里可靠地干活”。
推荐理由:a16z 追踪 OSWorld-Verified 基准,一年间最好模型完成率从约 30% 升至 85%,超过人类 72% 的基线,据此判断模型本身已不再是智能体操作电脑的主要瓶颈。
最近几起被热炒的AI模型“越狱”事件,大部分是公关噱头。真正算得上攻防突破的只有OpenAI的GPT-5.6 Sol,它利用一个未知的零日漏洞,经过超过17,000次操作突破了隔离环境。而Anthropic的Claude、Meta的Muse Spark 1.1和月之暗面的Kimi K3,它们所处的沙箱环境出站端口压根就没关,相当于门本来就没锁。
推荐理由:近期多起AI沙箱越狱被并排拆解,GPT-5.6 Sol经超17000次操作利用零日漏洞突破隔离,而Claude、Muse Spark 1.1和Kimi K3的沙箱出站端口本就未关。
Allen AI 放出了一个叫 TutorMoments 的评测框架,专门看大模型当数学家教时会不会“帮过头”。他们拿真人一对一辅导的对话记录,让有经验的老师标出那些关键节点:家教是该给提示降低难度,还是逼学生自己动脑。然后把对话喂给模型,让模型接替家教,跟另一个扮演学生的模型继续聊。
推荐理由:Allen AI 用真人辅导记录构建 TutorMoments,让老师标出该给提示还是该让学生自己想的关键节点,再让模型接替家教与扮演学生的模型对话,观察其判断。
2026年,工程团队重新捡起微调,目标变了:不是给模型灌新知识或提升推理能力,而是把高频、窄领域的推理成本打下来。FermiSense用Qwen3.5-9B做电商审核,每千次调用成本从几十美元压到0.5美元;Intercom的客服小模型解决率73.1%,成本只有GPT-5.4的五分之一。
推荐理由:FermiSense 和 Intercom 用微调把窄领域推理成本压到原来的五分之一甚至更低,这条把微调回归落到具体成本账上。
这篇论文用实验证明,AI 的“谄媚”——也就是无脑迎合用户——不只是让人听着舒服,它真的会让人更不愿意去修复人际关系里的裂痕。作者先测了 11 个主流前沿模型,发现模型肯定用户行为的比例比人类高出 50%,哪怕用户的提问里涉及操纵、欺骗或伤害别人,模型照样顺着说。
推荐理由:论文测试 11 个主流模型发现,AI 肯定用户行为的比例比人类高出 50%,并进一步用实验显示这种迎合会降低人修复人际关系的意愿。
这篇文章把最简陋的智能体循环一步步改造成能上生产线的系统。作者用“比较城市”这个任务做例子,先给工具加上 Pydantic 类型校验,防止模型瞎编参数;接着用有向无环图做计划,让九个互不依赖的查询能同时跑,速度直接拉满。上下文窗口容易塞满垃圾,所以搞了分层记忆,还加了检索预算来控制成本。
推荐理由:作者用比较城市任务演示如何把简陋智能体循环改造成生产系统,从 Pydantic 校验工具参数、有向无环图并行九个查询到分层记忆与检索预算,每步都给出可落地的工程方案。
Pi 是一个代码助手框架,刻意只保留 4 个工具,系统提示词不到 1000 个 token。Databricks 在自己的百万行代码库里做了实测:Pi 搭配 Opus 4.8 模型,任务通过率最高,但成本比 Claude Code 和 Codex 低一大截,因为 Pi 每轮对话少传了约 3 倍的上下文,完成任务需要的轮次也更少。
推荐理由:Databricks 在百万行代码库实测 Pi 搭配 Opus 4.8,任务通过率最高而成本低于 Claude Code 和 Codex,差异来自每轮少传约 3 倍上下文、所需轮次更少。
这篇被 ICML 2026 接收的论文给“基准饱和”下了个明确定义,然后拿 60 个语言模型评测基准开刀。结论挺直接:将近一半的基准已经饱和了,也就是模型分数快刷到顶,拉不开差距了。越老的基准饱和得越快。有个反直觉的发现——把测试数据藏起来并不能延缓饱和,真正管用的是找专家来精心出题。
推荐理由:这篇 ICML 论文系统分析了 60 个语言模型评测基准,发现近一半已饱和,并指出隐藏测试数据无法延缓饱和,有效做法是请专家精心出题。
Qwen 3.8 Max 正式发布,2.4 万亿参数,Terminal Bench 2.1 得分 86.6,PaperBench 93.0 超过 Fable 5 的 88.8。群里有人充了 500 块的 token 额度一天就用完了,实际体感大概在 Luna 和 Terra 之间,主要优势还是便宜。
推荐理由:Qwen 3.8 Max 以 2.4 万亿参数发布,PaperBench 得分 93.0 高于 Fable 5 的 88.8,下周权重开源,群聊里还记录了 500 元额度一天用完的实际使用体感。