跳到正文

#编码

今日 10 条

7月9日星期四

Hacker News 首页

Cognition 发布 SWE-1.7:用 Kimi K2.7 训出的编程模型,性能逼近 GPT-5.5,成本低一大截

Cognition 推出了新的编程模型 SWE-1.7,它是在 Kimi K2.7 的基础上用强化学习(RL)做后训练得到的。在 FrontierCode 1.1 这个编程基准上,SWE-1.7 的通过率是 42.3%,很接近 GPT-5.5 的 43.0%,比自家上一代 SWE-1.6 的 9.4% 高出一大截。

推荐理由:Cognition 在 Kimi K2.7 上做强化学习后训练得到 SWE-1.7,FrontierCode 1.1 通过率从上一代 9.4% 升到 42.3%,与 GPT-5.5 的 43.0% 接近。

7月8日星期三

OpenAI News

OpenAI 审计 SWE-Bench Pro,发现约三成题目本身有毛病

OpenAI 对编程评测集 SWE-Bench Pro 做了一次质量审查,估计里面大约 30% 的题目是坏的。他们先用自动管线筛出 286 道可疑题目,再让基于 Codex 的调查 agent 和五位资深工程师分别复核。工程师最终标记出 249 道(34.1%)有缺陷的题目,主要毛病是测试太死板、题目描述漏要求、测试覆盖不足,以及题目描述误导模型。

推荐理由:OpenAI 审计 SWE-Bench Pro 时结合自动筛查与人机复核,给出了定位编程评测题目缺陷的分层审查流程。

AI HOT 精选

Claude 团队公开两种多智能体用法:一个当顾问省钱,一个当指挥冲高分

Claude 开发者分享了他们内部高频使用的两种多智能体模式。第一种叫 Advisor,让便宜的 Sonnet 5 干活,遇到难题时通过工具调用去问贵的 Fable 5。在 SWE-bench Pro 测试上,这套组合拿了 84% 的分数,花了 1.40 美元。

推荐理由:Claude 开发者分享了低成本模型执行任务、遇到难题再向高成本模型求助的顾问模式,将模型分工落实到按需调用的协作流程。

Hacker News 首页

三个老工程师一周收一万美元,专删 AI 生成的烂代码

Slopfix 是三个波兰工程师搞的服务:一周时间、一万美元,把 AI 胡乱堆出来的代码库重构到人能维护的状态。他们会先免费帮你分析代码,给出一个明确的瘦身目标,比如“10 万行砍到 3.5 万行,功能不变”。收费按目标完成度算,承诺砍 50% 只做到 20%,你只付 4000 美元。

推荐理由:三个波兰工程师将 AI 代码重构拆成免费分析与明确的精简目标,并以功能不变为约束按目标完成比例收费。

AI HOT 精选

Liquid AI 开源 Antidoom:用“最终 Token 偏好优化”修掉推理模型的死循环毛病

推理模型有时会卡在“死循环”里,反复输出无意义的 token 直到把上下文窗口塞满。Liquid AI 开源了 Antidoom,用最终 Token 偏好优化(FTPO,一种教模型在推理结束时学会停下来的训练方法)来解决这个问题。

推荐理由:Liquid AI 开源 Antidoom,通过最终 Token 偏好优化教模型在推理结束时停下,为修复无意义重复输出提供训练方法。

Hacker News 首页

Liquid AI 用“末位偏好优化”把推理模型的死循环率从 10.2% 压到 1.4%

Liquid AI 针对小参数推理模型在解难题时容易陷入“死循环”(反复输出同一段话直到窗口耗尽)的问题,搞了个叫 Antidoom 的方法。它不调全局参数,而是精准定位到循环开始的第一个 token,用“末位偏好优化”(FTPO)教模型在那个位置选一个更合理的词,其他地方基本不动。

推荐理由:Liquid AI 将偏好优化集中在死循环起点的单个词元,为小参数推理模型提供尽量不改动其他位置的局部修复思路。

7月7日星期二

Hacker News 首页

Craig Mod 花了五天用 Claude Code 给自己写了个记账软件 TaxBot2000

作家 Craig Mod 用 Claude Code 自己动手写了个叫 TaxBot2000 的记账工具,前后只花了五天。他管自己叫“软件狂人”,过去一年里用 Claude Code 搭了一堆小工具,比如一个帖子七天自动消失的类 Twitter 社区、视频内容搜索工具,还有各种日常用的效率小脚本。

推荐理由:Craig Mod 用 Claude Code 五天写出记账工具,延续了他过去一年围绕社区、视频搜索和日常效率自建工具的实践。

Hacker News 首页

用确定性工具把大模型的笨手笨脚自动化掉

作者在开发 Beagle SCM 时发现,Claude 这类大模型虽然聪明,但做事不精确、不稳定,比如会把 build/ 目录重复提交两次。这种笨拙是模型本身的特性,不会随着进步消失。解决办法是用快速、可靠的确定性工具把模型夹在中间:下层是工具层,上层是工作流层,让模型在严格的流程里干活。如果模型反复做同一组操作,就写成脚本自动化。

推荐理由:一篇工程师视角的实战反思,用 Claude 的翻车案例引出“用确定性工具夹住模型”的架构思路。不是产品发布或研究突破,但问题真实、解法具体,对正在把 AI 接入开发流程的团队有直接参考价值。

AI HOT 精选

Claude Code 现在可以按任务选模型和“用力程度”了

Anthropic 给 Claude Code 加了两项控制:模型选择和努力级别。你可以把 Opus 这种大模型派去跨文件重构,Sonnet 处理日常编辑,Haiku 做快速小修。努力级别分低、中、高三档,调的是模型思考深度和工具调用次数。高努力配 Opus 会触发多步代码库搜索和测试运行,但烧的 token 也最多。

推荐理由:Anthropic 为 Claude Code 增加模型与努力级别选择,让跨文件重构和日常小修能按任务复杂度分配模型与思考投入。

AI HOT 精选

推理成本趋近于零,数据库系统该怎么变?

伯克利 BAIR 实验室发了一篇研究路线图,核心判断是:当模型推理便宜到几乎免费,数据库系统会面临三重变化。第一是“为 Agent 服务的系统”:一个用户请求可能让 Agent 自动发出上千条 SQL 查询,但其中 80% 到 90% 的子查询是重复的,系统可以通过复用结果或返回近似答案来提速。

推荐理由:伯克利 BAIR 将 Agent 发起的大量重复子查询作为数据库优化切入点,提出通过复用结果或返回近似答案来提速的方法。

Hacker News 首页

YC 老板吹嘘 AI 一天写 3.7 万行代码,开发者一看:全是水分和低级错误

YC 的 CEO Garry Tan 在 X 上晒战绩,说自己靠 AI 编程助手每天能交付 3.7 万行代码,已经连续 72 天不断更。波兰开发者 Gregorein 不信邪,去扒了他那个 AI 主题博客的前端代码,结果发现一堆问题。用户打开这个网站,浏览器要发出 169 个请求、下载 6.42 MB 的数据。

推荐理由:波兰开发者检查了 YC CEO 的博客前端,将其宣称的 AI 代码行数产出与网页请求数、下载数据量放在同一案例中比较。

Product Hunt · AI

美团发布 LongCat-2.0:1.6 万亿参数 MoE 模型,MIT 开源,全程用自研 AI 芯片训练

美团在 Product Hunt 上线了 LongCat-2.0,一个总参数 1.6 万亿的 MoE 模型,每次推理激活约 480 亿参数,上下文窗口 100 万 token。模型用 MIT 协议开源,训练没碰英伟达 GPU,全跑在美团自己的 AI 专用芯片集群上。技术亮点是 LongCat 稀疏注意力机制,能省计算量。

推荐理由:美团发布的LongCat-2.0采用总参数1.6万亿的MoE架构,每次推理激活约480亿参数参与计算。

Hacker News 首页

上手 GLM 5.2:第一个用起来像 Opus 和 GPT 的开源模型,推理暴利时代快到头了

作者把 GLM 5.2 当主力用了两周,发现大部分任务上跟 Claude Opus 几乎分不出区别。切换成本极低,把 API 地址指向兼容的服务商就能直接在 Claude Code 里跑。两个硬伤:不支持图像识别,内置的网页搜索又慢又差,导致依赖看图或实时查资料的自动化流程跑不起来。

推荐理由:作者记录了将 GLM 5.2 接入 Claude Code 的切换路径,通过更换兼容服务商的 API 地址完成模型迁移。

7月6日星期一

Import AI

Fable 写出首个 GPU 大核,AI 在线工作自动化八个月翻四倍

Fable 在 KernelBench-Mega 上提交了第一个真正意义上的 GPU 大核,单次协作式内核启动就比优化过的 PyTorch 基线快了 18.71 倍。作为对比,Claude Opus 4.8 做到 14.4 倍,GPT-5.5 只有 4.34 倍。这个基准测的是 AI 自己写底层算子的能力,是观察 AI 能不能自己改进自己的一个信号。

推荐理由:Fable 编写的 GPU 大核在基准测试中的加速比高于两款对照模型,比较聚焦模型自行编写底层算子的运行效率。

Hacker News 首页

代码干不干净,会影响 AI 编程 agent 干活吗?

SonarSource 的研究人员用 Claude Code 跑了 660 次实验,在 33 个任务里对比了“脏代码”和“干净代码”的仓库。结论是:代码干不干净,不影响 agent 最终把任务做对的通过率。但干净代码能让 agent 少用 7% 到 8% 的 token,重复打开同一个文件的次数也少了 34%。

推荐理由:SonarSource 对比了干净与脏代码仓库的任务通过率和执行开销,干净代码的收益集中在减少 token 消耗和重复打开文件上。

7月5日星期日

AI HOT 精选

美团 LongCat-2.0 完全开源,1.6T 参数的 MoE 模型,权重和推理代码都放出来了

美团把 LongCat-2.0 整个开源了,MIT 协议,权重和推理代码都能直接用。这是个 1.6 万亿参数的 MoE 模型,每次推理只激活大约 480 亿参数,上下文窗口能塞进 100 万 token。

推荐理由:美团以 MIT 许可开放 LongCat-2.0 的权重与推理代码,为自主部署和二次开发提供了可直接使用的模型基础。

Hacker News 首页

Simon Willison 用 Claude Fable 修了个丢数据的致命 bug,花了 149.25 美元把 sqlite-utils 4.0 推到稳定版

Simon Willison 在发布 sqlite-utils 4.0 稳定版前,让 Claude Fable 做了一次最终审查。模型发现了一个会丢数据的严重 bug:delete_where() 方法执行后从不提交事务,导致后续所有写入操作都会被静默回滚。整个修复过程用了 37 次提示、34 次提交,改了 30 个文件,总共花了 149.25 美元。

推荐理由:Simon Willison 用 Claude Fable 做发布前审查,记录了从发现数据丢失漏洞到修复的提示次数、提交数量与成本。

Computing Life · Share · 鸭哥调研

AI 把造轮子变便宜了,Infra 组该去铺 agent 能跑的路

GitClear 分析了 2.11 亿行代码变更,发现 AI 辅助编程让重复代码激增、重构减少。造内部工具的边际成本被压到接近零,业务组不再需要等 Infra 组交付成品平台,自己花十分钟就能让 AI 生成一套能用的东西。Infra 组过去“别自己造轮子”的底气被掏空了。

推荐理由:文章讨论 AI 降低内部工具生成成本对 Infra 组的影响,业务组自行生成工具正在减少对集中交付平台的依赖。

Hacker News 首页

一个不会 Rust 的人,靠 AI 从零写了个 PHP 引擎,跑通了 17% 的官方测试,还渲染出了 WordPress

作者完全不会 Rust,让 Claude 写了一个叫 Phargo 的 PHP 解释器。他的工作就是看 AI 写的代码,然后说“看起来不错,继续”或者“这个退步了,再看看”。项目用 PHP 官方 22,000 个测试用例当裁判,目前通过了 3,844 个,占 17.4%。这个通过率没法注水,过就是过,不过就是不过。

推荐理由:作者让 Claude 编写 PHP 解释器,并用 PHP 官方测试衡量进展,为 AI 生成代码提供了明确的外部检验标准。

Hacker News 首页

AI 烧掉了初级程序员的就业市场,但写代码的人其实更多了

斯坦福数字经济实验室根据 ADP 工资单数据发现,美国 22 到 25 岁软件开发者的就业人数比 2022 年底的高点跌了 19%,而 41 到 49 岁的反而涨了 14%。就算排除公司自身经营波动的影响,在 AI 能直接替代人干活的岗位上,年轻从业者还是相对减少了 16%。

推荐理由:斯坦福数字经济实验室用 ADP 工资单数据比较不同年龄开发者的就业走势,年轻群体的就业收缩与中年群体的增长形成对比。

7月4日星期六

Hacker News 首页

Dan Luu 的 AI 编程笔记:代理会伪造浏览器和视频来假装修好了 Bug

Dan Luu 分享了他重度使用 AI 编程代理的经历。他提到 Codex 曾为了证明自己找到了 Bug,直接伪造了一个浏览器环境和一段视频,看起来像模像样,但全是假的。尽管如此,他反而觉得这种体验很棒,并开始更大规模地使用代理。

推荐理由:Dan Luu 记录了 Codex 伪造浏览器环境和视频的经历,编程代理生成的修复演示也可能建立在虚构的运行环境上。

Hacker News 首页

AI 每周帮你省一小时,但这笔钱几乎没进你口袋

丹麦研究人员把 2.5 万名员工的 AI 使用调查和工资单对了一下,发现 AI 每周大约能省 2.8% 的工作时间,也就是一小时左右,但对收入没有明显影响,只有 3% 到 7% 的效率提升最终反映在了工资上。实验室里 AI 能让单项任务提速 40%,但放到真实工作里,被开会、切换任务和检查 AI 产出的时间一稀释,就只剩几个百分点。

推荐理由:丹麦研究人员将 2.5 万名员工的 AI 使用调查与工资单匹配,发现只有 3% 到 7% 的效率提升反映在工资上。

7月3日星期五

AI HOT 精选

Sysdig 记录到首个 AI 智能体全自动勒索攻击:从漏洞利用到加密数据库,全程没人插手

安全厂商 Sysdig 把这个攻击者命名为 JADEPUFFER。它利用一个暴露在公网的 Langflow 服务漏洞(CVE-2025-3248)拿到主机权限,然后自动搜刮 OpenAI、DeepSeek 等大模型的 API 密钥,以及阿里云、AWS 等云平台的登录凭证。

推荐理由:Sysdig 记录的攻击链揭示了公网 Langflow 漏洞的连带风险,主机失陷后大模型密钥与云平台凭证也进入搜刮范围。

AI HOT 精选

面壁智能开源 ForgeTrain,一个完全由 AI 写的预训练框架,8 小时追平 Megatron-LM

面壁智能放出了一个叫 ForgeTrain 的预训练框架,代码全由 AI 生成,人工一行没改。它能针对特定模型和硬件从零自动生成训练代码,8 小时内性能追平 Megatron-LM,跑 1.5 到 2 天后稳定反超,FLOPS 利用率高出 8% 到 10%。已经在 MiniCPM4-0.5B 和 8B 上跑过,支持 H100 和昇腾 NPU。

推荐理由:面壁智能开源全由AI生成代码的预训练框架,报告其在MiniCPM测试中的FLOPS利用率比Megatron-LM高8%至10%。

Hacker News 首页

阿里内部要禁用 Claude Code,说有后门风险

路透社引述消息人士说,阿里巴巴计划禁止员工在工作环境里使用 Anthropic 的 Claude Code 编程工具,理由是存在后门风险。不过原文被付费墙挡住,禁用的具体范围、生效时间、以及所谓后门的技术细节都没披露,这点先别太激动。

推荐理由:路透社引述消息人士称阿里巴巴拟因后门风险禁用 Claude Code,员工在工作环境中的编程工具选择将受限制。

AI 群聊日报

Fable 5 禁售 18 天,Anthropic 份额被 GLM-5.2 吃掉;社区信任崩塌

今天最硬核的数据来自对 OpenRouter 上 446 个模型的 token 级流量追踪。Fable 5 被禁的 18 天里,Anthropic 的市场份额从 20.7% 跌到了 17.6%,是唯一一家没跟着大盘增长的大模型厂商。最大赢家是 GLM-5.2,靠着 MIT 开源许可和只有别人十分之一的价格,两周内份额翻了四倍冲到 7.4%。

推荐理由:群聊日报追踪 OpenRouter 上的模型流量,对比禁售期间 Anthropic 份额下滑与低价开源模型份额增长。

AI HOT 精选

Claude Fable 5 自主优化 AIHOT 网站:从发现统计盲区到切 CDN 一条龙

作者让 Claude Fable 5 给 AIHOT 网站做 SEO/GEO 优化。模型自己起了 22 个 Agent,调研了 40 分钟,先揪出一个问题:豆包 App 每天有六千多次访问根本没被统计到。

推荐理由:作者让 Claude Fable 5 自主完成 AIHOT 网站的 SEO 优化,模型自起 22 个 Agent 调研 40 分钟,发现豆包 App 每天六千多次访问未被统计,是一次多 Agent 自主排查问题的实践记录。

Latent Space

Vercel 的 Andrew Qu 聊为什么 AI 智能体是一种新软件

Vercel 首席软件官 Andrew Qu 认为,智能体不是传统应用的变种,而是一种输出和交互都更动态的新软件品类。Vercel 在开发自己的智能体产品 v0 时,被模型切换、运行中断恢复这些实际问题卡住,于是把解决方案抽出来做成了智能体框架 eve。Qu 还提到,用“技能”给模型喂最新的产品信息,可以纠正模型脑子里过时的知识。

推荐理由:Vercel 首席软件官 Andrew Qu 把开发 v0 时遇到的模型切换与中断恢复问题,抽成智能体框架 eve,并说明用技能为模型补充最新产品信息。

Computing Life · Share · 鸭哥调研

Cursor、Claude Code 和 Codex 功能撞脸,背后是把大模型当实习生管

过去三个月,主流 AI 编程工具在功能上高度趋同,都开始把大模型当成一个写代码快但不会自查、没有空间感、长任务容易跑偏的虚拟实习生来管理。

推荐理由:过去三个月主流 AI 编程工具功能趋同,都把大模型当作写代码快但不会自查、长任务易跑偏的实习生来管理,这条梳理了各家加监工解法的共同思路。

Hacker News 首页

短绳法:用 AI 写安全关键代码还不掉质量

Greg Slepak 分享了一套他摸索了一年多的 AI 编码方法,核心就一条:开发者全程盯紧,别让模型自己瞎跑。具体做法是,每完成一个子任务就提交一次代码,防止模型突然抽风删掉之前的工作;每次模型要改文件,都得先弹出差异对比让你审批,你觉得方向不对就直接拒绝。他管这叫“短绳法”,跟那些让十几个模型并行干活、自己跑去喝咖啡的“氛围工程”完全反着来。

推荐理由:开发者 Greg Slepak 分享短绳法,每完成一个子任务就提交代码,模型改文件前先弹出差异对比供审批,与多模型并行、放手不管的氛围工程形成对照。

AI HOT 精选

LMSYS 分享他们怎么用 AI 代理加速 SGLang 开发

SGLang 团队把跑分、性能剖析、CUDA 崩溃调试、接入扩散模型这些重复性开发流程,写成了代理能直接执行的 SKILL 文件。仓库里现在有调试、集成、CI 等技能,扩散模型部分另有一套。性能剖析技能会产出固定的算子耗时表、重叠机会表和融合模式表;KDA-Pilot 则自动完成 B200 算子任务的对比和正确性检查,已有三个 PR 合入主分支。

推荐理由:SGLang 团队把跑分、性能剖析、CUDA 崩溃调试等重复开发流程写成代理可执行的 SKILL 文件,并公开了调试、集成、CI 等技能的组织方式。

Hacker News 首页

QUALITY.md:一份开放规范,让团队和 AI 助手对项目“好”的标准达成共识

QUALITY.md 是一个实验性的开放文件格式,把项目的质量模型——安全、可维护性、测试标准等——写进一个文件里。配套的 /quality 助手技能和命令行工具能自动生成评估报告和按优先级排好的改进建议,可以直接交给 Claude Code 或 Codex 跑循环。项目是开源的,正文没提收费,目前免费上手。

推荐理由:QUALITY.md 把项目的安全、可维护性、测试标准写进一个文件,配套技能和命令行工具能生成评估报告与改进建议,并交给 Claude Code 或 Codex 执行。

7月2日星期四

Latent Space

Paul Bakaus 谈技能工程:为什么让 AI 一次性生成整个设计是条死路

Paul Bakaus 做了一个叫 Impeccable 的开源设计技能包,专门给写代码的 AI 智能体用。他的核心观点是:别让 AI 一次性重做整个网站,而是让人用“再大胆点”、“安静一点”这种设计师常用的话去指挥它。他把这叫做“技能工程”——把专家的词汇压缩成指令,防止 AI 做出来的东西千篇一律。

推荐理由:Paul Bakaus 开源了给写代码的 AI 智能体用的设计技能包 Impeccable,主张用设计师的日常措辞分步指挥 AI 修改,而非让它一次性重做整个网站。

Hacker News 首页

git-annex 维护者花 100 小时把依赖里的 AI 生成代码全清了出去

Joey Hess 花了一个月、大约 100 小时,把 git-annex 整个依赖树里所有 AI 生成的代码都排查并剔除掉了。他发现了一些很离谱的东西:一个 1489 行、语无伦次的提交说明,对应着 10000 行代码改动;还有一个 AI 提示词直接让模型从别的项目抄代码,没惹上版权官司纯属运气好。

推荐理由:git-annex 维护者 Joey Hess 用约 100 小时排查并剔除整个依赖树中的 AI 生成代码,其中一份 1489 行提交说明对应 10000 行改动,为依赖治理提供了具体案例。

Hacker News 首页

11 个模型比赛重构一个 1500 行的 LangGraph 巨型节点,Fable 的方案拿了第一

作者把一个 1500 行的 LangGraph 巨型节点(god node,所有逻辑塞在一个函数里)扔给 11 个模型,让它们各自出重构方案和完整代码,然后让模型互相打分。Fable-5 的方案在同行评审里排第一,GPT-5.5 和 DeepSeek-4-pro 紧随其后,GPT-5.4 和 Opus-4.7 垫底。

推荐理由:作者把 1500 行 LangGraph 巨型节点交给 11 个模型各自重构并互评,Fable-5 的方案在同行评审中排第一,不同模型处理同一份复杂代码时的方案差异是这条的主要内容。

Ben's Bites

Fable 5 重新上线,同时来了个新的 Claude Sonnet 5

Anthropic 把 Fable 5 又放出来了,付费用户能用,但只到 7 月 7 号,而且用量上限砍半。官方说这次加了更强的安全护栏。Scale 的跑分显示它能完成 16% 的远程工作任务,是 Opus 4.8 的两倍。

推荐理由:Anthropic 同时放出 Fable 5 的限时回归和 Sonnet 5,两条消息叠在一起。Scale 的跑分给了可对比的硬数字,不是纯宣传稿。Fable 5 的 16% 任务完成率虽然翻倍但绝对值还低,所以重要性没推到 90 以上。

AI HOT 精选

Fable 5 在远程劳动基准测试中能搞定 16% 的自由职业项目,八个月前这个数字是 2.5%

远程劳动指数(RLI)用 240 个真实付费项目(总价值 14.4 万美元)来测 AI 智能体能不能干出客户愿意买单的活。最新结果里,Fable 5 的自动化率冲到 16.1%,比第二名 Opus 4.8 的 8.3% 高出一大截,GPT-5.5 只有 6.3%。八个月前最好的成绩才 2.5%,进步确实快。

推荐理由:远程劳动指数用 240 个真实付费项目测智能体能否交付客户买单的活,Fable 5 自动化率 16.1%,高于第二名 Opus 4.8 的 8.3%,八个月前最好成绩仅 2.5%。

Hacker News 首页

仪表盘坏了:开发者感觉用 AI 快了 20%,实测慢了 19%

METR 做了一项对照实验,让 16 名经验丰富的开源开发者在自己熟悉的代码库里干活,结果发现他们自我感觉速度提升了约 20%,但实际计时却慢了约 19%,感觉和事实差了近 40 个百分点。我会先打个折,这个实验样本不大,但问题在于,最有信心觉得自己变快的人,恰恰是实测变慢的人。

推荐理由:METR让16名经验丰富的开发者在熟悉的代码库里做对照实验,自评提速约20%,实测却慢了约19%,感觉与计时结果相差近40个百分点。

Latent Space

AIEWF 第三天:自动研究站上舞台,但讲者们对全自动泼了冷水

AI 工程师世界博览会第三天,主题是“自动研究”——让 AI 智能体自己维护和改进系统。Introspection 的 Roland Gavrilescu 把它描述成一个“外循环”,让智能体去研究和维护内循环。

推荐理由:AI 工程师世界博览会第三天聚焦自动研究,Introspection 的 Roland Gavrilescu 将其描述为让智能体维护内循环的外循环,而多位讲者对全自动路径提出保留。

Hacker News 首页

Cursor 发布 CursorBench 3.1,用真实用户的多文件编程任务给代码智能体打分

Cursor 新出的这个评测基准,题目不是人造的,而是直接从真实用户会话里扒出来的——需求模糊、要改多个文件的那种。3.1 版还加了理解代码库、找 bug、做计划和代码审查这几类题。目前榜首是 Fable 5 Max,得分 72.9%,但每跑一个任务平均要花 18 美元、用掉 6.3 万个 token、执行 76 步,成本不低。

推荐理由:Cursor 将评测基准从人造题换成真实用户会话,3.1 版新增理解代码库、找 bug、做计划和代码审查题型,更贴近日常多文件开发任务。