跳到正文
Hacker News 首页

代码模型修 bug 时总爱把整个函数重写一遍

Coding Models Are Doing Too Much

作者用程序给 BigCodeBench 的 400 道题植入单点 bug,发现很多模型在修 bug 时会过度编辑——明明改一行就能修好,它却把半个函数重写了,甚至加一堆没必要的检查。文章用 token 级编辑距离来量化这种“改多了”的程度,并尝试通过训练让模型学会只做最小改动。正文没披露最终测试结果和模型排名,也没说训练后到底省了多少编辑量。

推荐理由:这篇文章的切入点很巧,用 400 道题的 bug 注入实验把“模型修 bug 时过度改写”这个模糊感受变成了可量化的编辑距离。对 AI 编程工具的用户来说,多改一行正确代码就是多一份审查成本和上线风险,所以相关性直接拉满。不过正文截取没给出具体结果、模型排名和效果幅度,我会先打个折——知道问题存在,但不知道严重到什么程度、哪些模型更爱乱改,这点先别太激动。

读原文 ↗导出 Markdown