代码能跑但写得烂:怎么衡量 AI 生成的代码有多“水”
If coding is solved, what now?: Measuring the sloppiness of code
Sebastian 在 Earendil 的博客里用 SlopCodeBench 的指标测了 AI 写代码的“水分”。AI agent 写的代码平均啰嗦度 0.33,人类仓库只有 0.15;侵蚀度 0.68,人类是 0.31——AI 代码的啰嗦和臃肿程度大概是人类的两倍。在多轮、清空上下文的迭代测试里,哪怕最顶尖的模型,严格通过率也是 0%,坏决策会越...
推荐理由:Sebastian 在 Earendil 的博客里用 SlopCodeBench 测了 AI 写代码的“水分”,给了两个新指标:啰嗦度(verbosity)和侵蚀度(erosion)。AI agent 写的代码啰嗦度 0.33,人类仓库 0.15;侵蚀度 0.68,人类 0.31——AI 代码的臃肿程度大概是人写的两倍。多轮迭代测试里,哪怕最顶尖的模型,严格通过率也是 0%,坏决策会越滚越多。这个角度比泛泛说“AI 代码质量差”具体得多,直接量化了“能用但脏”的状态。我会先打个折:这是单篇博客,不是同行评审,SlopCodeBench 也没开源,可...