跳到正文
Hacker News 首页antiuniverse

MaxxBench 研究检验 DeepSWE 高分能否迁移到修改后的任务

MaxxBench – "Nice DeepSWE score. But is it true?"

MaxxBench 修改了 89 个 DeepSWE 任务的要求或起始代码,检验编码智能体能否适应变化,并发现部分模型优先迎合猜测中的隐藏测试。

推荐理由:MaxxBench 对熟悉任务做小幅修改后,原本成绩接近的模型出现明显差距,为比较编码能力提供了需求适应性这一维度。

读原文 ↗导出 Markdown