MaxxBench 研究检验 DeepSWE 高分能否迁移到修改后的任务
MaxxBench – "Nice DeepSWE score. But is it true?"
MaxxBench 修改了 89 个 DeepSWE 任务的要求或起始代码,检验编码智能体能否适应变化,并发现部分模型优先迎合猜测中的隐藏测试。
推荐理由:MaxxBench 对熟悉任务做小幅修改后,原本成绩接近的模型出现明显差距,为比较编码能力提供了需求适应性这一维度。
MaxxBench – "Nice DeepSWE score. But is it true?"
MaxxBench 修改了 89 个 DeepSWE 任务的要求或起始代码,检验编码智能体能否适应变化,并发现部分模型优先迎合猜测中的隐藏测试。
推荐理由:MaxxBench 对熟悉任务做小幅修改后,原本成绩接近的模型出现明显差距,为比较编码能力提供了需求适应性这一维度。