顶尖模型物理其实不差，是考题和评分标准本身出了大问题

How good are frontier models at physics?

耶鲁等机构的研究人员找来物理系教授和博士生，把六个常用物理基准测试的评分重新审了一遍。结果发现，之前被判错的答案，大部分是评分程序出错、参考答案本身是错的，或者题目问得不清不楚。以 GPT-5.6-Sol 为例，在 HLE-Physics 上，修正后的 mean@4 从 47.3% 跳到了 78.7%；在 CMT-Benchmark 上，从 61.0%...

推荐理由：耶鲁等机构的研究人员拉来物理系教授和博士生，把六个常用物理基准测试的评分重新审了一遍。结果发现，之前被判错的答案，大部分是评分程序出错、参考答案本身是错的，或者题目问得不清不楚。以 GPT-5.6-Sol 为例，在 HLE-Physics 上，修正后的 mean@4 从 47.3% 跳到了 78.7%；在 CMT-Benchmark 上，从 61.0% 跳到 89.1%，接近满分。这个涨幅说明，很多“模型物理不行”的判断，其实是基准本身质量不行。我会先打个折：正文没披露重新评分时有没有统一标准、不同评审之间一致性如何，这点先别太激动。但至少提醒我们...