OpenAI 搞了个 MLE-bench，用 75 个 Kaggle 比赛来考 AI 的机器学习工程能力

MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering

OpenAI 从 Kaggle 挑了 75 个真实比赛做成基准测试，让 AI 智能体自己训练模型、处理数据、跑实验。最强的组合是 o1-preview 配上 AIDE 脚手架（一种帮模型自动迭代代码的工具），在 16.9% 的比赛里拿到了至少铜牌水平。这个成绩说明模型能独立完成一些 ML 工程任务，但离真正拿金牌还差得远。团队还研究了多给算力、多跑几次...

推荐理由：OpenAI 这次没让模型刷题，而是让它真刀真枪跑完 75 个 Kaggle 竞赛——从准备数据、训模型到交结果，整套 ML 工程流程都得自己来。最佳组合 o1-preview + AIDE 在 16.9% 的任务里摸到了铜牌线，说明能做一些，但离靠谱还差得远。我会先打个折：铜牌在 Kaggle 上不算难，正文也没披露具体是哪些任务、失败在哪类环节，所以别急着喊“替代 ML 工程师”。真正值得看的是它把评测从“会答题”扭到了“能干完整工程活”，而且代码开源，团队可以自己跑一遍看自家 agent 几斤几两。