OpenAI 搞了个 MLE-bench,用 75 个 Kaggle 比赛来考 AI 的机器学习工程能力
OpenAI 从 Kaggle 挑了 75 个真实比赛做成基准测试,让 AI 智能体自己训练模型、处理数据、跑实验。最强的组合是 o1-preview 配上 AIDE 脚手架(一种帮模型自动迭代代码的工具),在 16.9% 的比赛里拿到了至少铜牌水平。这个成绩说明模型能独立完成一些 ML 工程任务,但离真正拿金牌还差得远。
推荐理由:OpenAI 用 75 个 Kaggle 真实比赛搭建 MLE-bench,让智能体独立完成数据处理、模型训练到提交结果的全流程,最强组合在 16.9% 的比赛里达到铜牌水平。