# OpenAI 搞了个 MLE-bench，用 75 个 Kaggle 比赛来考 AI 的机器学习工程能力

> 原标题：MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering

- 来源：OpenAI News
- 发布时间：2024-10-10T10:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/691
- 原文：https://openai.com/index/mle-bench

## 摘要

OpenAI 从 Kaggle 挑了 75 个真实比赛做成基准测试，让 AI 智能体自己训练模型、处理数据、跑实验。最强的组合是 o1-preview 配上 AIDE 脚手架（一种帮模型自动迭代代码的工具），在 16.9% 的比赛里拿到了至少铜牌水平。这个成绩说明模型能独立完成一些 ML 工程任务，但离真正拿金牌还差得远。

## 推荐理由

OpenAI 用 75 个 Kaggle 真实比赛搭建 MLE-bench，让智能体独立完成数据处理、模型训练到提交结果的全流程，最强组合在 16.9% 的比赛里达到铜牌水平。

## 锐评

16.9% 摸到铜牌线，这个数放 Kaggle 上真不算什么，铜牌基本是参赛就有。o1-preview 加 AIDE 能自己跑完数据、训模型、交结果，流程是通的，但七成多的比赛连铜牌都够不着，它离独立干 ML 工程还差得远。开源这点倒是实在，团队可以拿自家 agent 跑一遍，看它在哪类任务上崩，比看这个百分比有用。
