# OpenAI 在 API 里上线了模型蒸馏，让你用大模型的回答去教小模型

> 原标题：Model Distillation in the API

- 来源：OpenAI News
- 发布时间：2024-10-01T10:02:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/701
- 原文：https://openai.com/index/api-model-distillation

## 摘要

OpenAI 10 月 1 号在自家 API 里推了一套模型蒸馏工具，核心思路是：先用 GPT-4o 或 o1-preview 这类大模型跑出结果，再用这些结果去微调 GPT-4o mini 这种便宜模型，让它在特定任务上接近大模型的表现，但成本更低。整套流程包括三个部分：Stored Completions 负责自动抓取和保存 API 的输入输出对，...

## 推荐理由

我会先打个折：这不是新模型发布，而是把模型蒸馏做成 API 内置流水线，附带自动存样本、评测和微调三个套件。正文说 store:true 抓取数据不额外增加延迟，这点先别太激动，实际体验要看并发量。免费 token 额度有截止日期，Evals 免费次数也绑定了与 OpenAI 共享评测的条件，省钱归省钱，但数据会留在对方那边。整体对想用大模型带小模型、又不想自建 infra 的团队挺实用，只是信息缺口在于蒸馏后的模型在具体任务上到底比直接微调强多少，正文没给对比数字。

## 锐评

OpenAI 这次把模型蒸馏的脏活累活打包进了 API，核心就是让你用 GPT-4o 或 o1-preview 的输出，去训练 GPT-4o mini 这种便宜模型，在特定任务上接近大模型效果，同时把成本打下来。整套工具链包括自动抓取输入输出对的 Stored Completions、做自定义评测的 Evals，以及原本就有的微调功能。

比较实在的一点是，开启存储功能（store:true）不会增加 API 延迟，数据直接存好等你筛选打标。价格方面，10 月 31 号前每天有 200 万 GPT-4o mini 和 100 万 GPT-4o 的免费训练 token，Evals 年底前每周免费跑 7 次（前提是你愿意把数据分享给 OpenAI）。

不过正文没披露蒸馏后模型在具体基准上的性能提升数据，也没提这套流程是否支持 o1 系列做学生模型。如果你指望一键出奇迹，可能还得自己多跑几轮评测验证，毕竟微调本身就是个反复试的过程。