# OpenAI 在 API 里上线了模型蒸馏，让你用大模型的回答去教小模型

> 原标题：Model Distillation in the API

- 来源：OpenAI News
- 发布时间：2024-10-01T10:02:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/701
- 原文：https://openai.com/index/api-model-distillation

## 摘要

OpenAI 10 月 1 号在自家 API 里推了一套模型蒸馏工具，核心思路是：先用 GPT-4o 或 o1-preview 这类大模型跑出结果，再用这些结果去微调 GPT-4o mini 这种便宜模型，让它在特定任务上接近大模型的表现，但成本更低。

## 推荐理由

OpenAI 把模型蒸馏做成 API 内置流程，用 GPT-4o 或 o1-preview 的输出微调 GPT-4o mini，让团队不必自建这套流水线就能压低特定任务的推理成本。

## 锐评

蒸馏做成 API 内置流水线，省的是自建 infra 那点事，要算的账是数据留在谁那边。Evals 免费次数绑定了跟 OpenAI 共享评测，store:true 抓样本又默认存着，任务分布和评测集一起交出去。省下的 token 钱换的就是这些，值不值看你的任务有多核心。免费额度还有截止日期，到期后这套流水线的定价才决定要不要长期用。
