OpenAI 在 API 里上线了模型蒸馏，让你用大模型的回答去教小模型

Model Distillation in the API

OpenAI 10 月 1 号在自家 API 里推了一套模型蒸馏工具，核心思路是：先用 GPT-4o 或 o1-preview 这类大模型跑出结果，再用这些结果去微调 GPT-4o mini 这种便宜模型，让它在特定任务上接近大模型的表现，但成本更低。整套流程包括三个部分：Stored Completions 负责自动抓取和保存 API 的输入输出对，...

推荐理由：我会先打个折：这不是新模型发布，而是把模型蒸馏做成 API 内置流水线，附带自动存样本、评测和微调三个套件。正文说 store:true 抓取数据不额外增加延迟，这点先别太激动，实际体验要看并发量。免费 token 额度有截止日期，Evals 免费次数也绑定了与 OpenAI 共享评测的条件，省钱归省钱，但数据会留在对方那边。整体对想用大模型带小模型、又不想自建 infra 的团队挺实用，只是信息缺口在于蒸馏后的模型在具体任务上到底比直接微调强多少，正文没给对比数字。