OpenAI 在 API 里上线了模型蒸馏,让你用大模型的回答去教小模型
Model Distillation in the API
OpenAI 10 月 1 号在自家 API 里推了一套模型蒸馏工具,核心思路是:先用 GPT-4o 或 o1-preview 这类大模型跑出结果,再用这些结果去微调 GPT-4o mini 这种便宜模型,让它在特定任务上接近大模型的表现,但成本更低。
推荐理由:OpenAI 把模型蒸馏做成 API 内置流程,用 GPT-4o 或 o1-preview 的输出微调 GPT-4o mini,让团队不必自建这套流水线就能压低特定任务的推理成本。