#数据/训练

今日 0 条

昨天 · 9月29日星期二

Hacker News 首页9/29 19:13

PostHog 开源 Jeeves：用推理改进 Jev 类决策模型

PostHog 在 GitHub 开源 Jeeves 项目，通过推理能力改进 Jev 类决策模型。仓库包含 drafter、inference、loader、model、prep、sdk 等模块，并附有 calibrate.py、checkpoint.py 等脚本，采用 master 单分支，已获 49 星、7 次 fork。

Hacker News 首页9/29 04:23

Jeff：在家用消费级显卡训的 0.8B 决策模型，推理只要 30 毫秒

Jeff 是一组从 Qwen3.5 和 Gemma 4 微调出来的 0.8B 参数小模型，专门做零样本分类——也就是不给例子直接判断类别。亮点是作者说在家用普通显卡上就能训练，推理一次只要 30 毫秒左右，延迟很低，适合塞进实时决策流程。模型兼容 Jev 格式，GitHub 上放了代码和权重。不过正文没披露用了多大训练集、在什么基准上测过，所以实际效果...

9月22日星期二

Simon Willison9/22 07:09

TypeSafe AI 发布 Jev 决策模型，只输出浮点分数

TypeSafe AI 发布 Jev，一种被称为 System One 或决策模型的新形态模型，输入文本后不输出文本，而是返回类别、是/否、评分对应的浮点数和置信度。

9月12日星期六

r/LocalLLaMA9/12 08:44

把2B小模型微调成微信群聊风格，全套代码开源了

有人在Reddit发帖，说自己用WhatsApp群聊记录微调了一个2B参数的小模型，并且把完整流程做成了GitHub cookbook开源。正文被Reddit屏蔽了，所以看不到基座模型、训练成本、效果评测这些关键信息。2B模型的好处是本地跑得动，适合拿自己的聊天记录训练一个模仿群聊口吻的玩具。如果你也想试试，这个cookbook是个不错的起点，但具体花...

9月3日星期四

Hugging Face 博客9/3 08:00

用 100 步 GRPO 微调 3.5 亿参数模型，结构化输出合规率从 22.6% 提到 29.7%

Hugging Face 和 Liquid AI 发了一份实操指南，拿 LFM2.5-350M 这个小模型做实验。他们用 TRL 库跑 GRPO（一种按组比较、挑好回答来优化的强化学习方法），只用了 500 条样本、训练 100 步，在免费 Colab GPU 上就能跑完。在 IFStruct 结构化输出基准上，模型按指定格式返回有效结果的比例从 22...

推荐理由：一份实操向的教程，数字具体、方法可复现，H 和 K 都站得住。但内容只对微调工程师有用，缺乏破圈潜力，R 不成立。放在 featured 档给 72 分合理。

锐评

这篇指南最实在的地方是它把门槛打下来了。用TRL库跑GRPO（一种按组比较、挑好回答来优化的强化学习方法），只喂了500条样本，在免费Colab GPU上训练100步，就把LFM2.5-350M这个3.5亿参数小模型在IFStruct基准上的格式合规率从22.6%提到了29.7%。提升幅度有7个百分点，说明方法有效，而且成本几乎为零。

但数字本身也得冷静看。29.7%的合规率意味着十次里有七次还是输出格式不对，离生产可用还有距离。正文没披露这个基准的难度细节，也没说模型在其他能力上有没有退化。另外，实验只在一款模型上跑过，换别的模型效果会不会打折，目前不知道。

我会把这份指南当成一个可复现的起点，而不是一个拿来就用的方案。它证明了小模型+少样本+轻量强化学习这条路走得通，但真要落地，还得补上更多模型和任务的交叉验证。

8月4日星期二

Hacker News 首页8/4 19:17

Soup：一个命令就能在 4GB 显存的笔记本上微调 8B 模型

Soup 把大语言模型的微调流程打包成一个命令行工具，最低只要 4GB 显存就能跑。它底层用了 QLoRA（一种省显存的微调方法）和 Unsloth 加速，支持 Llama、Mistral、Qwen 这些主流的 8B 模型。你准备好 JSONL 格式的数据集，写一个 YAML 配置文件，敲一句 `soup run` 就开始训练了。训练完还自带一个 St...

推荐理由：一个把 QLoRA 微调压到 4GB 显存、一句命令跑通的工具，实用性和知识性都到位，正好卡在 featured 门槛。但项目太新，没有社区验证或真实场景的 benchmark，争议性为零。如果后续有人贴出训练效果对比或社区开始用起来，分数会更有支撑。

6月9日星期二

AI HOT 精选6/9 19:45

腾讯混元开源 UniRL：一套强化学习框架同时管图像生成和语言模型，还带了两个新算法

UniRL 把扩散模型、流匹配模型、大语言模型和视觉语言模型的强化学习训练塞进了同一个后训练循环里，流程就是生成、打分、算优势、更新参数再同步。框架把模型和算法拆成两个独立维度，可以自由组合，目前已经用在 Hunyuan-Image 3 和 Bagel 上。这次一并开源了两个算法：Flow-DPPO 给流/扩散模型加了基于精确散度的信任域约束，训练更稳...

推荐理由：UniRL 不是新模型发布，而是一个多模态强化学习的训练框架，把扩散、流匹配、LLM 和 VLM 的 RL 训练流程统一了。框架设计上把模型和算法解耦，搭配开源的两个算法（Flow-DPPO 和 DRPO），对做多模态对齐和微调的从业者来说，省了自己搭轮子的功夫。信息量够、开源动作实在，但属于基础设施层发布，不是旗舰模型，所以重要性给到 81，放在 featured 位置。

锐评

UniRL 做的事是把几种不同模型的强化学习后训练塞进同一个循环：生成、打分、算优势、更新参数、同步。框架把模型类型和算法拆成两个独立维度，可以自由组合，目前已经在 Hunyuan-Image 3 和 Bagel 上用了。这次一并开源了两个算法：Flow-DPPO 给流/扩散模型加了基于精确散度的信任域约束，让训练更稳；DRPO 给语言模型强化学习加了个平滑的优势加权正则化，相当于在更新时别太激进。

框架支持可插拔的 rollout 引擎，训练侧、SGLang、vLLM-Omni 都能接，部署模式给了三种，分片用 FSDP2。这些设计对想在自己模型上试强化学习微调的团队比较友好，不用从头搭一套。

但正文没给出任何对比数据——用了 UniRL 之后图像质量、文本生成准确率到底提升多少，跟现有方案比训练速度、显存占用有没有优势，这些关键信息都缺。也没说开源代码的许可证和配套文档完整度。这点先别太激动，等看到实际跑出来的数字再判断值不值得切过去。

6月2日星期二

AI HOT 精选6/2 01:06

NVIDIA Cosmos 3 在开放权重模型里拿了图像和视频生成双料第一

NVIDIA 的 Cosmos 3 在 Artificial Analysis 的开放权重榜单上，文本生图和图片转视频两项都排到了第一。它用了一种叫 Mixture-of-Transformers 的架构，把自回归推理器和扩散生成器拼在一起，有 16B 参数的 Nano 版和 64B 参数的 Super 版。Super 版在两项任务上分别超过了 HiD...

推荐理由：Cosmos 3 在 Artificial Analysis 的开放权重榜上把图像和视频生成的头名都拿了，我会先打个折——这只是单一基准的排名，不代表实际场景一定最强。但亮点在于它直接给了 16B 和 64B 两个尺寸，而且权重、代码、数据、微调方案全开源，这点对想自己训模型的人挺实在。正文没披露训练成本和推理延迟，所以别急着下“省钱”的结论。整体看，这条消息对关注开源多模态竞争的从业者有参考价值，放在 featured 档合适。

锐评

Cosmos 3 这次在 Artificial Analysis 的开放权重榜单上，文本生图和图片转视频两项都排到了第一。它把自回归推理器和扩散生成器拼在一起，相当于让模型先理解你要什么，再动手画，这种架构在控制力上确实有优势。Super 版有 64B 参数，跑起来硬件门槛不低，Nano 版 16B 更实际一点。

值得留意的是，它完全开源了权重、代码、数据集和微调方案，用 OpenMDW 1.1 许可，这对想自己改模型的人来说是个实在的好处。不过正文没披露具体评测样本量、打分方式，也没说跟闭源商业模型的差距有多大。榜单只覆盖开放权重模型，所以这个“第一”是在开源圈子里比的，别直接当成行业最强。

还缺两块关键信息：一是推理延迟和显存占用，64B 参数实际跑起来成本多高；二是生成质量有没有人工评估，光靠自动指标容易刷榜。这两点决定了它是不是真能用进生产环境。

5月28日星期四

机器之心 · 公众号5/28 12:30

国产预训练具身大模型 Wall-OSS-0.5 开源，宣称跳过微调也能直接干活

X Square Robot 开源了一个叫 Wall-OSS-0.5 的视觉-语言-动作模型，主打“预训练完就能用”。他们放出了 40 万步的预训练 checkpoint，在 17 个真实机器人零样本任务里，有 4 个成功率超过 80%。这次开源的东西挺全：权重、代码、训练配方、消融实验，还有一个叫 DMuon 的优化器实现。不过正文因为环境验证没抓到...

推荐理由：我会先打个折：X Square Robot 不是顶级基础模型实验室，所以重要性停在 79。但这条消息本身挺实在——Wall-OSS-0.5 直接开源了一个 400k 步的预训练 checkpoint，在 17 个真机零样本任务里跑了分，有 4 项超过 80 分。这意味着你不用非得花大量算力和时间做后训练，拿过来就能在部分任务上跑出不错的效果。当然，正文没披露这 4 项具体是什么任务、难度如何，也没说剩下 13 项的表现分布，所以“后训练不再是必选项”这个结论得看场景，别太激动。整体来说，对做具身智能又缺资源的团队是个值得看一眼的发布。

锐评

这条消息的核心卖点是“预训练完就能用”，不用再做后训练微调。X Square Robot 放出了 Wall-OSS-0.5 的 40 万步预训练 checkpoint，在 17 个真实机器人零样本任务里，有 4 个成功率超过 80%。这个成绩说明模型确实学到了一些可迁移的操作能力，不是纯摆设。开源范围也比较大方：权重、代码、训练配方、消融实验，还有一个叫 DMuon 的优化器实现，对想复现或魔改的人来说省了不少事。

但这里有几个信息缺口得指出来。第一，正文因为环境验证没抓到，我们看不到那 17 个任务具体是什么、难度如何、失败的那 13 个任务表现差到什么程度。4/17 这个比例不算高，如果剩下的任务成功率很低，那“预训练完就能用”这个说法就得打折扣。第二，40 万步的预训练数据来源和规模没披露，不知道是仿真数据还是真实采集的，这直接影响模型泛化能力的上限。第三，没有和其他 VLA 模型的横向对比，单看自己的数字很难判断这个 80% 在行业里算什么水平。整体来看，开源动作值得肯定，但实际效果还得等更多第三方验证和任务细节出来再说。

5月27日星期三

AI HOT 精选5/27 11:51

面壁智能开源 ForgeTrain，一个完全由 AI 写出来的模型训练框架，零人类代码

面壁智能、清华和 OpenBMB 开源了 ForgeTrain，一个完全由 AI 编写、没有人类代码介入的大模型训练框架。他们用这套框架在华为昇腾芯片上预训练了 MiniCPM5-1B，这个模型在 AA 榜单的 2B 参数以下级别里排到了第一。同时开源的还有制造 ForgeTrain 的 Agent Harness 工具链。正文没披露训练成本、耗时和具...

推荐理由：我会先打个折：这不是一个顶配模型发布，而是一个工具链层面的开源动作，所以给 80 分、放 featured 比较合适。故事的核心是“AI 造 AI”——面壁智能说 ForgeTrain 是全球第一个零人类代码介入的生产级训练框架，并且已经在华为昇腾上跑通了 MiniCPM5-1B 的预训练。对从业者来说，这比单纯刷榜有意思，因为它直接关系到训练流程能不能自动化、能不能省人力。不过正文没披露这套 AI 写的代码质量到底怎么样、训练出来的模型跟人手写的框架比有没有性能差距，这点先别太激动。整体看，H、K、R 三条都踩中了，是个扎实的工具链新闻。

锐评

面壁智能、清华和 OpenBMB 开源了一个叫 ForgeTrain 的大模型训练框架，特别之处在于它的代码完全由 AI 生成，没有人类手写一行。他们用这套框架在华为昇腾芯片上预训练了 MiniCPM5-1B，这个 10 亿参数的小模型在 AA 榜单 20 亿参数以下级别拿了第一。同时开源的还有制造 ForgeTrain 的 Agent Harness 工具链，相当于把“让 AI 写代码”这件事本身也做成了可复用的流水线。

这件事最值得看的是“AI 写生产级基础设施”到底靠不靠谱。框架能跑通并训出榜单第一的模型，说明生成代码的可用性不低。但正文没披露训练总耗时、算力成本，也没说生成代码后人工改了多少、修了多少 bug。这些缺口直接决定这个框架是“省了人力”还是“把工作量从写代码变成了修代码”。另外，只在 10 亿参数规模验证过，换到百亿、千亿参数模型会不会崩，目前没答案。

如果后续能补上成本对比和人工介入率，这条新闻的分量会重很多。现在只能说方向有意思，但离“AI 替代 AI 工程师”还差好几轮验证。

5月19日星期二

AI HOT 精选5/19 09:37

Cursor 发布 Composer 2.5，底层和 Kimi K2.5 同源，号称效率提升 10 倍

Cursor 把 Composer 模型升级到了 2.5，说它在处理长任务、理解复杂指令上比之前强了不少，同等能力下效率能高出 10 倍。这次升级主要靠三件事：训练规模更大、强化学习环境搞得更复杂，还加了一套文本反馈机制，让模型能根据文字反馈自己调整。底层架构跟 Moonshot 的 Kimi K2.5 是同一套。另外 Cursor 正跟 SpaceX...

推荐理由：Cursor 发了 Composer 2.5，说同等能力下效率能提 10 倍，还提到用了更大的训练规模、更复杂的强化学习环境和文本反馈来调模型。我会先打个折：10 倍这个数目前只有厂商自己说，正文没给基准测试、没给价格、也没法复现验证，所以别太激动。但如果是真的，对用 Cursor 写代码的人来说确实挺省钱省时间。这条消息来自单一社交来源，信息量够让从业者关注，但缺硬数据支撑，所以分数定在 82，放在 featured 里提醒大家留意后续实测。

锐评

Cursor 把代码助手模型升级到 Composer 2.5，核心卖点是处理长任务和复杂指令时更稳，同等能力下效率号称提升 10 倍。这个 10 倍具体怎么算的、跟谁比的，正文没披露，所以别急着当真。技术路线靠三件事撑：训练规模加大、强化学习环境搞得更复杂，还加了一套文本反馈机制，让模型能根据文字反馈自己调整行为。底层架构跟 Moonshot 的 Kimi K2.5 同源，说明不是从零自研，而是基于现有基座做定向优化。另外 Cursor 正跟 SpaceXAI 合作，用十倍算力训下一代模型，但没提时间表和具体参数规模。整体看，这次更新在工程上有进展，但宣传口径偏满，缺独立评测和可复现的基准数据，实际效果还得等用户上手跑长任务才知道。

5月13日星期三

新智元 · 公众号5/13 12:06

清华系开源 MiniCPM-V 4.6：1.3B 多模态模型，一张 4090 就能全量微调

面壁智能、清华和 OpenBMB 放出了 MiniCPM-V 4.6，一个 13 亿参数的多模态模型。它最大的卖点是能在一张 RTX 4090 显卡上完成全量微调，不用再靠低秩适配这类折中方案。模型提供了两种视觉 token 压缩模式：4 倍压缩追求精度，16 倍压缩追求速度，让开发者自己按场景选。正文没披露具体的训练数据量和详细评测基准，这点先别太激...

推荐理由：HKR 三项都成立：一条具体的开源多模态模型发布，给了参数量、硬件条件和 token 压缩方案，把本地微调成本压到一张消费级显卡。不是前沿大厂的旗舰发布，但实用性强，82 分合理。

锐评

面壁智能和清华放出的 MiniCPM-V 4.6，核心卖点是把全量微调的门槛压到了一张 RTX 4090。以前小模型想省显存只能靠低秩适配这类折中方案，现在可以直接动全部参数，对开发者来说省事不少。模型给了两种视觉 token 压缩模式：4 倍保精度，16 倍追速度，等于把选择权交给用的人，按场景自己掂量。

不过正文没写训练数据量和具体评测基准，这就让“小钢炮”的成色打了折扣。没有数据规模和对比对象，很难判断它的能力上限在哪，也不知道在哪些任务上会翻车。另外，1.3B 参数在多模态任务里到底能扛住多复杂的场景，光靠一篇推送还看不出来。

还缺的是端侧实测和第三方复现结果。一张 4090 跑得动是一回事，换到手机或边缘设备上表现怎么样，功耗和延迟能不能接受，这些才是落地时要命的细节。

5月12日星期二

AI HOT 精选5/12 23:54

开放模型生态如何滚起雪球

作者 Nathan Lambert 从中国 AI 圈几乎全员开源的现状出发，聊了聊开放模型生态真正的省钱逻辑。核心判断是：造前沿模型的大头成本不在最终训练，而在研发试错，这部分算力开销可能占到 80%。中国各家实验室通过详细技术报告和刻意分享，相当于帮同行排了雷，避免重复烧钱做实验，形成了一种靠信息共享降低未来研发成本的复合增长。文章也指出，开源 AI...

推荐理由：这篇文章不是产品发布，而是一篇评论，核心观点是开源模型生态正在自我强化。我会先打个折：正文没披露下载量的绝对基数，200% 的环比增长到底是从 1 万涨到 3 万还是从 100 万涨到 300 万，差别很大，这点先别太激动。但它把开源模型的扩散、微调、再发布串成一个复合增长飞轮，这个框架比单纯报数字更有价值。对做模型选型和成本估算的从业者来说，这个趋势意味着国产开源模型的可用性在快速爬坡，值得关注。

锐评

Nathan Lambert 这篇文章把开源模型省钱这件事讲得比较实在。核心判断是：造一个顶尖模型，80%的算力都烧在研发试错上，而不是最后那一次完整训练。这个数字来自 Ai2 和 Epoch AI 的两份研究，虽然误差范围不小，但方向是对的。中国 AI 圈几乎全员开源，各家通过详细技术报告和刻意分享，相当于帮同行排了雷，避免重复踩坑烧钱，形成了一种靠信息共享降低未来研发成本的复合增长。

但文章也点出了开源 AI 和传统开源软件的根本区别：软件开源是用户越多修 bug 越便宜，而开源模型几乎全部成本都压在开发者身上。开放模型降低的是未来的研发成本，不是即插即用的产品价格。如果你只是拿来就用、不做深度定制，闭源的托管方案反而更便宜，因为人家靠规模效应摊薄了成本。

文章没展开讨论的一个缺口是：这种互相排雷的模式能持续多久。目前各家还是会 fork 开源工具做成内部版本，真正开放的 RL 训练方案（比如 MoE 架构的大规模强化学习）其实还没有公开的成熟配方。如果核心环节继续半开半闭，这个生态的省钱效应会打折扣。

4月28日星期二

X · @op7418（歸藏）4/28 10:42

小米把 MiMo-V2.5 系列模型全开源了，MIT 协议，随便商用和魔改

小米这次放出的 MiMo-V2.5 系列模型用了 MIT 开源协议，你可以直接拿来商用、做二次训练和微调，不用再额外申请授权。正文没披露模型参数量和跑分成绩，这点先别太激动。同时他们还搞了个 Orbit 100T Token 计划，分两块：一块是给 AI builder 的激励，申请通过最高能拿到 16 亿 Credits，价值 659 元；另一块是给...

推荐理由：这条消息对 AI builder 有实际价值：MIT 协议意味着可以放心商用和微调，Orbit 计划给的 Credits 额度不小，659 元的标价也算低。但我会先打个折——正文完全没提模型参数量、性能跑分，连基础尺寸都不知道，没法判断模型本身强不强。这点先别太激动，等评测出来再看。整体属于有料但缺关键验证，放在 featured 合适。

锐评

小米这次开源 MiMo-V2.5 系列，最实在的是 MIT 协议——你可以直接拿去商用、做二次训练和微调，不用再额外申请授权。但正文没披露模型参数量和任何跑分成绩，这点先打个折：不知道它到底多大、在哪些任务上能打，就没法判断实际可用性。

同时推出的 Orbit 100T Token 计划更像拉新活动：AI builder 申请通过最高能拿 16 亿 Credits，价值 659 元；Agent 框架团队可以申请 MiMo token 限免接入。这两个激励门槛和审核标准正文都没说，能拿到的人可能不多。

还缺的关键信息：模型尺寸、benchmark 成绩、推理成本、以及 Orbit 计划的具体申请条件和名额。这些不补上，开源的价值和激励的实际覆盖面都很难评估。

4月20日星期一

r/LocalLLaMA4/20 23:05

用免费 Colab T4 和 Mac 给苹果端侧 3B 模型训练 LoRA 适配器

作者搭了一套 QLoRA 流程来微调苹果那个跑在手机上的 3B 模型，把显存需求从大约 24GB 压到 1GB 内存加 5GB 显存，免费版 Colab T4 或者一台 24GB 内存的 Mac 就能跑。帖子说 A100 跑 LoRA、T4 跑 QLoRA、Mac 跑 QLoRA 训出来的适配器效果差不多，都能把准确率从 40% 左右拉到 75%，如果...

推荐理由：一篇带名字的第一手实验，内存和准确率数字可复现，HKR 三项全中，比普通教程贴强。分数没上 85 是因为来源只是单篇 Reddit 帖子，权威性有限，跑分范围也窄。

锐评

这条帖子讲的是用 QLoRA 微调苹果那个跑在手机上的 3B 模型，把显存需求从大约 24GB 压到 1GB 内存加 5GB 显存，免费版 Colab T4 或者一台 24GB 内存的 Mac 就能跑。作者说 A100 跑 LoRA、T4 跑 QLoRA、Mac 跑 QLoRA 训出来的适配器效果差不多，都能把准确率从 40% 左右拉到 75%，加上外挂资料库能到 86%。这个数字挺实在的，说明小模型加微调加检索，在特定任务上确实能打。

但有个坑要先说清楚：Reddit 把这条帖子屏蔽了，我们拿不到完整原文，上面这些数字都来自摘要，没法核实实验设置、数据集大小、评测方式。另外帖子提到一个苹果的 bug，每次命令行调用会偷偷写一个约 160MB 的缓存副本，跑 300 次能攒到 269GB，这个如果是真的，对长期用苹果模型做实验的人是个实打实的麻烦。

整体看，这条信息对想在消费级设备上微调小模型的人有参考价值，但缺了原文验证，建议先当经验分享看，别直接当基准结论引用。

4月8日星期三

量子位 · 公众号4/8 12:00

面壁智能、OpenBMB 和清华放出一个 2B 开源语音模型 VoxCPM 2，能说 9 种方言、30 种外语，还复刻了郭德纲的《莽撞人》贯口

VoxCPM 2 是个 20 亿参数的开源语音模型，主打低延迟和少样本复刻。官方说生成经常在 1 秒内完成，给一段 5 秒以上的参考音频就能模仿音色和风格，演示里用它念了语速极快的相声贯口《莽撞人》。技术上它没用传统的声学码本，而是走扩散自回归连续表征路线，支持去噪、LoRA 微调和全量微调。正文没披露具体的训练数据规模和硬件需求，也没给标准化的语音质...

推荐理由：面壁智能和清华 OpenBMB 放出的 VoxCPM 2 是一个 2B 开源语音模型，不是薄 demo。正文列了可复现条件：48kHz、9 种方言、30 种外语、≥5 秒参考音频、1 秒内生成，还支持降噪和 LoRA/全参微调。技术路线上走了 tokenizer-free 的扩散自回归连续表征，这点比模型尺寸更值得看。我会先打个折：正文没披露方言和外语的具体测试集与客观指标，也没给端侧实测延迟和内存占用，所以实际部署成本还要自己测。但整体信息量够，对盯中文开源语音栈的人有参考价值。

锐评

VoxCPM 2 是个 20 亿参数的开源语音模型，走了一条不太一样的路：它没用传统的声学码本，而是直接处理连续声音信号，靠扩散自回归来生成。官方说生成经常在 1 秒内完成，给一段 5 秒以上的参考音频就能模仿音色和风格，演示里用它念了语速极快的相声贯口《莽撞人》，听起来确实能跟上节奏。技术上支持去噪、LoRA 微调和全量微调，对想自己调声音的开发者比较友好。

不过正文没披露具体的训练数据规模和硬件需求，也没给标准化的语音质量评测分数。贯口演示虽然抓耳，但只能说明它在特定高语速场景下没崩，日常对话、多轮交互、嘈杂环境下的表现还不清楚。另外，少样本复刻的稳定性、不同参考音频长度对效果的影响，这些关键细节也都没展开。想在生产环境用的话，建议先拿自己的场景跑一遍，别只看相声 demo 就下单。

2024年10月1日星期二

OpenAI News10/1 18:02

OpenAI 在 API 里上线了模型蒸馏，让你用大模型的回答去教小模型

OpenAI 10 月 1 号在自家 API 里推了一套模型蒸馏工具，核心思路是：先用 GPT-4o 或 o1-preview 这类大模型跑出结果，再用这些结果去微调 GPT-4o mini 这种便宜模型，让它在特定任务上接近大模型的表现，但成本更低。整套流程包括三个部分：Stored Completions 负责自动抓取和保存 API 的输入输出对，...

推荐理由：我会先打个折：这不是新模型发布，而是把模型蒸馏做成 API 内置流水线，附带自动存样本、评测和微调三个套件。正文说 store:true 抓取数据不额外增加延迟，这点先别太激动，实际体验要看并发量。免费 token 额度有截止日期，Evals 免费次数也绑定了与 OpenAI 共享评测的条件，省钱归省钱，但数据会留在对方那边。整体对想用大模型带小模型、又不想自建 infra 的团队挺实用，只是信息缺口在于蒸馏后的模型在具体任务上到底比直接微调强多少，正文没给对比数字。

锐评

OpenAI 这次把模型蒸馏的脏活累活打包进了 API，核心就是让你用 GPT-4o 或 o1-preview 的输出，去训练 GPT-4o mini 这种便宜模型，在特定任务上接近大模型效果，同时把成本打下来。整套工具链包括自动抓取输入输出对的 Stored Completions、做自定义评测的 Evals，以及原本就有的微调功能。

比较实在的一点是，开启存储功能（store:true）不会增加 API 延迟，数据直接存好等你筛选打标。价格方面，10 月 31 号前每天有 200 万 GPT-4o mini 和 100 万 GPT-4o 的免费训练 token，Evals 年底前每周免费跑 7 次（前提是你愿意把数据分享给 OpenAI）。

不过正文没披露蒸馏后模型在具体基准上的性能提升数据，也没提这套流程是否支持 o1 系列做学生模型。如果你指望一键出奇迹，可能还得自己多跑几轮评测验证，毕竟微调本身就是个反复试的过程。