跳到正文
Computing Life · Share · 鸭哥调研

OpenResearcher 将大模型研究行为蒸馏进小模型,教师轨迹生成耗时约两天

大模型的研究能力,两天就能蒸馏进一个小模型

OpenResearcher 团队在封闭检索环境中生成大模型探索轨迹,通过监督微调将研究行为蒸馏到每步激活参数约 3B 的小模型。GPT-OSS-120B 使用 64 块 H100 运行约两天,记录近十万次探索,学生模型训练仅需几小时,在 BrowseComp-Plus 上取得 54.8 分。

读原文 ↗导出 Markdown