跳到正文
Hacker News 首页

探索式建模:给模型 K 次猜测机会,只拿最好的那次来训练

Explorative modeling: Train on the best of K guesses

Alexi Gladstone 提出了探索式建模(XM),核心思路很简单:每一步让模型生成 K 个候选结果,然后只拿最好的那个来训练。这相当于在数据和参数量之外,给预训练增加了第三条可以扩展的轴。实验显示,增加探索次数能稳定提升图像、视频和语言模型的效果,而且模型规模越大,收益越明显——数据量增加时,提升从 7% 涨到 36%。

推荐理由:Alexi Gladstone 提出探索式建模,每步生成 K 个候选只取最优结果训练,在数据和参数量之外为预训练增加一条可扩展的轴,图像、视频和语言模型上探索次数越多效果越好。

读原文 ↗导出 Markdown