# 探索式建模：给模型 K 次猜测机会，只拿最好的那次来训练

> 原标题：Explorative modeling: Train on the best of K guesses

- 来源：Hacker News 首页
- 发布时间：2026-08-01T15:23:15.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/48093
- 原文：https://alexiglad.github.io/blog/2026/explorative_modeling/

## 摘要

Alexi Gladstone 提出了探索式建模（XM），核心思路很简单：每一步让模型生成 K 个候选结果，然后只拿最好的那个来训练。这相当于在数据和参数量之外，给预训练增加了第三条可以扩展的轴。实验显示，增加探索次数能稳定提升图像、视频和语言模型的效果，而且模型规模越大，收益越明显——数据量增加时，提升从 7% 涨到 36%；参数量增加时，从 13%...

## 推荐理由

Alexi Gladstone 提了个叫探索式建模（XM）的方法，做法很直白：每一步让模型吐出 K 个候选结果，只挑最好的那个拿来训练。这相当于在堆数据和堆参数之外，给预训练多开了一个可以拧的旋钮。实验跨了图像、视频和语言模型，效果都稳得住，而且模型越大、数据越多，收益越明显——数据量上去后提升从 7% 蹿到 36%，参数量上去后从 13% 涨到 23%，还报了个 6.2 倍的效率提升。我会先打个折，因为作者是个人研究者，不是知名实验室，文章也是自述形式，没有经过同行评审，这点先别太激动。但思路本身够简单，有代码有项目页，值得认真看一眼。

## 锐评

Alexi Gladstone 这篇博客的核心想法很直接：既然让模型直接预测一张狗的照片会糊成棕色马赛克，那就让它多猜几次，然后只拿猜得最好的那个结果去训练。这相当于在传统的“堆数据”和“堆参数”之外，给预训练增加了一个“堆探索次数”的新维度。

实验数据挺好看：增加探索次数后，图像、视频、语言模型的效果都在稳定提升，而且模型越大收益越明显——数据量增加时，提升幅度从 7% 涨到 36%；参数量增加时，从 13% 涨到 23%。最终在样本效率上达到 6.2 倍，算力效率 4.1 倍，参数效率提升 47%。在端到端生成任务上，它能用最多 256 分之一的推理算力，在控制任务上追平扩散模型。

不过得打个折。正文没披露实验用的具体模型名称和训练成本，我们不知道这些效率提升是在多大规模下测出来的，也不知道“猜 K 次”带来的额外计算开销有没有被算进效率账里。另外，这个方法在训练时让模型生成多个候选再筛选，推理时怎么落地、延迟会增加多少，文章也没展开。如果后续能补上这些信息，这个第三条扩展轴的含金量会更容易判断。