# 探索式建模：给模型 K 次猜测机会，只拿最好的那次来训练

> 原标题：Explorative modeling: Train on the best of K guesses

- 来源：Hacker News 首页
- 发布时间：2026-08-01T15:23:15.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/48093
- 原文：https://alexiglad.github.io/blog/2026/explorative_modeling/

## 摘要

Alexi Gladstone 提出了探索式建模（XM），核心思路很简单：每一步让模型生成 K 个候选结果，然后只拿最好的那个来训练。这相当于在数据和参数量之外，给预训练增加了第三条可以扩展的轴。实验显示，增加探索次数能稳定提升图像、视频和语言模型的效果，而且模型规模越大，收益越明显——数据量增加时，提升从 7% 涨到 36%。

## 推荐理由

Alexi Gladstone 提出探索式建模，每步生成 K 个候选只取最优结果训练，在数据和参数量之外为预训练增加一条可扩展的轴，图像、视频和语言模型上探索次数越多效果越好。

## 锐评

K 个候选挑最好的那个训练，思路就是把 self-consistency 搬到预训练上，真跑起来算力开销是 K 倍，报的 6.2 倍效率提升得看它跟什么基线比。作者是个人研究者，没同行评审，7% 到 36% 这组数我暂时只当参考。

方向我认，数据快堆到头了，多开一个能拧的旋钮比继续硬堆 token 强。有团队在开源模型上复现出同样的曲线，我再认真算这笔账。
