上海 AI 实验室发现：有监督微调能跨领域泛化，但得满足三个条件

上海AI Lab新研究：SFT能泛化，只要满足这三个条件

上海 AI 实验室、上海交大和中科大的团队拿 Qwen3-14B-Base 做长思维链的监督微调实验，发现模型在训练 8 轮后，跨领域的表现会先跌后涨，最终超过原始水平。他们总结出泛化要成立的三个条件：一是得把模型训得足够深，不能浅尝辄止；二是训练数据的质量和结构要过关；三是基座模型本身的能力得够强。正文没披露具体用了什么数据集，也没给出跨领域任务的具...

推荐理由：这篇论文的卖点很清晰：SFT 不是不能泛化，但得满足优化、数据结构和基模型能力三个条件。我会先打个折，因为目前只是 Reddit 上的一个帖子，没有看到论文全文或代码，没法验证他们说的 8 个 epoch 先降后升是不是稳定复现。不过这个发现对做开源微调的人确实有用，尤其是用 Qwen3-14B 这类模型时，怎么配长思维链数据、训多久，这篇至少给了一个可参考的曲线。HKR 三项都过得比较轻松，但因为没有独立复现和完整 benchmark，分数就停在 76，不往上拉了。