大模型预测太短视？Next-ToBE 让模型多看几步，ICLR 2026 新方法在 36 项测试里赢了 35 次

大模型自信且短视！Next-ToBE破除Next Token预测诅咒 | ICLR'26

华东师大和复旦的研究者发现，现在大模型训练时只盯着“下一个词”来猜，容易让模型变得自信但目光短浅。他们提出 Next-ToBE，训练时给模型一个“软目标”，让它同时参考未来几个词的信息，但推理时不用改，还是正常的逐词生成。在 Qwen2.5-Math-1.5B、Qwen2.5-Math-7B 和 Llama3.1-8B-Instruct 上跑了 36 ...

推荐理由：这篇论文的卖点很清晰：不碰模型结构，只把训练时“猜下一个词”的目标换成“看未来一小段窗口的软目标”，就在36组实验里赢了35组。我会先打个折——正文没披露用了多大的模型、什么规模的数据，也没给复现细节或生产环境的验证，所以目前只能当学术信号看。如果是真的，这种改目标不改架构的思路确实省钱，但别急着把它当成下一个训练范式。