Bebop:用拒绝采样做多token预测,把RL训练加速到1.8倍
Bebop:通过带拒绝采样的多token预测加速RL训练
阿里团队发现,用多token预测(MTP,一次猜好几个词)来加速强化学习训练时,模型在RL阶段会越来越“犹豫”(熵升高),导致猜对的接受率直线下降。他们先把这个现象量化了:模型熵和接受率呈明显负线性关系。接着给了三个解法:一是把贪心采样换成概率拒绝采样,让草稿更稳;二是提出端到端的TV损失函数,直接优化多步接受率,能再提约10个百分点,最高到95%。
推荐理由:阿里团队量化了多token预测在强化学习中的接受率下滑问题,并提出概率拒绝采样与TV损失函数,将接受率提升至最高95%。