# Bebop：用拒绝采样做多token预测，把RL训练加速到1.8倍

> 原标题：Bebop：通过带拒绝采样的多token预测加速RL训练

- 来源：AI HOT 精选
- 发布时间：2026-06-10T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/37541
- 原文：https://arxiv.org/abs/2606.12370

## 摘要

阿里团队发现，用多token预测（MTP，一次猜好几个词）来加速强化学习训练时，模型在RL阶段会越来越“犹豫”（熵升高），导致猜对的接受率直线下降。他们先把这个现象量化了：模型熵和接受率呈明显负线性关系。接着给了三个解法：一是把贪心采样换成概率拒绝采样，让草稿更稳；二是提出端到端的TV损失函数，直接优化多步接受率，能再提约10个百分点，最高到95%。

## 推荐理由

阿里团队量化了多token预测在强化学习中的接受率下滑问题，并提出概率拒绝采样与TV损失函数，将接受率提升至最高95%。

## 锐评

接受率从不到 50% 拉回 95%，这个数比 1.8 倍加速好看。MTP 加速 RL 的坑就在这，模型越训越犹豫，草稿越猜越不准，加速比自然往下掉，阿里把熵和接受率的负线性关系量化出来，病根算是说清楚了。概率拒绝采样加 TV 损失，思路不新，落点准，直接优化多步接受率。只在自家模型上验的，别人复现能不能到 95% 另说，方向对。
