把 prompt 缓存用到强化学习训练里:长提示短回复场景下,Qwen3.5-4B 训练速度提升 7.5 倍
作者提出在强化学习训练时复用 prompt 缓存,专门针对那种提示很长、模型回复很短的任务。在 Qwen3.5-4B 上跑 16k token 提示、64 token 回复的例子,训练速度直接快了 7.5 倍。
推荐理由:作者把推理阶段的 prompt 缓存思路搬进强化学习训练,针对长提示短回复任务复用重复 token 计算,在 Qwen3.5-4B 上跑 16k 提示、64 token 回复时训练速度提升 7.5 倍。