# 把 prompt 缓存用到强化学习训练里：长提示短回复场景下，Qwen3.5-4B 训练速度提升 7.5 倍

> 原标题：prompt caching, but for rl training - 7.5x speedup on long-prompt/short-response workloads

- 来源：r/LocalLLaMA
- 发布时间：2026-05-11T21:01:45.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/17665
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tage06/prompt_caching_but_for_rl_training_75x_speedup_on/

## 摘要

作者提出在强化学习训练时复用 prompt 缓存，专门针对那种提示很长、模型回复很短的任务。在 Qwen3.5-4B 上跑 16k token 提示、64 token 回复的例子，训练速度直接快了 7.5 倍。

## 推荐理由

作者把推理阶段的 prompt 缓存思路搬进强化学习训练，针对长提示短回复任务复用重复 token 计算，在 Qwen3.5-4B 上跑 16k 提示、64 token 回复时训练速度提升 7.5 倍。

## 锐评

7.5 倍这个数只在 16k 提示配 64 token 回复这种极端比例下成立，G=8 时实际要算的 token 从 8800 掉到 1800，去重率八成，快是应该的。问题是真实 RL 任务里回复很少短到 64 token，稍微长一点缓存省下的那部分就被稀释了，收益掉得比想象快。

思路本身没毛病，同一组 prompt 反复采样本来就该缓存，推理侧早就在做的事搬到训练侧而已。但没代码没论文，7.5 倍先当上限看，等有人复现了再决定要不要改自己的采样流程。
