# RTPurbo：用几百步训练把全注意力模型转成稀疏推理，长上下文预填充快 9.36 倍

> 原标题：Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps

- 来源：r/LocalLLaMA
- 发布时间：2026-05-25T15:03:11.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/27021
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tnbskt/full_attention_strikes_back_transferring_full/

## 摘要

这篇论文提出 RTPurbo，能把原本用全注意力的模型改成稀疏注意力来跑推理，而且只需要几百步训练。做法是只给“检索头”保留完整的 KV 缓存，其他头用一个 16 维的 token 索引器来近似，相当于大幅压缩了要存要算的内容。在 100 万 token 的长上下文场景下，预填充阶段最高快了 9.36 倍，解码阶段快了约 2.01 倍。

## 推荐理由

RTPurbo 把全注意力模型改成稀疏推理，只给检索头保留完整 KV 缓存，其余头用 16 维索引器近似，几百步训练即可完成，在 100 万 token 场景下预填充最高快 9.36 倍。

## 锐评

几百步训练就能把全注意力转成稀疏推理，这个成本低到有点不真实，长上下文预填充快 9.36 倍，解码 2.01 倍，数字挺具体。但只有 Reddit 讨论，模型规模、任务、代码都没放出来，9.36 倍是在什么模型上测的、跟谁比，这些不交代，数字就只能先看着。检索头留全 KV、其他头用 16 维索引器近似，这个思路本身省显存，真能复现的话，长上下文推理的账会好算很多。现在能做的也就是等代码。
