RTPurbo：用几百步训练把全注意力模型转成稀疏推理，长上下文预填充快 9.36 倍

Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps

这篇论文提出 RTPurbo，能把原本用全注意力的模型改成稀疏注意力来跑推理，而且只需要几百步训练。做法是只给“检索头”保留完整的 KV 缓存，其他头用一个 16 维的 token 索引器来近似，相当于大幅压缩了要存要算的内容。在 100 万 token 的长上下文场景下，预填充阶段最高快了 9.36 倍，解码阶段快了约 2.01 倍。正文没披露具体用...

推荐理由：我会先打个折：目前只有 Reddit 讨论，正文没披露模型规模、具体任务和代码，验证强度偏弱。但“几百步把全注意力转稀疏”这个思路本身挺省钱的，数字也够具体，对做长上下文推理优化的人值得看一眼。信息缺口明显，所以分数没往上拉。