RTPurbo:用几百步训练把全注意力模型转成稀疏推理,长上下文预填充快 9.36 倍
Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps
这篇论文提出 RTPurbo,能把原本用全注意力的模型改成稀疏注意力来跑推理,而且只需要几百步训练。做法是只给“检索头”保留完整的 KV 缓存,其他头用一个 16 维的 token 索引器来近似,相当于大幅压缩了要存要算的内容。在 100 万 token 的长上下文场景下,预填充阶段最高快了 9.36 倍,解码阶段快了约 2.01 倍。
推荐理由:RTPurbo 把全注意力模型改成稀疏推理,只给检索头保留完整 KV 缓存,其余头用 16 维索引器近似,几百步训练即可完成,在 100 万 token 场景下预填充最高快 9.36 倍。