# 阿里 RTPurboV2：用几百步训练把注意力计算砍掉九成，原生 Transformer 又硬气了一回

> 原标题：阿里RTPurboV2：原生Transformer再次崛起，百步训练实现10倍稀疏注意

- 来源：机器之心 · 公众号
- 发布时间：2026-06-08T02:07:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/36573
- 原文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651037653&idx=1&sn=9a9352fb7a5ce8b8e51baea10016f3fa

## 摘要

阿里 RTP 团队发了 RTPurboV2，思路很直接：把模型里 85% 的注意力头换成滑动窗口注意力（SWA），剩下 15% 负责长距离检索的头用低秩投影、聚类和动态 top-p 压缩。适配训练只要大概 600 步、约 100 万条标注 token，Prefill 阶段推理加速最高到 9.36 倍。

## 推荐理由

阿里 RTP 团队把模型 85% 的注意力头换成滑动窗口注意力，适配训练约 600 步、100 万条 token，Prefill 阶段推理加速最高 9.36 倍。

## 锐评

600 步训练就把注意力砍掉九成，这个训练成本低到有点不真实，正常做长上下文适配烧的卡时不止这个量级。85% 的头换 SWA、15% 留长距离检索，这个配比挺务实，长上下文部署里大部分头本来就在看附近几十个 token，砍掉不心疼。9.36 倍这个数先放着，材料里连模型规模和测的序列长度都没有，加速比在什么条件下跑出来的说不清。思路对做推理部署的人有参考价值，数字等有完整实验再认。
