SubQ 1.1 Small 发布:用稀疏注意力把百万 token 长文本计算量砍掉 64.5 倍
Subquadratic – Introducing SubQ 1.1 Small
Subquadratic 放出了 SubQ 1.1 Small 的模型卡。它把传统注意力机制里那种“每个词都要和所有词算一遍关系”的密集计算,换成了按内容相关性动态路由的稀疏注意力(SSA),让计算量随文本长度线性增长,而不是平方级爆炸。
推荐理由:Subquadratic 发布 SubQ 1.1 Small 模型卡,用按内容相关性动态路由的稀疏注意力替代密集计算,使长文本计算量随长度线性增长而非平方级爆炸。