苹果把 Transformer 改成了 Mamba,推理成本从平方级压到线性
Transformer可以改装成Mamba了:苹果把推理成本直接打成线性
苹果发了一篇技术文章,讲怎么把一个训好的 Transformer 模型(Pythia-1B)蒸馏成 Mamba 架构,让推理时的计算量从平方级降到线性。他们没直接硬蒸,因为直接蒸效果会崩(困惑度直接飙到 100 以上)。实际分了两步:先把 Transformer 的注意力换成一种叫 Hedgehog 的线性注意力,让模型适应线性计算。
推荐理由:苹果把已训好的 Pythia-1B 分两步蒸馏成 Mamba 架构,推理计算量从平方级降到线性,为现成 Transformer 转线性注意力提供了一条可复用的路径。