苹果把 Transformer 改成了 Mamba，推理成本从平方级压到线性

Transformer可以改装成Mamba了：苹果把推理成本直接打成线性

苹果发了一篇技术文章，讲怎么把一个训好的 Transformer 模型（Pythia-1B）蒸馏成 Mamba 架构，让推理时的计算量从平方级降到线性。他们没直接硬蒸，因为直接蒸效果会崩（困惑度直接飙到 100 以上）。实际分了两步：先把 Transformer 的注意力换成一种叫 Hedgehog 的线性注意力，让模型适应线性计算；再把这个中间模型映...

推荐理由：我会先打个折：这还是个论文结果，不是已经落地的产品。但路线本身有意思——不是从头训 Mamba，而是把现成的 Transformer 蒸馏过去，省了大量训练成本。正文给出的下游任务（ARC、PIQA、BoolQ 等）说接近教师，但没放具体数字，这点先别太激动。如果真能在长上下文场景把推理成本压到线性，对需要处理长文档或长对话的产品是实打实的省钱。