# 苹果把 Transformer 改成了 Mamba，推理成本从平方级压到线性

> 原标题：Transformer可以改装成Mamba了：苹果把推理成本直接打成线性

- 来源：机器之心 · 公众号
- 发布时间：2026-04-22T03:30:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/8958
- 原文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651029279&idx=2&sn=5a0e44d0677bd29c08923906bf7ba28d

## 摘要

苹果发了一篇技术文章，讲怎么把一个训好的 Transformer 模型（Pythia-1B）蒸馏成 Mamba 架构，让推理时的计算量从平方级降到线性。他们没直接硬蒸，因为直接蒸效果会崩（困惑度直接飙到 100 以上）。实际分了两步：先把 Transformer 的注意力换成一种叫 Hedgehog 的线性注意力，让模型适应线性计算。

## 推荐理由

苹果把已训好的 Pythia-1B 分两步蒸馏成 Mamba 架构，推理计算量从平方级降到线性，为现成 Transformer 转线性注意力提供了一条可复用的路径。

## 锐评

苹果把训好的 Transformer 蒸成 Mamba，省掉从头训一遍的钱，这个路线我信。直接蒸困惑度飙到 100 以上，得先换成 Hedgehog 线性注意力过渡，两步走才成立。推理成本从平方级压到线性，长上下文场景的账会好看很多。ARC、PIQA、BoolQ 只说接近教师，具体数字没放，1B 这个量级也撑不起大模型上的结论。当路线看，别当产品看。
