# 我在一张 RTX 3060 上给冻结的 1.4B Mamba 主干挂了 8 个推理专家臂，这是拆解报告

> 原标题：I bolted an 8-arm reasoning MoE onto a frozen 1.4B Mamba backbone on a single RTX 3060. Here’s the mechanistic autopsy of what broke and what worked.

- 来源：r/LocalLLaMA
- 发布时间：2026-06-01T02:05:46.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/30840
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1ttefnc/i_bolted_an_8arm_reasoning_moe_onto_a_frozen_14b/

## 摘要

作者用一张 12GB 显存的 RTX 3060 训练了一个叫 Mamba-Titan-1.4B-Reasoning 的模型。做法是把一个 1.4B 参数的 Mamba-1 主干完全冻结，只在第 24、25 层外挂了 8 个可训练的专家臂，组成一个总参数量 2.54B 的混合专家模型，每次推理只激活其中 2 个专家。数学题准确率大概做到 50%。

## 推荐理由

作者在单张 RTX 3060 上冻结 1.4B 的 Mamba 主干，只在第 24、25 层外挂 8 个可训练专家臂，把总参数做到 2.54B，每次推理只激活 2 个专家，数学题准确率约 50%。

## 锐评

冻结主干只训 8 个外挂专家臂，这个思路对消费级显卡挺友好，但 50% 的数学准确率说明它现在就是个玩具。1.4B 主干加 2.54B 总参数，每次只激活 2 个专家，省显存是真的，可推理能力没跟上。作者自己拆得清楚，失败在哪也写了，这种帖子比那些只晒跑分的强。想拿 3060 折腾 MoE 的可以看看，省得再踩一遍。不过没给训练时长和数据集，复现门槛还是高。
