我在一张 RTX 3060 上给冻结的 1.4B Mamba 主干挂了 8 个推理专家臂，这是拆解报告

I bolted an 8-arm reasoning MoE onto a frozen 1.4B Mamba backbone on a single RTX 3060. Here’s the mechanistic autopsy of what broke and what worked.

作者用一张 12GB 显存的 RTX 3060 训练了一个叫 Mamba-Titan-1.4B-Reasoning 的模型。做法是把一个 1.4B 参数的 Mamba-1 主干完全冻结，只在第 24、25 层外挂了 8 个可训练的专家臂，组成一个总参数量 2.54B 的混合专家模型，每次推理只激活其中 2 个专家。数学题准确率大概做到 50%。正文没披...

推荐理由：这是一篇 Reddit 个人实验帖，不是论文，也没有独立复现，所以我会先打个折。但它的价值在于把一次失败解剖写得清楚：在单张 RTX 3060 上，冻结 Mamba 主干、外挂 8 路 MoE 做推理，最后数学准确率卡在 50% 左右。正文没披露训练时长和具体数据集，这点信息有缺口。对想用消费级显卡折腾推理模型的从业者来说，这篇能省掉一次踩坑，属于低门槛、有参考意义的 featured 内容。