Kimi K3 架构解读:2.8 万亿参数开源模型,全身都是为推理省钱的改造
Kimi K3 Architecture Overview and Notes
Sebastian Raschka 拆解了刚发布的 Kimi K3 架构。这个 2.8 万亿参数的开源模型是从去年 48B 的 Kimi Linear 放大来的,目前是最大的开源权重模型。设计上几乎全在给推理阶段省成本:用 LatentMoE 把大线性层压缩起来,类似给模型瘦身;标准注意力换成了多头潜在注意力和 Kimi Delta 注意力。
推荐理由:Sebastian Raschka 拆解了 Kimi K3 的架构,从 48B 的 Kimi Linear 放大到 2.8 万亿参数,重点说明 LatentMoE 与两种注意力改造如何降低推理成本。