Kimi K3 架构解读：2.8 万亿参数开源模型，全身都是为推理省钱的改造

Kimi K3 Architecture Overview and Notes

Sebastian Raschka 拆解了刚发布的 Kimi K3 架构。这个 2.8 万亿参数的开源模型是从去年 48B 的 Kimi Linear 放大来的，目前是最大的开源权重模型。设计上几乎全在给推理阶段省成本：用 LatentMoE 把大线性层压缩起来，类似给模型瘦身；标准注意力换成了多头潜在注意力和 Kimi Delta 注意力；还把 Ro...

推荐理由：Raschka 把 Kimi K3 的架构拆得很细，重点全在推理阶段怎么省钱：用 LatentMoE 压缩大线性层、换掉标准注意力、还改了 RoPE 的用法。不是官方通稿，是工程师视角的解读，对实际干活的人参考价值大。没给更高分是因为这是第三方技术分析而非一手发布，部分读者可能觉得太硬。