# Kimi K3 架构解读：2.8 万亿参数开源模型，全身都是为推理省钱的改造

> 原标题：Kimi K3 Architecture Overview and Notes

- 来源：Hacker News 首页
- 发布时间：2026-07-28T15:48:34.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/47176
- 原文：https://sebastianraschka.com/blog/2026/kimi-k3-architecture-notes.html

## 摘要

Sebastian Raschka 拆解了刚发布的 Kimi K3 架构。这个 2.8 万亿参数的开源模型是从去年 48B 的 Kimi Linear 放大来的，目前是最大的开源权重模型。设计上几乎全在给推理阶段省成本：用 LatentMoE 把大线性层压缩起来，类似给模型瘦身；标准注意力换成了多头潜在注意力和 Kimi Delta 注意力。

## 推荐理由

Sebastian Raschka 拆解了 Kimi K3 的架构，从 48B 的 Kimi Linear 放大到 2.8 万亿参数，重点说明 LatentMoE 与两种注意力改造如何降低推理成本。
