# Kimi K3 架构解读：2.8 万亿参数开源模型，全身都是为推理省钱的改造

> 原标题：Kimi K3 Architecture Overview and Notes

- 来源：Hacker News 首页
- 发布时间：2026-07-28T15:48:34.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/47176
- 原文：https://sebastianraschka.com/blog/2026/kimi-k3-architecture-notes.html

## 摘要

Sebastian Raschka 拆解了刚发布的 Kimi K3 架构。这个 2.8 万亿参数的开源模型是从去年 48B 的 Kimi Linear 放大来的，目前是最大的开源权重模型。设计上几乎全在给推理阶段省成本：用 LatentMoE 把大线性层压缩起来，类似给模型瘦身；标准注意力换成了多头潜在注意力和 Kimi Delta 注意力；还把 Ro...

## 推荐理由

Raschka 把 Kimi K3 的架构拆得很细，重点全在推理阶段怎么省钱：用 LatentMoE 压缩大线性层、换掉标准注意力、还改了 RoPE 的用法。不是官方通稿，是工程师视角的解读，对实际干活的人参考价值大。没给更高分是因为这是第三方技术分析而非一手发布，部分读者可能觉得太硬。