SGLang 和 Miles 在发布当天就接住了月之暗面 2.8 万亿参数 Kimi K3 模型

SGLang 和 Miles 为月之暗面 2.8T 参数 Kimi K3 模型提供发布当日支持

Kimi K3 是个 2.8 万亿参数的混合模型，架构上把大多数推理框架的默认假设都打破了。SGLang 和 NVIDIA 合作，在发布当天就搞定了推理支持，Miles 则负责强化学习训练。核心工作包括：为 KDA 线性注意力和 MLA 这两种状态重写了内存管理，让那个会自我覆盖的循环状态也能用上前缀缓存和投机解码；用专门为 K3 训练的 DSpark...

推荐理由：我会先打个折，因为这篇文章本质上是工程适配记录，不是对 Kimi K3 模型能力本身的评测。但发布当天就搞定 2.8T 参数模型的推理和训练支持，还公开了 KDA 内存管理、统一内存池、投机解码这些具体做法，对从业者来说信息密度够高。第一句直接点出当天支持这个事实，然后解释为什么难、怎么做、谁用得上，不补设定，不写公关词。