SGLang 和 Miles 在发布当天就接住了月之暗面 2.8 万亿参数 Kimi K3 模型
SGLang 和 Miles 为月之暗面 2.8T 参数 Kimi K3 模型提供发布当日支持
Kimi K3 是个 2.8 万亿参数的混合模型,架构上把大多数推理框架的默认假设都打破了。SGLang 和 NVIDIA 合作,在发布当天就搞定了推理支持,Miles 则负责强化学习训练。核心工作包括:为 KDA 线性注意力和 MLA 这两种状态重写了内存管理,让那个会自我覆盖的循环状态也能用上前缀缓存和投机解码。
推荐理由:SGLang 与 NVIDIA 在 Kimi K3 发布当天完成 2.8 万亿参数模型的推理支持,Miles 承担强化学习训练,并公开了 KDA 线性注意力与 MLA 的内存管理改法。