Kimi Linear：混合线性注意力架构，首次在公平对比下跑赢标准注意力

Kimi Linear: An Expressive, Efficient Attention Architecture

月之暗面 Kimi 团队发了一篇技术报告，提出 Kimi Linear 这个混合线性注意力架构。核心是一个叫 Kimi Delta Attention（KDA）的模块，它在 Gated DeltaNet 基础上加了更细粒度的门控，让有限的 RNN 记忆用得更高效。他们训了一个总参数 48B、激活 3B 的 MoE 模型，把 KDA 和多头隐式注意力（M...

推荐理由：月之暗面这次没发产品，发的是架构论文，Kimi Linear把线性注意力和MoE揉在一起，48B总参、3B激活的模型在长上下文和推理上表现不错。KDA的门控设计让RNN记忆用得更省，这点挺巧。不过目前只是arxiv预印本，没有产品落地时间表，实际效果还得看社区复现和第三方评测，所以分数先打个折，不往更高给。