跳到正文
Hacker News 首页

Kimi Linear:混合线性注意力架构,首次在公平对比下跑赢标准注意力

Kimi Linear: An Expressive, Efficient Attention Architecture

月之暗面 Kimi 团队发了一篇技术报告,提出 Kimi Linear 这个混合线性注意力架构。核心是一个叫 Kimi Delta Attention(KDA)的模块,它在 Gated DeltaNet 基础上加了更细粒度的门控,让有限的 RNN 记忆用得更高效。

推荐理由:月之暗面发布 Kimi Linear 混合线性注意力架构,其 KDA 模块在 Gated DeltaNet 上加入更细粒度门控,让有限的 RNN 记忆用得更高效。

读原文 ↗导出 Markdown