# Kimi Linear：混合线性注意力架构，首次在公平对比下跑赢标准注意力

> 原标题：Kimi Linear: An Expressive, Efficient Attention Architecture

- 来源：Hacker News 首页
- 发布时间：2026-07-28T10:52:30.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/47137
- 原文：https://arxiv.org/abs/2510.26692

## 摘要

月之暗面 Kimi 团队发了一篇技术报告，提出 Kimi Linear 这个混合线性注意力架构。核心是一个叫 Kimi Delta Attention（KDA）的模块，它在 Gated DeltaNet 基础上加了更细粒度的门控，让有限的 RNN 记忆用得更高效。

## 推荐理由

月之暗面发布 Kimi Linear 混合线性注意力架构，其 KDA 模块在 Gated DeltaNet 上加入更细粒度门控，让有限的 RNN 记忆用得更高效。

## 锐评

KDA 这个门控设计有点意思，把 RNN 那点固定记忆按 token 重要性分配，线性注意力能少浪费容量。3B 激活跑长上下文，要真在公平对比下赢标准注意力，省下来的是推理时的 KV cache 和显存，这笔账不小。

现在只有 arxiv 预印本，分数是自家跑的，没有第三方复现，也没有落地时间表。架构论文到能用的模型中间隔着工程和训练成本，我暂时只当方向看。
