Transformer 真的需要 Q、K、V 三套投影吗？这篇论文系统测了三种共享方案

Do transformers need three projections? Systematic study of QKV variants

这篇 ICML 2026 的论文直接动手试了三种省参数的方案：让 Key 和 Value 共用一套投影（Q-K=V）、让 Query 和 Key 共用（Q=K-V），以及三者全共用（Q=K=V）。后两种会让注意力图变成对称的，作者用 2D 位置编码来打破对称性。实验覆盖了合成任务、图像分类和语言模型，最大跑到 12 亿参数、100 亿 token 的训...

推荐理由：这篇 ICML 2026 论文没搞理论推导，直接动手试了三种省投影的方案：Key 和 Value 共用一套（Q-K=V）、Query 和 Key 共用（Q=K-V），以及三者全共用（Q=K=V）。后两种会让注意力图变成对称的，作者用 2D 位置编码来打破对称性。实验从合成任务一路做到 12 亿参数的语言模型，最大跑了 100 亿 token。结果挺实在：Q-K=V 方案在语言模型上几乎不掉点，但 KV 缓存直接砍半，推理成本能省不少。不过这是架构研究，不是落地产品，而且论文里没提法案文本和执行时间表——那部分只是公开信呼吁，还没变成法律。所以放在 ...