Transformer 真的需要 Q、K、V 三套投影吗?这篇论文系统测了三种共享方案
Do transformers need three projections? Systematic study of QKV variants
这篇 ICML 2026 的论文直接动手试了三种省参数的方案:让 Key 和 Value 共用一套投影(Q-K=V)、让 Query 和 Key 共用(Q=K-V),以及三者全共用(Q=K=V)。后两种会让注意力图变成对称的,作者用 2D 位置编码来打破对称性。
推荐理由:这篇 ICML 2026 论文系统测试了三种共享 Q、K、V 投影的省参数方案,并针对后两种方案注意力图对称的问题引入 2D 位置编码来打破对称性。