# Transformer 真的需要 Q、K、V 三套投影吗？这篇论文系统测了三种共享方案

> 原标题：Do transformers need three projections? Systematic study of QKV variants

- 来源：Hacker News 首页
- 发布时间：2026-06-04T23:11:56.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/34382
- 原文：https://arxiv.org/abs/2606.04032

## 摘要

这篇 ICML 2026 的论文直接动手试了三种省参数的方案：让 Key 和 Value 共用一套投影（Q-K=V）、让 Query 和 Key 共用（Q=K-V），以及三者全共用（Q=K=V）。后两种会让注意力图变成对称的，作者用 2D 位置编码来打破对称性。

## 推荐理由

这篇 ICML 2026 论文系统测试了三种共享 Q、K、V 投影的省参数方案，并针对后两种方案注意力图对称的问题引入 2D 位置编码来打破对称性。

## 锐评

Q-K=V 这个方案值得认真看，KV 缓存砍半是实打实的推理成本，12 亿参数、100 亿 token 的规模上几乎不掉点，这个量级已经能说明问题。做长 context 服务的，KV 缓存就是显存和并发数的天花板，砍一半等于同样的卡多塞一倍请求。三种方案里只有这一种没把注意力图搞成对称，另外两种得靠 2D 位置编码去补，补出来的效果论文自己也没说多好。反正架构层面的东西离落地还远，但这个方向我信。
