Do transformers need three projections? Systematic study of QKV variants

论文不是简单裁剪 attention，而是系统比较 Q-K=V、Q=K-V、Q=K=V 三类投影共享约束，并解释为什么共享 K/V 比共享 Q/K 更保留方向性。实验覆盖合成任务、MNIST/CIFAR/TinyImageNet/anomaly 视觉任务，以及 300M 和 1.2B 参数模型在 10B tokens 上的语言建模。最有工程含义的结果是 Q-K=V 把 KV cache 减半，perplexity 只退化 3.1%；与 GQA-4、MQA 叠加后 cache reduction 可到 87.5% 和 96.9%，使它更像 edge inference 的 attention weight tying 方案。