SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference

SparDA 把稀疏注意力里两个长期问题放在一起：KV cache 随长度增长撑爆显存，sparse selection 本身仍可能保持 O(T^2) 并在长上下文里成为主成本。它在 Query、Key、Value 之外加入每层 Forecast 投影，预测下一层需要的 KV blocks，让 CPU-to-GPU prefetch 和当前层计算重叠；GQA 实现中每个 group 只用一个 Forecast head，进一步降低 selector overhead。论文称新增参数低于 0.5%，在两个 8B sparse-pretrained 模型上取得最高 1.25x prefill、1.7x decode 加速，并在更大 feasible batch 下相对 non-offload sparse baseline 达到最高 5.3x decode throughput。它的技术含义是长上下文 sparse attention 的瓶颈已经从“少算点 attention”扩展到“内存层级和选择器也要一起调度”。