Information-Aware KV Cache Compression for Long Reasoning

InfoKV 不只看 attention weight，而是加入 token predictive uncertainty 与 layer-wise representation evolution，捕获对远期上下文更有影响的 token。论文提出 Forward Influence，指出 attention 选中的 token 主要影响近邻上下文，而高不确定性 token 对远距离未来上下文更关键；在 Llama-3.1、Llama-3.2、DeepSeek-R1 的长推理场景中超过 attention-based KV 压缩。技术看点在于它把 cache compression 从“相关性裁剪”推进到“信息保留”。