Adaptive Filtering of the KV Cache: Diagnosing and Correcting Structural-Role Bias in LLM Inference

论文分析 H2O 及其后继的 attention-based KV cache eviction：用累积 attention mass 排名 token，把高“能量”的 token 保留下来。作者指出在 nested JSON 等 schema-dense 输入中，这种排序会形成 structural-role bias，过度保留结构符号而挤压语义内容。它把 long-context 推理故障落到 cache 过滤机制上，给出了比“上下文太长”更可调的解释。