End-to-End Context Compression at Scale

论文重新评估 encoder-decoder 式上下文压缩，目标是降低长上下文推理中 KV cache 的内存压力。作者做 architecture search 后，持续预训练 0.6B encoder、4B decoder 的 LCLM 系列，每个 1:4、1:8、1:16 压缩比例都训练超过 350B tokens；结果在质量、压缩速度和峰值内存上改善 Pareto frontier。它也把压缩模型接到长程 agent：agent 可先 skim 压缩上下文，再按需展开相关片段。