Cache-Aware Prompt Compression:A Two-Tier Cost Model for LLM API Caching

论文指出生产 LLM 成本同时受 prompt caching 与 prompt compression 影响，而 query-aware compression 会机械破坏 prefix-strict cache。作者在 Anthropic Sonnet 4.6 上测到两层 cache 结构：约 3,500 tokens 是阈值，低于阈值的 30-call session hit rate 停在约 0.83。CAPC 在 LongBench-v2 的 16/16 配置中最便宜，平均相对 cache-only 省 49%、相对 query-aware compression 省 64%，且质量距未压缩 baseline 不超过 0.05。