LMCache

LMCache 是 LLM 推理侧的 KV cache management layer，目标是在请求之间、多进程和多节点环境里复用 cache，减少重复 prefill 成本。README 摘要强调 scalable LLM inference，并把近期更新集中在 agentic workload benchmark、multiprocess architecture 和 multi-node P2P cache。随着 Agent 任务变长、重复上下文增多，KV cache 不再只是单请求优化，而会影响 serving topology、调度策略和总成本曲线。