RedKnot

RedKnot 针对长上下文 LLM serving 中 KV cache 成为主瓶颈的问题提出系统方案。摘要列出 KV cache 对 GPU memory capacity、serving concurrency、cache reuse 和 distributed scalability 的限制，并把 position-independent KV cache、prefix compression、hot/cold KV 管理等问题放在同一框架中。head-aware KV reuse 与 SegPagedAttention 的组合说明，长上下文优化正在从模型侧技巧转向服务端内存体系设计。