每日 Harness 开源 · Source
返回本期 · Back to 2026-08-16

开源 / 项目 · Projects2026-08-16 · Sunday, August 16, 2026

Kvcachescope

github.com原文 ↗

Kvcachescope
Kvcachescope 钩住 vLLM、SGLang 的 PagedAttention 分配器,记录请求块表、虚拟 token、引用计数以及前缀缓存的 radix tree。`nvidia-smi` 只能报告显存占用,这个工具则能指出状态分歧、未释放引用和僵尸块,并以 10 Hz WebSocket 更新界面。它还提供“零僵尸块”的 CI 断言和 Perfetto 导出,使 KV cache 问题可以从临场观察进入回归测试。
浏览

评论 · Comments