返回本期 · Back to 2026-08-16 开源 / 项目 · Projects2026-08-16 · Sunday, August 16, 2026 Kvcachescope github.com原文 ↗ 可观测性与调试上下文工程系统·基础设施 Kvcachescope 钩住 vLLM、SGLang 的 PagedAttention 分配器,记录请求块表、虚拟 token、引用计数以及前缀缓存的 radix tree。`nvidia-smi` 只能报告显存占用,这个工具则能指出状态分歧、未释放引用和僵尸块,并以 10 Hz WebSocket 更新界面。它还提供“零僵尸块”的 CI 断言和 Perfetto 导出,使 KV cache 问题可以从临场观察进入回归测试。 –浏览 –点赞 复制链接 评论 · Comments
评论 · Comments