vLLM: Anatomy of a High-Throughput LLM Inference System
aleksagordic.com原文 ↗
这篇代码级导读基于 vLLM V1，解释其默认以 16-token 块管理 KV cache，并把连续批次中的不同请求铺成 supersequence，再由分页注意力按块访问。
–浏览
aleksagordic.com原文 ↗
评论 · Comments