gpustack/gpustack

GPUStack 管理本地、Kubernetes 和云上的多 GPU 集群，以插件方式编排 vLLM、SGLang、TensorRT-LLM 或自定义引擎，并提供故障恢复、负载均衡、权限和按需 SSH 实例。它把 LMCache、HiCache、EAGLE3、MTP、N-grams 等优化接到低延迟/高吞吐路径，同时兼容 NVIDIA、AMD、Ascend、Hygon 并暴露 Prometheus/Grafana 观测接口。