LLMhop
github.com原文 ↗
LLMhop 是一个 Go 写的无状态 OpenAI-compatible router,读取请求体里的 `model` 字段后转发到对应后端。README 明确它服务 vLLM、sglang、TabbyAPI、Ollama、LocalAI、OpenRouter 等后端,但核心仍是单模型 inference server 前面的薄网关。它没有数据库、cache 或 background worker,零第三方依赖;适合自托管模型集群里用最小组件统一入口。
–浏览
评论 · Comments