SIE
github.com原文 ↗
SIE 是自托管的 agent 推理集群,用一套 OpenAI-compatible API 服务检索、文档转 Markdown、结构化输出、内容安全和 agent loop。它按需加载并 LRU 淘汰 100 多个模型,目录含 Stella、SPLADE、Qwen3、GLiNER、SigLIP,并附 Kubernetes/Helm、KEDA 和 Grafana 部署配置。对 LangChain、LlamaIndex、Haystack、CrewAI、Chroma、Qdrant、Weaviate、LanceDB 的集成,说明项目把“模型服务器”当成整条 agent 基础设施而不是单一推理端点。
–浏览
评论 · Comments