BerriAI/litellm

LiteLLM 是 OpenAI-compatible LLM gateway/SDK，覆盖 100+ 模型 API，并支持 cost tracking、guardrails、load balancing、logging。仓库描述列出的后端包括 Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、SageMaker、HuggingFace、vLLM、NVIDIA NIM 等。它的工程价值在于把多模型接入、预算控制、fallback 和审计统一到代理层，让应用侧尽量维持 OpenAI 格式。随着企业同时采购多家模型，LLM gateway 从便利库变成生产架构组件。