Mantis 给小团队提供一个自托管 LLM gateway,把 provider-specific logic 收敛到单一 chat-completions API 后面。README 列出 configurable routing、fallback chains、retries、timeouts、cooldowns、exact/semantic caching、AWS Bedrock guardrails 和 CloudWatch observability。它不是模型能力项目,而是把多模型应用中的运维面、合规面和成本面集中到 gateway 层。
–浏览
评论 · Comments