AI-Gateway

AI-Gateway 是 OpenAI/Groq 兼容的反向代理，通过语义缓存减少 LLM API 调用。README 写出四级匹配：exact、template、semantic、word overlap，并支持 Redis + in-memory fallback、多租户 cache、100 个并发相同请求去重、rate limiting、circuit breaker 和 cost tracking；示例配置的 vector similarity threshold 是 0.85。它适合重复问答比例高的应用，但缓存命中质量会直接决定是否引入陈旧或误配答案。