NVIDIA-NeMo/Switchyard
github.com原文 ↗
Switchyard 是 Rust proxy/library,路由跨 provider 的 LLM 请求,转换 OpenAI Chat、OpenAI Responses 和 Anthropic Messages,并用 Prometheus 记录请求、错误、延迟、token 与路由开销。它支持 random、LLM classifier、stage router 和自定义算法,但 README 明确标成 pre-alpha、暂不适合生产。
–浏览
评论 · Comments