Busbar
github.com原文 ↗
Busbar 是一个 Rust LLM gateway,把现有 SDK 指向同一个 base URL 后,通过配置把 `model: "fast"` 映射到多个 provider pool。README 里最具体的机制包括 smooth weighted round-robin、per-pool circuit breaker、mid-request failover、session affinity、context-length failover,以及六类协议和 42 个 vetted providers。它把自己定位成单个 7.4MB 静态二进制,启动低于 15ms,并把 SSRF-safe upstream、constant-time token comparison、SHA-256 virtual keys 等安全细节放在请求路径设计里。
–浏览
评论 · Comments