TensorZero

TensorZero 是一套自托管 LLMOps 平台，覆盖 gateway、observability、evaluation、optimization、experimentation。README 给出的工程面包括 <1ms p99 gateway latency、OpenAI SDK 兼容、OpenTelemetry、主流 provider 接入、A/B testing、routing、fallback、retry 和 playground。它的产品判断很清楚：把评测和观测留在同一条 inference 数据链上，才有可能用生产反馈持续优化 prompts、models 和 inference strategies。