triton-inference-server/server

NVIDIA Triton Inference Server 是开源推理服务系统，面向云端和边缘部署。README 提醒 main branch 跟踪下一版本开发，当前 release 为 2.70.0，对应 NVIDIA GPU Cloud 的 26.06 container release。它的核心价值是统一管理多模型、多框架推理、动态 batching 和生产部署接口。