colomalabs/coloma

Coloma 是自托管 LLM 的验证和调优层，README 强调用实测数据选择 vLLM 配置。它的 tuner 会测延迟、吞吐、并发和 OOM 风险，帮助区分低单用户延迟与最大系统吞吐两种优化目标。项目有价值的地方在于把“模型能跑起来”推进到“部署前知道容量边界在哪里”。