每日 Harness 开源 · Source
返回本期 · Back to 2026-08-18

论文 · Papers2026-08-18 · Tuesday, August 18, 2026

A Year in LLM Serving: Workload Evolution, Caching and Load-Balancing

arxiv.org原文 ↗

A Year in LLM Serving: Workload Evolution, Caching and Load-Balancing
作者分析 Chutes 一整年的生产推理轨迹,从总体、时间、模型和用户四个视角描述负载如何演化。
浏览

评论 · Comments