FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads

论文发布生产级 LLM 在线服务数据集，把请求、用户反馈、服务器指标和系统可观测数据按统一时间线对齐，并据此分析到达模式、模型路由、时延与硬件利用率之间的关系。数据来自多个国家和地区、不同业务场景及多种服务架构，而不是实验室合成流量。其价值在于让请求调度、自动扩缩容和性能建模首次能在细粒度真实负载上复现与比较。