Calibrate, Then Route: A Measured Study of Learned Request Routing for Disaggregated LLM Serving

研究将提示长度、预测输出长度、KV 压力和 SLO 一起交给分离式 serving 路由器，再用校准修正实例级完成时间估计。8 张 A40、vLLM 与 NIXL 的实验中，路由 goodput 为 0.864，高于对照的 0.835 - 0.847；校准带来 4.5 个百分点收益，并把尾延迟优势扩大到约 40%。一个实用结论是，六卡的智能路由可匹敌七卡轮询，但模型误差和负载分布变化仍会改变结论。