The Price of Anarchy in Disaggregated Inference

这篇论文把分离式 prefill/decode serving 建模为三类耦合博弈：prefill/decode 资源分配、层级 KV cache 上的 selfish caching，以及带正外部性的 request routing。作者以 NVIDIA Dynamo 为具体系统，在 3-node B200 cluster 上跑 Nemotron-4-340B 与 Llama-3.1-70B，并观察到 GPU saturation 会改变 payoff 结构。最有辨识度的数据来自 70B 1P/5D 拓扑：adaptive routing 在 saturated phase 把 PoA-hat 从 66.4 降到 21.5，约 3.1x 改善，但吞吐损失 13%；70B 1P/2D 上 PoA-hat 下降 2.2x，TTFT P99 下降 7.6x。