JustFit: 200K-Token LLM Serving on a 24 GiB Laptop with Just-in-Time State Management

JustFit 在 MLX runtime 中组合 KVExec、PhaseSwap 和 StateTrans：前者执行 KV 管理，后两者分别处理阶段性权重换入和状态迁移。Qwen3.8-27B MXFP4 在 24 GiB M4 Pro 上把上下文从 30,720 扩到 212,992 token（6.93 倍），两请求合计可达 229,376 token；探测请求报告 19.11 tok/s，AIME 2026 得分 29/30。论文证明瓶颈可由“即时状态调度”而非单纯量化解决，但结果仍绑定 MLX、特定芯片和模型布局。