SPORK: Self-Speculative Forking to Accelerate Agentic LLM Inference

SPORK 观察到 agent 循环中工具调用等待会让模型推理链路空转，于是提出 self-speculative forking。模型在等待真实工具结果时先 fork 出多个可能后续分支，等结果返回后再保留可用路径。这个方法抓住的是 agentic inference 的端到端延迟，而不是单次 token 解码速度。