The efficient frontier of LLM inference

Baseten 将推理优化分成两类：batch size、并行策略和量化是在延迟/吞吐前沿上选点，kernel 优化、投机解码、prefill/decode 解耦则把整条前沿外推。作者提醒真实前沿是锯齿状的，必须扫参数找拐点；量化还同时移动质量与服务效率边界。