Beyond a Single Number: Evaluating Quantized Models for Deployment

文章主张量化模型不能只看平均 benchmark 分数，还要联合测试任务质量、首 token 延迟、吞吐、显存、长上下文退化和目标硬件 kernel 行为。相同 bit 数在不同量化格式与运行时上可能产生完全不同的部署结果；作者给出的框架更接近容量规划，而不是挑一个排行榜最高的文件。