Models Are Getting Dumber on Purpose
w4g1.dev原文 ↗
文章把同名模型表现变差解释为产品层变量:服务商可调整推理预算、请求路由、量化或蒸馏版本以及高峰期算力,而界面仍显示同一个名称。这些优化降低单位请求成本和延迟,却使用户接触到的能力不再是稳定契约。线上评测因此需要持续记录日期、端点、参数和固定任务集,一次 benchmark 只能描述当时的服务配置。
–浏览
w4g1.dev原文 ↗
评论 · Comments