The Benchmarkpocalypse
danluu.com原文 ↗
Dan Luu 将性能评测失真拆成工作负载挑选、机器配置、统计口径、基线不等价和只展示有利切片等机制,问题根源是激励而非某个单一 benchmark。文章建议在接受排名前追问原始数据、运行脚本、方差和失败样本。它提供的是一套阅读性能声明的方法论,尤其适用于厂商数字远多于独立复现的领域。
–浏览
danluu.com原文 ↗
评论 · Comments