Separating signal from noise in coding evaluations

OpenAI 文章讨论代码评测中如何区分模型能力信号与评测噪声。核心问题包括任务采样、判分器、执行环境、随机性和基准污染，它们都会让一个总分看起来比实际更确定。对于 coding model 发布，这篇的价值在于提醒读者看 eval 时要追问置信区间、复现路径和失败样本。