Beyond Pass@k

作者指出一些编码代理评测把单元测试数误当独立 rollout 数，导致 pass@k 从正确的 0 - 0.12 被夸大到 0.96 - 0.98。单一代理分数与严格代理成功率的 Spearman 相关仅 0.417；在 5 个 SWE-bench 样本的试验中，隐藏测试通过率为 0.80，严格全通过率却只有 0.20。论文把可靠性、安全性和统计单位放到同一评测框架中，也提醒当前安全调整尚不足以稳定改变排行榜次序。