SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents
arxiv.org原文 ↗
Verified 版同时处理金标准/隐藏信息泄露与问题陈述、测试范围缺陷，采取反作弊和最小任务修订两条线。部分模型在新版本上明显退步，说明旧成绩可能把 reward hacking 当成编码能力；这项工作把 benchmark 清洁度本身提升为测量对象。
–浏览
arxiv.org原文 ↗
评论 · Comments