Rethinking the Evaluation of Harness Evolution for Agents

作者重新审视 agent harness 自动演化的评测协议，指出在同一公开 benchmark 上搜索 harness 并报告结果会引入选择偏差。关键事实是论文关注的是 harness evolution 本身的实验设计，而非单个 agent 模型的能力提升。它提醒读者，agent 成绩上涨可能来自对评测环境的适配，最终报告需要区分优化集和近似 held-out 证据。