NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

NatureBench 从 Nature 系列论文蒸馏 90 个跨学科任务，用标准化容器环境评估 coding agents 能否复现或超过已发表 SOTA。10 个 frontier agent config 在禁用 web search 条件下测试，最强模型按 g>0.1 标准只在 17.8% 任务上超过 SOTA；失败主要来自方法选择和算力预算。它把 coding agent 评测从小型程序题拉到科研复现实验，暴露了当前 agent 在问题建模和实验设计上的边界。