Zero2Repo: Can Coding Agents Build Repositories from Scratch?

Zero2Repo 给 agent 产品需求、接口契约和空目录，交付必须在原生生态中通过隐藏验收测试的完整仓库；任务由真实版本固定项目转换，并用对抗验证排除过宽测试。当前覆盖 Python、TypeScript、Go、C++，只有全测通过才得分，不依赖 LLM judge。11 个可能出现在训练语料中的任务里，最强 agent 只完成 10 个，而失败提交仍通过 90 - 99% 测试，说明瓶颈常是规格中的单一遗漏或低频规则，而非不会搭建子系统。