CivBench: A Long-Horizon Benchmark for Tool-Mediated Agents in Civilization VI

CivBench 通过 MCP 暴露 76 个工具和一层结构化叙述，将 Civilization VI 的单局拉到 300+ 回合、数千调用和部分可观测状态。论文刻意把 23 次运行称为 pilot，不拿它做模型排名，而提出 PMR（主动查询隐藏战略状态）和 RAG@10（规划反思后的承诺是否在十回合内执行）。即使 playbook 要求每 20 回合查胜利进度，代理仍隔 30 - 75 回合才查，20 次可检测失败中 7 次错过预警；承诺执行率只有 48.2% - 65.8%。