PHREEQC-MCQ-200: A Diagnostic Benchmark for Tool-Augmented Scientific Simulator Agents
arxiv.org原文 ↗
PHREEQC-MCQ-200 用确定性水文地球化学模拟来测工具增强科学 agent,要求 agent 构造 PHREEQC 输入、运行 simulator、读取结构化输出并回答选择题。基准包含 21 个验证场景衍生的 200 道题,覆盖 frontier 和 mid-tier model families。实验显示 simulator access 提升总体准确率,但也会让 agent 丢掉无工具时答对的题,说明科学工具接入需要看 item-level retention、output-access sensitivity 和 trajectory failure,而不只是平均准确率。
–浏览
评论 · Comments