每日 Harness 开源 · Source
返回本期 · Back to 2026-08-27

论文 · Papers2026-08-27 · Thursday, August 27, 2026

ToolRobustBench

arxiv.org原文 ↗

ToolRobustBench
ToolRobustBench 将工具调用的接口、用户意图、工具输出/观察和运行环境分别扰动,并把失败归因到选工具、schema grounding、参数绑定及反馈处理。7 个模型、16 个本地工具、4 类扰动和 14 个子类型共 15,456 个单因素实例显示,干净成功率掩盖了不均匀退化,工具输出/观察是主瓶颈。混合扰动呈现非加和级联,因而需要阶段诊断而不是单一 E2E 分数。
–浏览

评论 · Comments