ToolRobustBench
arxiv.org原文 ↗
ToolRobustBench 将工具调用的接口、用户意图、工具输出/观察和运行环境分别扰动,并把失败归因到选工具、schema grounding、参数绑定及反馈处理。7 个模型、16 个本地工具、4 类扰动和 14 个子类型共 15,456 个单因素实例显示,干净成功率掩盖了不均匀退化,工具输出/观察是主瓶颈。混合扰动呈现非加和级联,因而需要阶段诊断而不是单一 E2E 分数。
–浏览
arxiv.org原文 ↗
评论 · Comments