ToolSense

ToolSense 针对的是大工具目录下“模型会检索但未必理解工具”的问题：它从任意工具 catalog 生成 realistic retrieval、MCQ 和 QA probing 三类诊断。作者在 ToolBench 约 47k 工具上测试 5 种 parametric training 配置，发现若干模型在更真实的模糊查询上较标准 ToolBench 下降约 50-64 个百分点，甚至低于 embedding baseline。它提醒工具检索评测不能只看 fully-specified query 和 constrained decoding。