SkillResolve-Bench: Measuring and Resolving Same-Capability Ambiguity in Agent Skill Retrieval
arxiv.org原文 ↗
SkillResolve-Bench 指出 skill retrieval 的危险不只是“找不到相关 skill”,还包括找到了同能力家族却选了错误实现。它提供 661 对 helpful/risky sibling 和 7,982 候选池,用 HSR@K 衡量风险 sibling 暴露;参考方法 SkillResolve 在 Recall@3 0.766、NDCG@3 0.699 时把 HSR@3 压到 0,给 skill 路由增加了代表选择这一安全维度。
–浏览
评论 · Comments