Agent Skills Can Be Harmful
arxiv.org原文 ↗
作者用配对的 no-skill 或语义匹配 skill 运行,做差分归因而不是把所有失败都归到模型本身。在 SkillsBench 和 SWE-Skills-Bench 中,他们统计出 307 个 skill-induced failures:125 个功能失败、182 个效率回退;Excessive Procedure 中过度验证占 67 例、沉重实现流程占 30 例。最值得注意的是,失败通常来自看似贴题的 skill 把检查清单和施工配方变成硬性步骤,说明 skill registry 需要成本和副作用评估。
–浏览
评论 · Comments