Set-shifting Behavioral Test for Harnessed Agents
arxiv.org原文 ↗
论文借用认知心理学 set-shifting,设计了一个隐藏可靠性迁移测试:同一会话中可靠工具静默改变,agent 需要停止沿用旧选择。benchmark 使用有冗余能力的 tool-skill libraries,多种工具能完成同一任务但可靠性不同。这个设计把“agent 是否真的从观察中调整工具策略”拆成可复现实验,而不是只看最终任务成功率。
–浏览
评论 · Comments