PASTABench: Proactive Assessment of Sequential Trajectories for Agent Safety
arxiv.org原文 ↗
PASTABench 把安全监控拆为是否干预、何时干预和风险类别,并用 Earliest-Signal 与 Trigger turn 定义 Optimal Intervention Window。数据含 1,139 条多轮轨迹、5 类风险和 13 个子类;16 个 LLM 中最佳模型的最优时机干预率只有 40.74%。屏蔽危险词后小模型的主动能力显著塌陷,显示词汇过拟合会把“事后说对”伪装成及时安全。
–浏览
评论 · Comments