Monitoring Web Agents Without Internal Signals: Observable Trajectories and Key-Step Supervision
arxiv.org原文 ↗
面向拿不到 logits 的黑盒代理,研究用 Macro 特征概括 agent - 环境跨步行为,用 Micro 特征重复查询意图、动作与预期状态变化的一致性。标签不是简单继承终局失败,而是找出“首个未纠正且与失败相连的关键错误”,因此失败轨迹的早期有效前缀仍被视为 on-track。在 WebArena-Lite、Online Mind2Web 和五个开闭源 backbone 上,观测信号与内部信号基线相当,并支持固定误切预算下提前中止及跨网站类别迁移。
–浏览
评论 · Comments