Do GUI Agents Believe Their Eyes? Diagnosing State-Belief Reliance on Pixels versus Structure
arxiv.org原文 ↗
评测方法计算机·Web
论文诊断 GUI agents 在像素截图和结构化界面信息之间如何建立状态信念。它比较视觉证据与 DOM/accessibility tree 等结构信号的作用,尤其关心两者冲突时 agent 依赖哪一边。这个问题直接关系到桌面和浏览器 agent 的可靠性:截图看起来正确,不等于可点击状态或控件语义真的一致。
–浏览
评论 · Comments