每日 Harness 开源 · Source
返回本期 · Back to 2026-07-08

论文 · Papers2026-07-08 · Wednesday, July 8, 2026

Do GUI Agents Believe Their Eyes? Diagnosing State-Belief Reliance on Pixels versus Structure

arxiv.org原文 ↗

评测方法计算机·Web
Do GUI Agents Believe Their Eyes? Diagnosing State-Belief Reliance on Pixels versus Structure
论文诊断 GUI agents 在像素截图和结构化界面信息之间如何建立状态信念。它比较视觉证据与 DOM/accessibility tree 等结构信号的作用,尤其关心两者冲突时 agent 依赖哪一边。这个问题直接关系到桌面和浏览器 agent 的可靠性:截图看起来正确,不等于可点击状态或控件语义真的一致。
浏览

评论 · Comments