LUMOS: A Semantic Operating-System Layer for Accessibility-Grounded AI Agents

LUMOS 把操作系统与浏览器已有的 accessibility metadata 转换为 machine-readable semantic blueprints，包含 stable identifiers、roles、names、values、bounds 和 action affordances。agent 通过 constrained visible-UI primitives 做 observe-act loop，并可用 OS automation API 查询光标附近的语义元素。论文没有声称替代视觉 agent，而是指出当系统已经暴露结构化语义时，强迫 agent 读截图、OCR 和坐标会带来 token cost、视觉歧义、延迟与 grounding error。