Tactile: Giving Computer-Using Agents Hands and Feet

Tactile 指出当前 computer-use agent 常把目标定位、点击执行和结果确认压缩成一次截图坐标预测，接口层本身制造了歧义。它提供目标解析、动作执行、状态验证和产物提取四类原语，并在 Microsoft Office 桌面应用上让 Claude 3.5 Sonnet 与 GPT-4o 的平均成功率从 20% 提高到 50%。论文的贡献是把 GUI 自动化失败拆回可观测、可验证的交互子问题。