ERPBench: A State-Grounded Evaluation Paradigm for Computer-Use Agents in Enterprise Software
arxiv.org原文 ↗
ERPBench 让 screenshot-only agent 操作真实可复现 ERP，再用数据库 ground truth 检查持久状态，并配套人工审批闸门。六个 agent 中，有的最多 85% 运行能保存表单，却只有 3% 写入正确值；企业评测必须把“点到正确页面”和“账上数据正确”拆开。
–浏览
评论 · Comments