每日 Harness 开源 · Source
返回本期 · Back to 2026-09-13

论文 · Papers2026-09-13 · Sunday, September 13, 2026

The Era by Eon Benchmark: A Generated Enterprise Estate with Exact Ground Truth for Benchmarking LLM Agents

arxiv.org原文 ↗

The Era by Eon Benchmark: A Generated Enterprise Estate with Exact Ground Truth for Benchmarking LLM Agents
Era by Eon 用共享实体图生成一整套虚构企业,把 Salesforce、Zendesk、Slack、Gong 等模拟器和内部数据库绑定到同一事实源,再从最终记录计算答案键。23 家生成公司平均真实性评分由 61.8 升到 97.0,且没有记录被标成 synthetic;模拟器轨道上 9 个模型面对同样 33 问题,准确率仍只有 42.4% - 76.8%,显示企业 agent 的评测难点在一致的状态空间而不只是题目数量。
–浏览

评论 · Comments