DocOps: A Verifiable Benchmark for Autonomous Agents in Complex Document Operations
arxiv.org原文 ↗
DocOps 将复杂数字文档任务设计为可确定性验证的操作序列,覆盖读取、编辑、格式保持、跨文档搬运以及结构化内容处理。与依赖主观 LLM 打分的办公基准不同,它把结果转换为机器可检查的状态和约束,从而区分内容正确、版式正确与操作完整。这个基准真正测试的是 Agent 在长链路 GUI 或文档 API 中维持状态一致性的能力,而不只是生成一段看起来合理的文本。
–浏览
评论 · Comments