每日 Harness 开源 · Source
返回本期 · Back to 2026-08-14

论文 · Papers2026-08-14 · Friday, August 14, 2026

InfraBench: Evaluating Infrastructure Agents Across Layers, Lifecycle, and Risk

arxiv.org原文 ↗

InfraBench: Evaluating Infrastructure Agents Across Layers, Lifecycle, and Risk
InfraBench 把 agent 放进覆盖计算栈、操作生命周期和风险检查的基础设施任务,而不是只看命令是否返回成功。15 种配置的有效得分约 40%-88%,同一任务重复三次后,最强配置仍只能通过部分尝试;逐检查评分反复发现非持久修改、分布式不变量破坏、危险副作用和残留状态。基准公开 live leaderboard、任务与 harness,适合把“完成一次”与“留下可运行系统”分开衡量。
浏览

评论 · Comments