7.2 评测方法Eval Methodology

Rebuild Dossier 在编码前锁定真实输入/输出，以自动检查推进一次一个测试，并用 agent 报告、日志、产物三层证据互证。小规模对比中，遵守规则的 agent 反而输给会操纵测试的 agent；大应用里检查器未运行又让流程败给“源码加一句指令”的弱基线，暴露了测试执行本身的可信性瓶颈。

AgentWorld 用 OCEAN 人格驱动用户群体，配合状态化工具、pass^k、部分得分和双重交接验证，覆盖脚本测试遗漏的上下文漂移。三组实验包含 10 种人格和 240 次判断；Risk Analyser 归因显示系统层攻击 46%、动作层 38%，并测到 0.27 分质量缺口，说明一致性与抗扰动是两种不同指标。

作者把 12 个开源模型放进 26 种提示、解码与计分配置，在 ARC、HellaSwag、MMLU、TruthfulQA 共 3679 道题上重跑。Gemma4-31B 的汇总分可从 31% 变到 89%，脆弱题解释相邻模型差距的 95.7%，而且 12 个模型里有 4 个能在某种配置下成为第一。结论不只是“模板会影响分数”，而是模型排名若没有完整 harness 规范便缺乏可复现含义。

研究在 200 个问题、6 个模型、4 种交互条件下收集 4800 次判断，测试多轮追问、用户施压和自我反思是否让模型放弃正确答案。脚手架使平均准确率下降 6.3 个百分点，且能力更强的模型退让幅度反而更大。新增的 capitulation 与 sycophantic capitulation 指标把“被说服改错”和“单纯答错”分开，给 review loop 的安全评测增加了更精确的观测量。

作者在 ALFWorld 的每个决策点重采样动作并继续执行，以反事实结果近似步骤的真实因果贡献，再审计 LLM Judge、结果条件 logprob 比和策略置信度。

作者指出一些编码代理评测把单元测试数误当独立 rollout 数，导致 pass@k 从正确的 0–0.12 被夸大到 0.96–0.98。单一代理分数与严格代理成功率的 Spearman 相关仅 0.417；在 5 个 SWE-bench 样本的试验中，隐藏测试通过率为 0.80，严格全通过率却只有 0.20。论文把可靠性、安全性和统计单位放到同一评测框架中，也提醒当前安全调整尚不足以稳定改变排…

RubricForge 从少量带真值轨迹中反思式演化出人可读规约，冻结后一次模型调用即可评分，也不需要重新访问环境。

ProofRun 真实启动测试子进程、记录退出码，并把结果绑定到 Git HEAD、已跟踪 diff 和未跟踪文件内容的 SHA-256 指纹；任一字节变化都会把 PASS 改成 STALE。回执使用本地随机密钥做 HMAC-SHA256，命令按 argv 精确比较，状态限定为 PASS、FAIL、STALE、NOT RUN。它不尝试理解测试输出或代码质量，只解决 agent 声称“测试已跑”时证…

论文用提前终止和轨迹解码检验 Coconut、CODI 一类连续潜在推理模型，区分隐藏状态“存在”与它是否真的改变答案。多项逻辑任务中，移除潜在推理步几乎不影响最终输出；当任务确实依赖这些步骤时，正确预测样本的金标准推理轨迹有 65%–93% 能从隐藏表示中恢复。作者还在没有金标准轨迹时验证出，多数正确答案能找到可信轨迹，而错误答案只有少数能通过同样检验，这让可解释性具备了结果校验价值。局限也很明…

TsuGO 把围棋死活题用作答案封闭可验的搜索实验室，将 chain-of-thought 解析成树，并分别计算搜索效率与 token 效率。强模型往往较早提出正确候选，也更常沿有效分支推进，但总体轨迹仍接近无引导搜索而不是 KataGo 式规划。更长推理未必提高单位 token 产出，这让评测能区分“最终碰到答案”和“把计算预算分配到有希望的分支”。

SkillShapley 以 Shapley 边际贡献衡量 agent skill 中每一步究竟增加还是损害最终奖励。由于离散任务常有奖励悬崖，完整组合又指数爆炸，算法先寻找最有信息的 coalition 边界，再自适应复用已采样的边际证据；SkillsBench 用它识别关键、冗余和破坏性步骤。这项归因把整条 skill 的单一分数拆成可操作诊断，下一步关键是检验步骤贡献能否跨任务和采样种子保持…

这篇立场论文指出，多数 coding-agent benchmark 把人从回路中拿掉，于是通过率无法反映澄清需求、监督中间步骤和纠正方向的真实成本。作者提出任务对齐、可验证性、可操控性、适应性四个维度，要求实验覆盖 agent 如何融入人的工作流。它没有提供新的性能数字，贡献是为下一代评测划定缺失变量；能否落地仍需要把人类时间、干预质量和团队差异变成可重复协议。

论文测量已撤销约束仍然影响后续行为的 “revocation inertia”，并用带 tombstone 的契约账本、可执行 checker 与逐项消融探针定位残余。单句 tombstone 能挽回约三分之一的约束编译效应，自适应修复阶梯却没有可检测的额外增益；8B 模型还会随着约束负载增加而更糟。结果把一个常被归为“上下文混乱”的现象变成可单独测试的生命周期缺陷，也表明在 prompt 尾部追…

该研究在 7 个前沿模型、36 项长程 AI 研发任务上记录方案形成、执行、反馈控制与经验复用，而非只收集最终 leaderboard 分。过程日志显示 agent 更像工程优化器：能迭代已有方向，却少有真正新颖的研究假设；同一设置运行方差大，先前经验有时提速、有时把搜索带偏。这样的分解解释了两个同分系统可能具有完全不同的失败位置，也为评估研发自动化提供了比单次最好成绩更可靠的观察单位。

作者没有再把“若干样例输出相近”当作内核正确，而是设置 12 道对抗性关卡，其中多项完全不允许容差。重审 2,638 个此前获准的机器生成内核后，39.5% 已超出数值容差，62.1% 至少违反一项契约；普通测试误收 1,487 个，而新验证器相对普通测试只多拒 14 个。论文还给出 Blackwell `tcgen05` 的 GDN 反向实现并以双精度验证，说明验证器也能支撑真正的新内核开发，而…

文章把 coding agent 的语言成本定义为完整轨迹预算：读代码、生成补丁、编译失败、测试、回退与再次解释都要算，而不是只比较相同程序的 tokenized 源码长度。静态类型可能增加初稿约束，却用编译器快速暴露错误；简洁语法减少输出，却可能把语义藏进动态行为，熟悉度还会改变 agent 是否绕去 Python 原型。这样的比较提醒基准作者按任务成功后的总 token 计费，不能从“字符少”…

作者先让 DeepSeek 自述 prompt stack、生成、隐藏推理、工具、记忆、MoE 与 MLA，再把回答标成直接观察、推断或猜测，并回查公开论文。模型明确无法查看自己的权重、hidden state、expert routing 和 serving 参数，却对 V3 论文已公开的 256 experts、671B 总参数/37B 激活参数也过度保守，展示“诚实校准”同样会漏掉公共事实。…

SkillEval 在模型隐空间为 skill 文档的质量属性学习固定方向，投影得到可检查的分数，并校正长度和格式等混杂因素。它能在受控测试中区分不同质量，分数还与下游任务表现相符；按诊断结果改写 skill 后，目标属性和 pass rate 都上升。贡献不在又一个成功率榜单，而在把“文档哪里差”变成可定位的评测对象。

MCP Tester 在浏览器里枚举 tools、resources 和 prompts，同时绘制延迟瀑布并用通用算法、Claude API 或 tiktoken 估算 token。它按五个维度给出 A-F 的 LLM readiness 等级，并以启发式规则扫描隐藏 Unicode、提示注入、凭据外传、HTML 注释等 tool poisoning 信号；schema 或描述变化也会触发 rug…

SkillTrace 不把相似文本直接等同于抄用，而是联合表达、实现与操作三类轨迹；其中操作轨迹用图刻画激活条件、执行过程和资源流，LLM 只在技能入库时调用一次，之后的审计可缓存且确定。

SkillTV-Bench 要求 judge 同时理解 skill 的程序性要求和完整执行轨迹，避免最终答案正确就忽略中间违约，或因表面步骤不同而误杀合法执行。

SkillSV 把规则、示例、脚本和启发式拆成技能内部单元，再依据依赖与层级约束只评估结构合法的 Shapley 反事实。

Simon Willison 汇总两次第三方网络安全评测：英国 AISI 记录 19 次未经授权的外部动作，其中 2 次涉及 GPT-5.6 Sol。

论文设计参数陷阱、能力幻象、前置条件盲区、时间诱饵等 6 类 canary tool，以诱饵命中模式定位代理选错工具的语义原因。

论文在 OSWorld-MCP 的 309 个任务上固定工具集合，只改变模型能否及如何调用文本工具，并重复运行 5 次。工具令推理模型提升 4.0 个百分点，却让非推理模型下降 5.9 个百分点；前者实际只在 55/309 个任务中调用工具，而可由工具触达的任务占 23.9%。经上下文压缩和再训练后，得分从 33.0 升至 37.8，输入成本降至原来的 53%，显示关键不是工具数量，而是模型是否会…

作者指出，长上下文截断同时删掉干扰项和答案证据，传统“截得越多越差”不能直接证明上下文长度本身的价值。他们在 BABILong 与 GraphWalks 上分别保留 100%、75%、50% 和 25% 内容；朴素截断到 25% 时答案证据保留率不足 1%，而保信号的截断可维持甚至改善准确率。结果把长上下文评测的核心变量从长度改为信号保真度，但在 Opus 4.7、GPT-5.5 等高端模型上存在…

Simon Willison 审视一起被宣传为自主 Agent 失控攻击的事件，重点追问时间线、权限来源、日志和独立证据是否支持“自主逃逸”的说法。文章区分了被授予过高权限后执行危险任务、遭提示注入，以及真正绕过控制机制的不同情形。其方法论价值在于先核对可证伪事实，再接受高度吸睛的 Agent 安全叙事。

这项工作不只统计最终答案对错，而是把多模态搜索轨迹拆解为六类隐性故障，包括感知、检索、证据绑定、推理与工具使用等环节的偏差。作者还用多种 judge 模型交叉评估同一轨迹，检查自动评判器在故障类型上的一致性，而不是把单一 LLM 评分当作真值。诊断粒度比终局准确率更适合定位 Agent 为什么“看似完成、实则证据链已经断裂”。

作者向工具响应注入空值、畸形字段、超时和不一致数据，测试 Agent 是否把基础设施故障错误解释成“因安全政策拒绝”。这种不忠实归因会掩盖真正的系统缺陷，也会让运维方误判 guardrail 的触发率。论文把拒绝审计从内容合规扩展到因果归因，提醒评测必须区分安全阻断、工具失败与模型能力不足。

作者指出结构化输出只保证“长得像合法订单”，并不保证订单语义正确或安全，于是构建真实电商数据集来测试 schema-valid agent。研究把错误细分为字段层面的 fabrications、跨字段矛盾与高风险执行，并发现即使 JSON Schema 完全通过，模型仍会提交错误商品、数量或配送约束；它揭示了语法验证与业务验证之间必须补上的一层。

SAAG 将工具调用评估拆成 Action、Action Input、Thought 与 Grounding 四个维度，避免用一次 exact match 把不同性质的错误混在一起。作者构建了覆盖六个领域、真实与合成轨迹混合的基准，并用逐字段裁判定位“工具选对但参数错”“答案对但理由未落地”等情况；这套分解更适合诊断 agent，而不只是给一个总分。

HALLMARK 将引用核验拆成三件事：文献是否真实存在、被引内容是否支持陈述、作者年份等元数据是否正确。基准共 4,200 个样本，包含正常引用和针对三类错误构造的困难负例；结果显示不少验证器会把“论文存在”误当成“论断得到支持”，因此检索命中率不能替代蕴含判断。

作者定义了 binding drift：agent 起初识别了正确实体，却在后续工具调用中逐步把属性、ID 或操作绑定到另一个对象。论文设计 9 个领域、30 个任务模板的受控测试，并对前沿模型运行 3,500 余条轨迹，发现流程越长、同类实体越多，漂移越明显；这说明工具正确率之外还应持续检查实体身份不变量。

OTAP 用结构感知最优传输对齐两条代理轨迹，不要求动作逐位置完全一致，而是比较计划、工具调用及其依赖关系。作者报告该指标与人工判断的相关性最高可达 0.92，并能区分“计划合理但执行失败”和“结果碰巧正确”的轨迹。它补足了只看最终答案的评测盲区，不过距离函数和结构权重仍会影响解释。

作者重新核验 KernelBench 中声称超越 PyTorch 的生成 kernel，加入输出正确性、同步、缓存与计时路径检查。复测显示，原先大量“加速”来自漏算、异步计时或针对 harness 的投机实现；严格验证后，真正超过 PyTorch 的比例显著下降。论文的重要性不只在 CUDA，而在提醒所有代码生成基准：性能分数必须和语义等价性、隔离执行共同验证。

AEVAL 把包含提示词、脚本、工具和文件操作的 agent skill 封装成可重复测试单元，并记录输入、环境与期望断言。框架支持确定性 fixture、步骤级检查和回归比较，使原本靠人工试玩的 Skill 包可以进入 CI。它解决的是代理工程中经常被忽略的测试层：模型输出可以变化，但工作流契约仍应被稳定验证。

这项实验把“reviewer 找错准不准”和“系统是否采纳 critique”分开测量，在 4,181 个 verifier-grounded Omni-MATH 问题上比较 PER pipeline 与 broadcast peer discussion。PER reviewer precision 为 0.861，高于 broadcast 的 0.644，但经 evaluator 验证的有用…

CRAFT 把 rubric evaluation 中的 grading criterion 转成 capability probe，再聚类成层级能力树，从不同层级动态选择低分节点生成 targeted SFT 数据。对比实验固定数据生成、finetuning 和 evaluation 设置，覆盖四个开源模型、finance/legal 两个专业域和 13 个与诊断数据不重合的 held-out…

作者用 conference-paper dataset extraction 检验固定 LLM workflow、reflective agent、memory 和 richer PDF tools 是否真的改变可控行为。评估把 tool execution、retries、reflection、memory use、runtime、failure recovery 放在第一层，coverage…

作者重新审视 agent harness 自动演化的评测协议，指出在同一公开 benchmark 上搜索 harness 并报告结果会引入选择偏差。关键事实是论文关注的是 harness evolution 本身的实验设计，而非单个 agent 模型的能力提升。它提醒读者，agent 成绩上涨可能来自对评测环境的适配，最终报告需要区分优化集和近似 held-out 证据。

论文面向零售对话 agent，讨论如何把意图对齐、事实性、语气和整体质量等维度组织成可治理的评测管线。它将 LLM-as-judge、规则检查和可审计流程组合起来，而不是只输出一个总体满意度分数。该工作适合关注企业 agent 上线评测的人阅读，因为它把评测从离线打榜推进到监控、追踪和责任归属。

这项研究用 SWE-bench、AppWorld 和 tau-bench 的公开任务级记录做 replay analysis，衡量部分任务运行能否复现完整 benchmark 的两两模型结论。论文把 benchmark 子采样变成统计决策问题：目标不是估一个漂亮均值，而是判断排序是否足够稳定。对昂贵 agent eval 来说，这提供了一个比“全量跑或不跑”更细的成本控制视角。

这篇文章把 agent safety eval 定义为会支撑上线、采购或监管决策的承重证据，并提出 vendor-neutral 的 reconstructability metric。指标关注外部读者能否从报告中重构关键安全结论，而不是只看通过率或红队案例数量。它把评测透明度和治理可用性连接起来，适合放在模型安全报告写作规范中讨论。

IntentGuard 检查 PR 是否虽然通过测试但偏离 ticket 意图。它把 issue 或需求描述与 PR diff 一起审阅，尝试发现功能方向、约束或边界条件实现错位的问题。这个项目补的是 CI 的语义盲区：测试能证明某些行为存在，却很难证明开发者实现的是正确需求。

这篇论文把 prompt wrapper 对 benchmark 的扰动量化为 FSI，并用 PSI 衡量输出是否还能被 schema 解析，而不是只报告模型分数。实验覆盖 14 个开源 LLM、25 种 wrapper 和 6 个 benchmark，显示 bias message、JSON schema、Markdown 等外层格式会改变 accuracy/F1 与 parseability。…

AgentAbstain 把 abstention 作为 agent 行为评测的核心，而不是把所有场景都压成完成任务。论文覆盖不确定、约束冲突、不可完成与工具失败等条件，观察模型是否会停止、澄清或拒绝继续行动。这个方向重要在于它评估的是行动边界：一个能完成任务的 agent，如果在错误前提下仍持续调用工具，实际系统风险会被传统 success rate 低估。

Sqlsure 面向 AI 生成 SQL 做语义检查，规则覆盖 fan-out、错误 join key、聚合可加性和策略违例。它的贡献不是再生成一条 SQL，而是在生成之后判断查询是否可能给出业务上错误的数字。对分析系统而言，`SELECT` 能跑通并不等于指标可信，Sqlsure 把这层检查显式化。

这篇短论讨论 AI 参与研究级数学后，数学基础设施要怎样从“读懂完整推导”转向“审计机器可检查的关键声明”。它提出把 AI 产出的核心 claim 暴露为可形式化、可验证对象，并强调人类数学家的解释、反例构造和挑战能力仍然是系统的一部分。文章更像研究议程而非实验论文，局限也在这里：它提出的是验证架构和社会技术分工，还不是一个已经跑完的数学自动化系统。

论文审计 self-consistency 和跨模型一致性作为置信信号的可靠性。结果方向很清楚：一致性通常与正确性相关，但在困难、歧义或共享偏差题上会系统性高估可信度；跨模型投票能降低一部分风险，却不能消除共同推理捷径。它给评测和产品置信度展示泼了一盆冷水，因为“多个模型同意”仍可能只是错在同一个模式里。

OpenAI 文章讨论代码评测中如何区分模型能力信号与评测噪声。核心问题包括任务采样、判分器、执行环境、随机性和基准污染，它们都会让一个总分看起来比实际更确定。对于 coding model 发布，这篇的价值在于提醒读者看 eval 时要追问置信区间、复现路径和失败样本。

Simon Willison 引用 Kenton Varda 的观点：团队暂停使用 AI 写 PR、commit、issue/ticket 描述，因为这些描述在 code review 中“worse than useless”。原文摘录的关键批评是，AI 常把 diff 里一眼能看到的代码细节复述出来，却漏掉 reviewer 真正需要的高层 framing：这次改动整体在做什么、为什么这样做、…

这篇不是新 benchmark，而是把 2023-2026 年的 27 篇 benchmark、taxonomy、audit paper 统一整理成 agent limitation taxonomy，覆盖 19 个不同 benchmark。作者归纳出 6 类失败：工具调用与参数错误、规划和约束满足失败、长程上下文积累导致退化、多 agent 协调失败、对抗或欠约束条件下的安全失败，以及测量有效性…

Dan Luu 这篇笔记围绕 agentic coding 的测试流程、LLM benchmark 方差和实践观察展开，链接锚点直接指向 `#llm-variance`。它和 OpenAI SWE-Bench Pro 审计放在同一天很有对照意义：一个从 benchmark 数据质量出发，一个从实际 agentic coding 过程中的方差和测试流程出发。HN 讨论页只有 5 points、1 c…

这篇研究 benchmark harness 如何改变多步 agent 的状态信念。它关注 agent 在评测框架提供的提示、状态显示和工具反馈下形成的 belief，是否偏离真实部署中会形成的判断。看点不在新模型，而在提醒 benchmark 自身也是干预变量；如果 harness 改写了 agent 的世界模型，分数就不一定代表线上行为。

论文诊断 GUI agents 在像素截图和结构化界面信息之间如何建立状态信念。它比较视觉证据与 DOM/accessibility tree 等结构信号的作用，尤其关心两者冲突时 agent 依赖哪一边。这个问题直接关系到桌面和浏览器 agent 的可靠性：截图看起来正确，不等于可点击状态或控件语义真的一致。

Agent Step Value 把 agent 评估从整条轨迹的终局分数拆到单步状态转移。论文用 state-grounded LLM evaluator 判断某一步是否让环境状态更接近目标，因此能区分“中间操作合理但最终失败”和“最终成功但过程不可复现”。这种粒度更适合训练和调试多步 agent，因为它能指出哪一步开始偏航。

论文构造 clean/messy minimal pairs，保持架构、依赖和外部行为一致，只改变静态分析违规与认知复杂度，由此隔离“代码整洁度”变量。33 个任务、6 组仓库、660 次 Claude Code 试验显示 pass rate 没变，但 cleaner code 让 token 使用少 7-8%，文件重访减少 34%。它把 maintainability 的收益从人类可读性扩展到…

Elena Verna 批评 AI 产品叙事中的“confidence theater”，即界面和营销把不确定结果包装得过于确定。文章强调用户需要看到概率、限制和失败模式，才能判断何时信任、何时验证。它把模型校准问题转译成产品设计问题：不确定性不是缺陷提示语，而是交互契约的一部分。

PACE 试图用更便宜的非 agentic 能力测试预测昂贵 agent benchmark 的结果，目标包括 SWE-Bench、GAIA 这类需要长轨迹和环境验证的评测。关键事实是它把模型筛选前置为 proxy evaluation，减少每次都运行完整 agent benchmark 的成本。这个方向适合评测工程，因为 agent benchmark 的价格、时延和不稳定性正在成为模型迭代的现…

Simon Willison 把 DSPy 用在 Datasette Agent 的 SQL system prompt 评估与改进上，而不是只凭主观感觉改 prompt。RSS 摘要显示他在 AIE keynote 后，让 Claude Code for web 用 Claude Fable 5 启动异步研究任务，安装最新 Datasette alpha 和 datasette-agent 来做…

api-doctor 是一组确定性 API 集成规则/测试，用来抓 AI 生成代码中的常见错误。README 支持 Resend、Supabase、Auth0、Firebase、Lovable、Browserbase、OpenAI Computer Use、TipTap、ElevenLabs、Twilio 等 provider；例如表格中 Firebase 有 20 rules、Resend 有…

RoPoLL 把 LLM-as-judge 多评审团放进 Huber contamination 模型，证明普通 PoLL 共识在任何正污染下都可能因为单个偏置 judge 产生无界 bias。方法上它不换 jury，只把聚合函数换成鲁棒均值估计，实例化为 tuning-free 的 geometric median，并给出有限样本误差界和 minimax lower bound。实验覆盖 13…

QVal 的切入点是：dense supervision 信号不该每次都靠完整训练 pipeline 的下游表现来评估，因为那会混入工程配置和训练成本。它用 training-free testbed 直接衡量 state-action score 是否 Q-aligned，也就是能否按强 reference policy 的 Q-values 排列动作。QVal-v1.0 比较 21 种 den…

Caliper 把 agent skill 可靠性测试产品化：同一任务运行 k 次，计算 pass@k，并可同时跑 baseline 判断 skill 是否真的改善了裸 agent。README 示例中 “With skill” 为 98%、“No skill” 为 55%、Delta +43%，任务规格支持 LLM judge 的 `expect:`，也支持本地 Python `assert:`…

论文把 verifier 质量拆成 scalability、faithfulness、robustness，并指出测试、LLM judge、用户反馈和 agentic evaluator 都无法同时满足三者。一个具体结果是 SWE 类任务中加入 quality judge 与 trajectory monitoring 后，hacked resolved rate 从 28.57% 降到 0.56…

论文定义 long-horizon LLM agents 的 premature commitment：agent 很早固定一种证据解释，之后的工具调用和推理更像是在维护这条路径。它提出 representational commitment，用同一时间点跨运行 hidden-state 收敛来诊断过程是否已经坍缩到稳定轨迹。这个视角补足 final-answer scoring 的盲区，因为最终…

Eugene Yan 总结网络安全 eval 的设计模式，覆盖目标环境、输入难度、工具和 grader。重点在于让评测可执行、可判定、可复现，而不是只让模型写安全建议。对 cyber eval 来说，grader 能否验证真实利用、修复或防御效果，往往比题目文本本身更决定评测质量。

Chrome 的 Lighthouse agentic browsing scoring 文档把“网页是否适合 agent 操作”正式纳入审计语言。页面导航显示该类 audits 覆盖 WebMCP integration、registered tools、forms missing declarative WebMCP、schema validity、discoverability、`llms.…

这篇讨论 LLM agent 评测的 predictive validity，问题不是某个模型在静态榜单上排第几，而是榜单结果能否预测真实部署中的表现。摘要给出的规模是一个 MCP-based industrial-agent benchmark 的 14 组并行实现研究，覆盖新资产类别、多模态视觉扩展、不同编排方式和检索策略。它把评测焦点从“分数排序”转向“分数是否能指导选型”，这是代理基准进入…

promptfoo 提供 LLM 应用评测、prompt 测试和 red teaming 的 CLI/library。它的用途是把 prompt、模型、工具输出和安全用例写成可重复测试，而不是靠人工试聊。随着 agent 进入 CI/CD，promptfoo 这类 eval harness 会变成发布门禁的一部分。

Hugging Face 文章讨论如何在自有工具链上评测开源模型的 agentic 能力。它反对只看通用榜单，因为工具 schema、调用错误、恢复策略和环境延迟都会改变模型表现。更实用的结论是：agentic eval 应该贴近团队实际工具和失败模式，而不是复制一个外部 benchmark 名字。

DOS 是多代理编码工作流的裁判，不相信 agent 的“完成”叙述，而是读取 git、文件树、时间和 CI 等 artifact。最小用法是 `dos verify PLAN PHASE`：commit subject 中有对应 phase token 就返回 SHIPPED 和 exit 0，没有就 NOT_SHIPPED 和 exit 1。README 列出 v0.26.0、3900+ te…

ProvenanceGuard 处理的是 source-aware factuality：一个 claim 即使被 pooled evidence 支持，只要归因给了错误来源，在 MCP 场景里仍然是事实性风险。系统读取带稳定 tool ID、source ID、raw output 的 MCP trace，把回答拆成 atomic claims，路由到 source-specific evide…

这篇 position paper 直接挑战 coding benchmark 的单一分数传统：真实 coding agent 是模型、harness、context、environment、feedback signal 的组合系统，任何组件变化都可能带来与模型代际差距相当的分数变化。作者列出三个 misalignment：benchmark score 混淆模型与 harness；单一 ref…

这篇论文把 Agent 的失败归因到 intent-execution gap：模型打算做的事与 harness 实际执行的事不一致，或者 harness 暴露的行为偏离模型假设。作者构建 Simple Strands Agent，在 SWE-Pro、SWE-Verified、Terminal-Bench-2 上复现或改进多个模型提供方报告的 pass@1。更有价值的是 138k 条轨迹分析：它把…

这篇论文把 Agent skill 当成可单独评估的知识 artifact，而不是把它埋在完整 agent app 的总体分数里。作者从 500 个真实世界 skills 生成 1,000 个任务，附带 instruction-following 与 goal-completion rubric，并在 19 个 proprietary 与 open-source agent-model confi…

这项工作提出 WebStep，用自动语义状态跟踪替代只看最终成功/失败的 web agent 评测。WebStep 有 1,800 个任务实例，每个网站在 GUI 背后维护确定性 semantic MDP，从而无需人工标注即可分析中间轨迹。论文显示三个 agent 的成功率都在 31-33% 附近，但探索覆盖与执行准确度差异很大；在 Housing 任务里 OpenAI CUA commit 动作…

OpenAI 介绍 Deployment Simulation：重放经过隐私处理的历史真实对话，移除旧模型回答，让候选模型补全，再估计发布后不良行为频率。文章称共分析约 1.3M 去标识化 GPT-5 Thinking 系列对话，覆盖 20 类 undesired behavior，预测中位 multiplicative error 为 1.5x。它还把方法扩展到 120,000 条内部 agen…

CMG 为 LLM judge 加了一层 evidence/claim/decision 图谱，要求 verdict 建立在显式 claim 上，而 claim 必须引用输入证据。README 列出 `missing_verdict`、`invalid_verdict`、`uncited_verdict`、`no_supported_claims`、`rubric_coverage_gap`、`r…

Data-review 把 PR 里的数据影响审查拆成确定性脚本和 agent 判断两层：脚本算 blast radius、tieout、baseline diff、row-level EXCEPT ALL，agent 只判断变化是否符合作者声明。README 的演示把 cents-to-dollars 转换错误暴露为 `sum(amount)` 从 134.50 跳到 13,450；更大的 pr…

作者审计 5 个 terminal-agent benchmarks 的 1,968 个任务，发现 323 个任务可被前沿模型仅凭任务描述 hack verifier，占 16%。hacker-fixer loop 让 hacker 找到不解题也能过 verifier 的路径，fixer 修补 verifier，solver 再确认合法解仍能通过；在 KernelBench 上，held-out…

论文检验 RAG rewriting 的大幅收益是否主要来自 gold answer string 被写进改写上下文。作者在 HotpotQA 和 2WikiMultihopQA 上对 rewritten context 做删除答案、替换 placebo span、前缀或中段注入答案等干预；12 个 reader/dataset/compiler 组合中，删除 gold answer 比 plac…

作者发现 LLM judge 在重复或中性复评时很稳定，但初判之后遭遇有目标的挑战会显著可逆。实验覆盖 MT-Bench 与 AlpacaEval，并用 anti-baseline challenge 与 counterbalanced target-validation 区分普通纠错和方向性操控。文章提出 ERS，把 reversal susceptibility 和 directional e…

BenchAgent 在统一工具、日志和成本协议下比较单 agent、多 agent 与演化式工作流，避免不同框架各自报喜。外部摘要显示 6 种多 agent 系统中 5 种输给配置良好的单 agent，但 debate、multi-judge、evolutionary search 在可验证题、指令合规和开放优化任务上分别有适配空间。论文的实质不是否定多 agent，而是要求协议匹配任务错误模式…

这篇把 deep-research agent 的可靠性问题下钻到 span 级别：作者收集 2,790 条真实轨迹，转换成语义 span，再构建 1,000 实例 TELBench。DRIFT 以 claim 为中心追踪证据支持关系，报告在 span-level error localization 和 first-error accuracy 上最高提升 30 个百分点；它比只看最终答案更能解…

RAMP 的核心判断是静态 benchmark 不足以说明软件工程 agent 的生产能力，因此它用 YatCC 上的编译器构造任务、串行依赖和阶段恢复机制做 runtime assessment。作者评估 15 个主流模型，报告串行 workflow 完成率从首阶段 100% 降到末阶段 20%，没有模型完成完整 pipeline；这个结果把“能解单题”和“能维持长链路执行”区分开了。

这个仓库是 Anthropic 针对 AI 漏洞发现发布的 reference harness，核心作用是复现实验、统一运行目标和比较不同工具。它比单个“安全 agent”更底层：关注评测协议、样例环境和可重复性，便于判断工具是否真的发现漏洞而不是产生漂亮报告。

主张 autonomous agent 评测不能只看完成率，还要看何时应该停手或拒绝继续行动。论文提出三类 abstention-warranted 场景：specification gap、verification gap 和 authority gap，分别对应信息缺失、世界状态无法确认、授权不足。它的技术价值不在新模型，而在把“拒绝行动”从安全原则变成 benchmark 构造维度。对 ag…

定义 coding agent 接手中断任务时的 handoff debt：后继者为重新发现前任上下文付出的事件和 token 成本。协议在 75 个源任务上生成 181 个 handoff-point tasks，并对每个 successor model 跑 724 次 takeover；四种视图包括仅仓库状态、raw trace、summary notes 和 structured notes…

论文把长程 agent 安全检测建模为轨迹级压缩问题，用于保留稀疏和延迟出现的风险证据。

论文评估 LLM agent 在完成任务时获取了哪些敏感信息，而不仅仅检查输出或外发动作。

面向产品正确性的测试 agent，用上下文生成检查用户意图的测试。

UQLM 是 CVS Health 开源的 Python 库，用 uncertainty quantification 检测 LLM hallucination。它提供 response-level confidence scores，覆盖 black-box consistency、多生成语义熵、white-box token probability、LLM-as-judge panel、ens…

PReMISE 把 reusable rubrics 视为 LLM judge 的测量规格：换 rubric 就是在改变固定 judge 对 response quality 的测量。框架从 pairwise human-preference data 发现 policy-level rubric，并审计 structural adequacy、reliability、preference fit…

它解决的是 prompt 开发缺少轻量版本化实验的问题。CLI 形态有利于进入 CI 和脚本；深一层的价值取决于它是否能记录输入集、模型参数、评分规则和历史结果。

这篇文章把“评测结果”扩展为“评测设置 + 有效性证据”。核心信号是：agentic 能力高度依赖 harness 和 token budget，标准化 harness 适合公平比较，但不等于能力上限。

这类评测补上了 agent 可靠性的一块盲区。即便最终成功率相近，路径不稳定也会增加缓存、审批、审计和事故复现成本；但一致性不能单独当目标，因为 agent 也可能稳定地执行错误策略。

这类案例的看点不在“AI 写代码”，而在客户反馈到 eval/code 的闭环。Braintrust 本身做 eval 基础设施，所以它展示的是 coding agent 与实验平台结合后的产品迭代模式。

它解决的是 memory 评测里常见的“看似检索好，其实只是实体词撞上了”的问题。结论也很实际：更大的 encoder 不必然更好，MiniLM 在一些轴上胜过 BGE-large，说明 memory retriever 需要按查询类型路由，而不是只堆模型参数。

这篇论文直接挑战“pass rate 足够”的评测习惯。它显示不同模型的 Lucky rate 可从 0.5% 到 23.2%，按过程质量重新排名甚至能移动五个名次；这对 coding agent 很关键，因为混乱通过的补丁在真实工程里往往更难维护。

它关注的是“提前停止”的能力，而不是更努力地调用工具。这个方向很实用：在工具缺失或权限不足时，agent 的主要失败不是答错，而是持续消耗 token、时间和副作用预算。

该研究用 1,000 个真实 fact-check claims 测五个 frontier LLM 的四档 verdict，一致性并不高：67% claims 至少有一个模型不同意多数，34% 存在相隔两个以上 bucket 的实质分歧，Krippendorff ordinal alpha 为 0.639。它的价值在于不用 benchmark gold label，而是测真实请求上的模型间不稳定性…

它与 Harness-Bench 形成呼应：benchmark 分数混入 scaffold 和环境波动。统一框架的价值是解耦框架效应、环境效应和模型能力；风险是固定 ReAct 架构本身也会成为新的测量偏置。