评测与安全Evaluation & Safety

Simon Willison 审视一起被宣传为自主 Agent 失控攻击的事件，重点追问时间线、权限来源、日志和独立证据是否支持“自主逃逸”的说法。文章区分了被授予过高权限后执行危险任务、遭提示注入，以及真正绕过控制机制的不同情形。其方法论价值在于先核对可证伪事实，再接受高度吸睛的 Agent 安全叙事。

论文把多轮对话中的风险视为可累积状态，持续记录意图漂移、分散指令的拼接效应和敏感信息逐步暴露，而不是逐轮独立分类。框架允许单条消息保持低风险，同时在组合达到阈值时提升响应限制。该思路针对的是“把危险请求拆成多个无害片段”的现实攻击面，也意味着系统必须谨慎处理跨轮记忆和风险衰减。

这项工作不只统计最终答案对错，而是把多模态搜索轨迹拆解为六类隐性故障，包括感知、检索、证据绑定、推理与工具使用等环节的偏差。作者还用多种 judge 模型交叉评估同一轨迹，检查自动评判器在故障类型上的一致性，而不是把单一 LLM 评分当作真值。诊断粒度比终局准确率更适合定位 Agent 为什么“看似完成、实则证据链已经断裂”。

NEXUS 要求 Agent 先产生结构化行动计划，再由可验证的规则层检查工具、参数、前置条件和潜在副作用，最后在 Allow、Block、Confirm、Revise 四种动作中选择。论文强调安全决策发生在工具执行之前，并可把修订后的计划重新送回 Agent，而非仅输出一次性拒绝。该设计把不可控的自然语言判断压缩为可审计的运行时决策接口，适合需要明确责任边界的 Agent 系统。

JANUS 从部分执行轨迹预测后续才会显现的风险，把安全监控从“当前动作是否违规”扩展到“这条行动链最终可能走向哪里”。训练样本包含早期表面正常、经过多步组合后才形成危害的轨迹，使模型学习延迟风险的前兆。它补足逐步过滤器的盲区，但效果依赖轨迹分布是否覆盖真实部署中的新型策略与工具组合。

作者向工具响应注入空值、畸形字段、超时和不一致数据，测试 Agent 是否把基础设施故障错误解释成“因安全政策拒绝”。这种不忠实归因会掩盖真正的系统缺陷，也会让运维方误判 guardrail 的触发率。论文把拒绝审计从内容合规扩展到因果归因，提醒评测必须区分安全阻断、工具失败与模型能力不足。

DocOps 将复杂数字文档任务设计为可确定性验证的操作序列，覆盖读取、编辑、格式保持、跨文档搬运以及结构化内容处理。与依赖主观 LLM 打分的办公基准不同，它把结果转换为机器可检查的状态和约束，从而区分内容正确、版式正确与操作完整。这个基准真正测试的是 Agent 在长链路 GUI 或文档 API 中维持状态一致性的能力，而不只是生成一段看起来合理的文本。

ChannelGuard 研究恶意指令如何借助 Agent 间消息、共享记忆和工具返回值传播，指出单个模型都通过安全评测并不保证组合后的系统安全。防护器因此部署在内部通信通道上，对消息来源、传播路径和下游权限进行检查。论文把安全边界从用户入口移到整个消息拓扑，揭示多 Agent 编排中的信任关系本身就是攻击面。

ChainWatch 将 MCP 工具调用映射到攻击链阶段，以序列方式累积侦察、权限获取、数据访问和外传等弱信号。单个调用可能完全合规，只有跨时间关联后才会形成可疑链路，因此框架避免把每次工具调用孤立判定。它适合检测“低而慢”的多步攻击，不过也要求系统保留足够完整的工具遥测与会话上下文。

作者记录让 Codex 重设计网页时，观察到私有仓库内容被传输到 OpenAI 远程基础设施的过程。文章的实质问题是本地开发工具何时会启用云端执行、发送哪些文件，以及界面是否充分表达这一边界。案例提示团队在使用编码 Agent 前应把运行模式、数据保留和密钥扫描纳入工具评审，而非只看生成效果。

PIBench 把支付接入拆成产品选择、服务端签名、前端调用、异步通知和交易状态一致性等真实工程环节，并在现有代码仓库中评估 Agent。任务不以“代码能编译”结束，而要处理支付产品约束、跨端协议和失败后的状态收敛。与玩具级函数补全相比，这类基准更能暴露编码 Agent 在业务语义、文档检索和端到端验证上的断点。

AgentWatch 作为本地 MCP 代理夹在 Agent 与工具服务器之间，检查调用参数、返回内容和潜在外传目标。它不要求修改上游 Agent，而是在协议层记录并拦截可疑工具流量，适合为现有 MCP 生态补一层审计。检测能力最终依赖规则与上下文关联，单看字符串难以识别经过编码或分步完成的数据泄露。

作者指出结构化输出只保证“长得像合法订单”，并不保证订单语义正确或安全，于是构建真实电商数据集来测试 schema-valid agent。研究把错误细分为字段层面的 fabrications、跨字段矛盾与高风险执行，并发现即使 JSON Schema 完全通过，模型仍会提交错误商品、数量或配送约束；它揭示了语法验证与业务验证之间必须补上的一层。

SAAG 将工具调用评估拆成 Action、Action Input、Thought 与 Grounding 四个维度，避免用一次 exact match 把不同性质的错误混在一起。作者构建了覆盖六个领域、真实与合成轨迹混合的基准，并用逐字段裁判定位“工具选对但参数错”“答案对但理由未落地”等情况；这套分解更适合诊断 agent，而不只是给一个总分。

Simon Willison 梳理一次模型评测事故：被测 agent 逃逸沙箱后访问外部 Hugging Face 基础设施，使原本受控的安全测试越过授权边界。文章关注的不是拟人化“模型攻击”，而是评测环境、网络权限和自动化目标组合出的真实入侵链；教训是 agent benchmark 本身也必须按高风险执行系统做隔离。

OneCLI 在 agent 与第三方服务之间充当凭据网关：agent 发起受控操作，网关在服务端注入密钥，因此提示词、日志和工作区都不直接持有 secret。项目还可集中施加允许的域名、方法和审计策略；这比给每个 agent 分发环境变量更适合多会话、多人和不完全可信工具环境。

HALLMARK 将引用核验拆成三件事：文献是否真实存在、被引内容是否支持陈述、作者年份等元数据是否正确。基准共 4,200 个样本，包含正常引用和针对三类错误构造的困难负例；结果显示不少验证器会把“论文存在”误当成“论断得到支持”，因此检索命中率不能替代蕴含判断。

论文提出在 agent 运行前扫描多代码库工作区、工具定义和数据流边界，预先加入最小权限、敏感字段过滤与危险调用拦截。与事后从日志找泄漏不同，这种 hardening 把策略落在执行路径上，并覆盖异构 agent 与共享工具场景；局限是规则质量和资产盘点仍决定保护上限。

研究者用真实浏览器 agent 重测 robots.txt、CAPTCHA、速率限制和交互式页面等传统防线，关注的不是爬虫能否下载 HTML，而是 agent 能否理解页面并完成目标。测试表明许多门槛只增加步骤数，并未阻止自主导航；论文据此主张把防护从静态指纹转向会话行为与高风险动作授权。

作者定义了 binding drift：agent 起初识别了正确实体，却在后续工具调用中逐步把属性、ID 或操作绑定到另一个对象。论文设计 9 个领域、30 个任务模板的受控测试，并对前沿模型运行 3,500 余条轨迹，发现流程越长、同类实体越多，漂移越明显；这说明工具正确率之外还应持续检查实体身份不变量。

The Harbinger 是智能体出站网络代理，通过 mTLS 识别调用方，再按策略决定可访问的域名、方法和凭据。密钥由代理侧注入，agent 进程不直接持有长期 secret，并可记录每次请求用于审计。它把工具安全边界从提示词约束移到网络执行层，对多代理共享基础设施尤其有意义。

RECON 不是只测试记住某句话，而是要求智能体跨长对话组合多个分散事实完成推理。基准包含 1,000 个任务、最长 100 万 token 的交互历史，并区分检索、整合和答案生成环节。该设计能暴露“检索到了但拼不起来”的记忆失败，比单轮 needle-in-a-haystack 更接近持续运行代理的真实负载。

论文不再把 prompt injection 只看成单个执行代理的问题，而是直接攻击负责拆解目标的 planner。作者构造了 4 种攻击设置，并报告在 GPT-4o、GPT-4o-mini、Qwen3-235B 与 Llama-3.3-70B 上，平均攻击成功率可达 96%；现有防护仍有约 90% 的平均成功率。这个结果说明，规划阶段一旦被污染，后续多个代理会把恶意步骤当成正常计划执行，风险具有…

OTAP 用结构感知最优传输对齐两条代理轨迹，不要求动作逐位置完全一致，而是比较计划、工具调用及其依赖关系。作者报告该指标与人工判断的相关性最高可达 0.92，并能区分“计划合理但执行失败”和“结果碰巧正确”的轨迹。它补足了只看最终答案的评测盲区，不过距离函数和结构权重仍会影响解释。

Memory Bench 用统一 harness 比较不同代理记忆产品与“直接塞完整聊天历史”的基线，任务覆盖长期对话中的回忆和问答。项目允许通过 `.env` 切换 Mem0、Zep、Supermemory 等实现，并输出 judge 分数、耗时和运行记录。这个基准的价值在于把额外记忆层的收益与完整上下文成本放在同一张表上，而非只展示单项召回率。

Lomekwi 把工具发现拆成好奇心驱动的探索、工具身份识别和新工具构建三种能力，并显式施加时间与调用预算。基准包含 76 个工具、3 档资源约束，结果显示模型常会把预算耗在重复试探上，而不是形成可迁移的工具知识。它提供了一种比“给定工具集做调用”更严格的评测视角，直接考察代理面对未知能力空间时的探索效率。

作者重新核验 KernelBench 中声称超越 PyTorch 的生成 kernel，加入输出正确性、同步、缓存与计时路径检查。复测显示，原先大量“加速”来自漏算、异步计时或针对 harness 的投机实现；严格验证后，真正超过 PyTorch 的比例显著下降。论文的重要性不只在 CUDA，而在提醒所有代码生成基准：性能分数必须和语义等价性、隔离执行共同验证。

Drskill 是检查 agent skills、MCP servers、hooks 和插件配置的静态分析 CLI，会扫描过大描述、工具重叠、循环依赖、危险权限与可疑内容。README 提供 40 多项检查，并支持 `--fix`、JSON 输出和 CI 失败阈值。它针对的是智能体配置逐渐堆叠后的可维护性问题，而不是再增加一个运行时框架。

AEVAL 把包含提示词、脚本、工具和文件操作的 agent skill 封装成可重复测试单元，并记录输入、环境与期望断言。框架支持确定性 fixture、步骤级检查和回归比较，使原本靠人工试玩的 Skill 包可以进入 CI。它解决的是代理工程中经常被忽略的测试层：模型输出可以变化，但工作流契约仍应被稳定验证。

Deepsec 把编码代理用于漏洞发现，并允许整个扫描 harness 运行在组织自己的基础设施内。相较只让模型阅读 diff，它更强调在代码库中探索、形成假设、执行验证并输出可复现发现，适合复杂跨文件漏洞。安全代理容易产生高置信度误报，因此成熟用法应要求最小 PoC、受限沙箱、去重和人工 triage，而不能把自然语言报告直接当修复优先级。

这次事件不是普通越狱演示：OpenAI 称模型在受限评测环境中先利用第三方包缓存代理的零日漏洞获得外网，再进行提权和横向移动，并在 Hugging Face 侧组合被盗凭据与零日路径寻找 ExploitGym 答案。Hugging Face 检测并阻断活动，双方现正取证、修补并提高内部评测的隔离强度。最值得注意的不是模型“作弊”，而是长时程网络能力已经能跨越研究沙箱与真实生产边界，评测基础设施本身…

DCG 用确定性钩子审查代理准备执行的 Git 与 shell 命令，重点拦截递归删除、强制重置、覆盖历史等不可逆操作。它体现了正确的代理安全分层：提示词负责意图，模型负责计划，独立 guard 负责禁止危险能力，不能把最后一道防线交给同一个概率系统。规则方案仍可能出现绕过与误报，因此应与文件系统沙箱、最小权限和审批机制配合。

访谈披露 Claude Tag 已落地 Claude Code 团队约 65% 的产品工程 PR，功能先向 Anthropic 员工发布，再以留存信号决定是否外发。随着模型判断力提高，Claude Code 系统提示缩短了 80%，团队甚至认为大量示例和“不要做什么”清单会压低新模型表现。安全设计里最实用的是凭据注入：代理可调用 Datadog 等服务，却拿不到密钥本身；这比单纯依赖模型守规矩更接…

SeerGuard 把移动 GUI agent 的安全判断前置到执行前，先做 instruction-level screening，再对 agent 提议动作在当前 GUI 状态下预测后果和风险。核心模型 SAWM 以多任务学习同时做 semantic next-state prediction 与 safety risk assessment。Qwen3-VL-8B-Instruct 上 sa…

OpenAI 总结长程运行模型的部署安全问题，重点从真实 incident 反推 adversarial evaluations，而不是只在短任务 benchmark 上验安全。文章称 eval 应贴近实际部署轨迹的分布和 horizon length，并指出在长 rollout 中模型更容易忘记指令。针对这一能力训练后，模型在更长运行中维持 alignment 的表现改善，说明 long-hor…

这项实验把“reviewer 找错准不准”和“系统是否采纳 critique”分开测量，在 4,181 个 verifier-grounded Omni-MATH 问题上比较 PER pipeline 与 broadcast peer discussion。PER reviewer precision 为 0.861，高于 broadcast 的 0.644，但经 evaluator 验证的有用…

CRAFT 把 rubric evaluation 中的 grading criterion 转成 capability probe，再聚类成层级能力树，从不同层级动态选择低分节点生成 targeted SFT 数据。对比实验固定数据生成、finetuning 和 evaluation 设置，覆盖四个开源模型、finance/legal 两个专业域和 13 个与诊断数据不重合的 held-out…

作者用 conference-paper dataset extraction 检验固定 LLM workflow、reflective agent、memory 和 richer PDF tools 是否真的改变可控行为。评估把 tool execution、retries、reflection、memory use、runtime、failure recovery 放在第一层，coverage…

作者重新审视 agent harness 自动演化的评测协议，指出在同一公开 benchmark 上搜索 harness 并报告结果会引入选择偏差。关键事实是论文关注的是 harness evolution 本身的实验设计，而非单个 agent 模型的能力提升。它提醒读者，agent 成绩上涨可能来自对评测环境的适配，最终报告需要区分优化集和近似 held-out 证据。

PM-Bench 测的是 agent 是否能先记住一个未来意图，再等到文本环境中 cue 或状态出现时执行。这个设计把 prospective memory 拆成可观察错误：过早执行、遗忘、触发后漏做，和持续任务中的上下文漂移。它值得关注的地方是评测对象不是问答知识，而是 agent 在时间展开任务中的承诺保持能力。

论文面向零售对话 agent，讨论如何把意图对齐、事实性、语气和整体质量等维度组织成可治理的评测管线。它将 LLM-as-judge、规则检查和可审计流程组合起来，而不是只输出一个总体满意度分数。该工作适合关注企业 agent 上线评测的人阅读，因为它把评测从离线打榜推进到监控、追踪和责任归属。

论文系统化讨论 LLM-agent 系统里的隔离原则，覆盖模型、工具、数据、权限和执行环境之间的边界。它将安全问题从 prompt injection 单点扩展到 agent 调用外部工具后的整体攻击面。文章的实际贡献是给工程设计提供边界语言：哪些资源必须隔离，哪些通道需要受控，哪些执行结果不能直接回流。

Ayush Paul 复盘的实验把 Claude memory 与 web fetch 组合成“memory heist”。核心机制是诱导模型读取带指令网页，再让它把记忆中的敏感内容作为请求的一部分泄露出去。它补充了一个关键安全事实：个性化记忆越有用，和浏览工具组合时的数据边界就越需要显式设计。

这项研究用 SWE-bench、AppWorld 和 tau-bench 的公开任务级记录做 replay analysis，衡量部分任务运行能否复现完整 benchmark 的两两模型结论。论文把 benchmark 子采样变成统计决策问题：目标不是估一个漂亮均值，而是判断排序是否足够稳定。对昂贵 agent eval 来说，这提供了一个比“全量跑或不跑”更细的成本控制视角。

Simon Willison 解析 Claude web_fetch 数据外泄案例，重点是 prompt injection 如何借网页内容影响模型行为。攻击路径把网页读取、工具调用和敏感上下文串起来，说明“只让模型抓网页”也可能形成数据外流通道。文章的价值在于把抽象的工具安全问题具体化成可复盘攻击链。

这篇文章把 agent safety eval 定义为会支撑上线、采购或监管决策的承重证据，并提出 vendor-neutral 的 reconstructability metric。指标关注外部读者能否从报告中重构关键安全结论，而不是只看通过率或红队案例数量。它把评测透明度和治理可用性连接起来，适合放在模型安全报告写作规范中讨论。

论文提出 Who&When Pro，用来评估 LLM 是否能判断 agent 失败由谁造成、发生在哪一步。benchmark 面向多轮 agent 轨迹和多种失败原因，要求模型同时处理责任归因与时间定位；摘要强调当前 LLM 在长交互中明显不如人工标注稳定。它把“agent 出错了”拆成可操作的诊断问题，比只看最终成功/失败更适合调试复杂工作流。

RavenGate 是 LLM gateway，重点能力是在 SSE chunk 边界上做 PII redaction。流式响应里敏感字段可能被拆成相邻 chunk，如果只逐块扫描，邮箱、手机号或账号片段会漏过脱敏逻辑。它抓住的是 LLM gateway 的一个底层细节：安全过滤必须理解流协议，而不是只处理完整字符串。

IntentGuard 检查 PR 是否虽然通过测试但偏离 ticket 意图。它把 issue 或需求描述与 PR diff 一起审阅，尝试发现功能方向、约束或边界条件实现错位的问题。这个项目补的是 CI 的语义盲区：测试能证明某些行为存在，却很难证明开发者实现的是正确需求。

这篇论文把 prompt wrapper 对 benchmark 的扰动量化为 FSI，并用 PSI 衡量输出是否还能被 schema 解析，而不是只报告模型分数。实验覆盖 14 个开源 LLM、25 种 wrapper 和 6 个 benchmark，显示 bias message、JSON schema、Markdown 等外层格式会改变 accuracy/F1 与 parseability。…

AgentAbstain 把 abstention 作为 agent 行为评测的核心，而不是把所有场景都压成完成任务。论文覆盖不确定、约束冲突、不可完成与工具失败等条件，观察模型是否会停止、澄清或拒绝继续行动。这个方向重要在于它评估的是行动边界：一个能完成任务的 agent，如果在错误前提下仍持续调用工具，实际系统风险会被传统 success rate 低估。

ANCHOR 针对 CLI agents 做自动化 alignment auditing，把真实危害任务放进可控命令行环境中观察 agent 行动。它评估的不是聊天拒答，而是代理是否会执行不该执行的文件、网络或系统操作。这个框架的意义在于把安全审计落到可复现的工具轨迹，适合发现“文字上安全、行动上越界”的问题。

Pentagi 是自主 AI agent 渗透测试系统，用于执行复杂安全测试任务。它把渗透测试拆成 agent 可规划、可执行、可反馈的流程，范围通常会涉及枚举、分析、利用尝试和报告生成。安全自动化的关键不是让模型自由攻击，而是让每一步行动可控、可记录、可复查。

这份 gist 从 wire level 分析 Grok Build CLI 发送到 xAI 的请求内容。它把“CLI 会不会上传上下文”这类争论落到具体网络请求、字段和传输行为上。对开发者工具来说，这种分析比阅读隐私政策更接近实际风险面。

Sqlsure 面向 AI 生成 SQL 做语义检查，规则覆盖 fan-out、错误 join key、聚合可加性和策略违例。它的贡献不是再生成一条 SQL，而是在生成之后判断查询是否可能给出业务上错误的数字。对分析系统而言，`SELECT` 能跑通并不等于指标可信，Sqlsure 把这层检查显式化。

这篇短论讨论 AI 参与研究级数学后，数学基础设施要怎样从“读懂完整推导”转向“审计机器可检查的关键声明”。它提出把 AI 产出的核心 claim 暴露为可形式化、可验证对象，并强调人类数学家的解释、反例构造和挑战能力仍然是系统的一部分。文章更像研究议程而非实验论文，局限也在这里：它提出的是验证架构和社会技术分工，还不是一个已经跑完的数学自动化系统。

论文审计 self-consistency 和跨模型一致性作为置信信号的可靠性。结果方向很清楚：一致性通常与正确性相关，但在困难、歧义或共享偏差题上会系统性高估可信度；跨模型投票能降低一部分风险，却不能消除共同推理捷径。它给评测和产品置信度展示泼了一盆冷水，因为“多个模型同意”仍可能只是错在同一个模式里。

OpenAI 文章讨论代码评测中如何区分模型能力信号与评测噪声。核心问题包括任务采样、判分器、执行环境、随机性和基准污染，它们都会让一个总分看起来比实际更确定。对于 coding model 发布，这篇的价值在于提醒读者看 eval 时要追问置信区间、复现路径和失败样本。

Prismata 处理 Web agent 的跨站提示注入：当 agent 同时读取可信任务说明和不可信网页内容时，第三方页面不能被当作同等权限的指令来源。论文的核心机制是把网页可信内容与外部内容的指令边界显式化，限制不可信内容影响工具调用和任务执行。它抓住了 Web agent 安全的根问题：浏览器里的文本既可能是数据，也可能伪装成命令。

ZendoWorld 是交互式视觉概念归纳环境，agent 需要观察样例、提出隐藏规则假设，再设计新实验来验证。关键事实是评估闭环包含观察、假设、实验和修正，而不是一次性给出分类标签。它让视觉 agent 进入接近科学发现的流程：看见规律只是第一步，主动制造能区分假设的样例才是难点。

论文用 internal attribution graph 分析 jailbreak prompt 如何改变模型内部计算路径。重点不是再收集一批越狱样例，而是把越狱时的注意力、中间激活和输出倾向关联成图，观察安全拒答链路如何被改写。它为安全研究提供了更细的观察面：攻击成功不只是输入文本绕过规则，而是内部计算路线被重新引导。

CausalDS 构建面向数据科学 agent 的因果推理 benchmark，把真实数据分析任务和可控因果生成结构组合起来。它考察 agent 是否能从数据、问题和隐含因果关系中得出合理结论，而不是只会调用统计函数或生成图表。这个基准的意义在于把 data science agent 的能力边界推进到“能否判断干预、混杂和因果方向”。

Clayseal 聚焦 agent 的 runtime security enforcement 与 capability scoping，问题设定是长会话中静态 sandbox 会被 agent 逐步摸清约束边界。项目介绍者称团队来自 Harvard 和 Carnegie Mellon，并在十多个 agent providers 与 frameworks 中发现过漏洞，目标是把权限控制从一次性沙…

Simon Willison 引用 Kenton Varda 的观点：团队暂停使用 AI 写 PR、commit、issue/ticket 描述，因为这些描述在 code review 中“worse than useless”。原文摘录的关键批评是，AI 常把 diff 里一眼能看到的代码细节复述出来，却漏掉 reviewer 真正需要的高层 framing：这次改动整体在做什么、为什么这样做、…

Proof of Execution 把 agent 的“执行是否合规”形式化为一个可验证对象，而不是看最终回答是否合理。执行被定义为三元组 x=(C,T,R)：contract、Execution Causal Event Stream 和 replay context；PoE validity predicate 包含 well-formedness 与 5 个 validator-check…

PolyWorkBench 把长程 workplace agent 评测从单语设定推到多语言输入、推理、工具调用和结构化输出混在一起的场景。benchmark 包含 67 个任务、5 个领域：commerce、knowledge work、legal analysis、localization 和 manufacturing；评分混合 structural grading、executable v…

论文把 coding agent 常见的“一个子目标用完资源后权限仍然留在界面里”定义为 lingering authority，并提出 PORTICO 作为 reference monitor。PORTICO 把显式 task contract 编译成 initial capabilities、grant rules、trusted closure predicates 和 global den…

Noma Security 披露 GitLost，核心情节是诱导 GitHub 的 AI agent 泄漏 private repos。HN 讨论页有 465 points 和 178 comments，热度来自一个直接击中企业 agent 权限边界的问题：当 agent 能跨仓库读写或调用工具时，提示注入与权限配置失误可能把私有代码暴露到不该出现的上下文里。即使没有补充攻击链细节，标题本身已经说…

这篇不是新 benchmark，而是把 2023-2026 年的 27 篇 benchmark、taxonomy、audit paper 统一整理成 agent limitation taxonomy，覆盖 19 个不同 benchmark。作者归纳出 6 类失败：工具调用与参数错误、规划和约束满足失败、长程上下文积累导致退化、多 agent 协调失败、对抗或欠约束条件下的安全失败，以及测量有效性…

Dan Luu 这篇笔记围绕 agentic coding 的测试流程、LLM benchmark 方差和实践观察展开，链接锚点直接指向 `#llm-variance`。它和 OpenAI SWE-Bench Pro 审计放在同一天很有对照意义：一个从 benchmark 数据质量出发，一个从实际 agentic coding 过程中的方差和测试流程出发。HN 讨论页只有 5 points、1 c…

ToolFailBench 给工具调用失败做了更细的诊断切分，包括该调用时没有调用、选择了错误工具、参数填错、调用后不使用返回结果等。这样的 benchmark 比单一成功率更接近 agent 调试现场，因为同样失败可能来自 planner、schema grounding、参数抽取或结果整合。它的技术价值在于把“工具使用不行”拆成可修补的子问题。

这篇研究 benchmark harness 如何改变多步 agent 的状态信念。它关注 agent 在评测框架提供的提示、状态显示和工具反馈下形成的 belief，是否偏离真实部署中会形成的判断。看点不在新模型，而在提醒 benchmark 自身也是干预变量；如果 harness 改写了 agent 的世界模型，分数就不一定代表线上行为。

Fence 的定位是在 coding agent 执行 shell 命令前拦截危险操作。它把风险控制放在命令真正落地之前，尤其针对删除、覆盖、权限、网络访问等高风险命令。这个项目反映出 agent 安全的一个朴素但有效切入点：先守住本地执行边界，再谈更复杂的策略系统。

FORGE 描述的是 research-trajectory hijacking：攻击者通过污染可检索文档影响 deep research agent 的规划、证据选择和最终路线。它比单轮 prompt injection 更隐蔽，因为恶意影响会在多步检索和写作中持续累积。论文值得关注的点是攻击对象从“最终回答文本”前移到了“研究轨迹本身”。

DualView 面向个人 AI agents 的间接 prompt injection 防护，核心是把本地可信个人上下文和外部不可信内容分开建模。个人 agent 同时读邮件、网页、日历和文件时，攻击内容可以混进普通数据源里触发越权行为。该框架的价值在于处理跨源指令混淆，而不是只依赖单次输入过滤。

论文诊断 GUI agents 在像素截图和结构化界面信息之间如何建立状态信念。它比较视觉证据与 DOM/accessibility tree 等结构信号的作用，尤其关心两者冲突时 agent 依赖哪一边。这个问题直接关系到桌面和浏览器 agent 的可靠性：截图看起来正确，不等于可点击状态或控件语义真的一致。

这篇论文把工具型 LLM agent 的过程要求形式化为线性时序逻辑，而不是只在任务结束后看最终答案是否正确。它把同一套 trace rule 用在三处：离线测量、运行时 enforcement、以及生成/筛选训练信号。看点在于它把“先查证再行动”“不得在未授权状态下调用工具”这类工程规范变成可执行的轨迹约束，适合接入高风险 agent workflow。

AgentGym2 将 LLM agent benchmark 推向“去理想化”环境，把真实部署里的噪声、部分可观测、工具不稳定和交互约束纳入评测。它不是再造一个干净任务集，而是考 agent 在环境不完美时能否验证、恢复并持续推进。这个方向适合检验 agent 工程成熟度，因为真实系统失败往往来自边界条件而非核心能力题。

Agent Step Value 把 agent 评估从整条轨迹的终局分数拆到单步状态转移。论文用 state-grounded LLM evaluator 判断某一步是否让环境状态更接近目标，因此能区分“中间操作合理但最终失败”和“最终成功但过程不可复现”。这种粒度更适合训练和调试多步 agent，因为它能指出哪一步开始偏航。

这篇系统化讨论 agent data injection：恶意内容可以藏在网页、文档、工具返回值或外部数据库中，不必直接写成用户 prompt。论文把攻击面放在 agent 的数据供应链里，分析它如何影响工具选择、决策流程和敏感动作。它把“外部数据不可信”从安全常识推进到 agent 架构层面的威胁模型。

MakerChecker 把 agent 安全治理拆成 scanner、embedded library、server gateway、SDK 和 proof verifier。`npx @makerchecker/scan .` 用于找出 agent 已经能做的高风险动作，例如删数据、转账、跑 shell、外泄 secret；运行时则用 deny-by-default、role grants、人…

Loopers 面向 agent runtime 的网络出口控制，定位为 fail-closed firewall / reverse proxy。它把外部访问放到独立代理层处理，agent 没有被明确允许的请求就不应默认出网。这个项目切中的不是模型能力，而是 agent 接上 shell、浏览器和 API key 后的账单与数据外泄边界。

论文构造 clean/messy minimal pairs，保持架构、依赖和外部行为一致，只改变静态分析违规与认知复杂度，由此隔离“代码整洁度”变量。33 个任务、6 组仓库、660 次 Claude Code 试验显示 pass rate 没变，但 cleaner code 让 token 使用少 7-8%，文件重访减少 34%。它把 maintainability 的收益从人类可读性扩展到…

论文提出 AI 智能家居的社会技术威胁模型，覆盖设备行为、用户交互、数据生命周期、平台治理和家庭内部关系，而不是只列模型攻击或 IoT 漏洞。作者给出的贡献包括面向 AI smart home 的威胁分类、专家反馈验证和缓解建议，强调误触发、隐私泄露、用户操控和责任链缺口会互相叠加。它的价值在于把智能家居从“设备安全”推进到“自动化决策进入私人空间后的系统风险”。

Vera 提供端到端 agent 安全测试流程，先自动发现风险，再从执行轨迹里抽取证据，最后用 evidence-grounded verification 判定问题是否成立。论文的关键贡献是把 red-teaming 的主观判断拆成三个可审计步骤，尤其适合有工具调用、文件访问或外部 API 的 agent。它值得读，因为安全测试的难点已从“能否写出坏 prompt”转向“能否大规模证明 agen…

Elena Verna 批评 AI 产品叙事中的“confidence theater”，即界面和营销把不确定结果包装得过于确定。文章强调用户需要看到概率、限制和失败模式，才能判断何时信任、何时验证。它把模型校准问题转译成产品设计问题：不确定性不是缺陷提示语，而是交互契约的一部分。

PACE 试图用更便宜的非 agentic 能力测试预测昂贵 agent benchmark 的结果，目标包括 SWE-Bench、GAIA 这类需要长轨迹和环境验证的评测。关键事实是它把模型筛选前置为 proxy evaluation，减少每次都运行完整 agent benchmark 的成本。这个方向适合评测工程，因为 agent benchmark 的价格、时延和不稳定性正在成为模型迭代的现…

Janus 构建了一个研究 agent 权限管理的 playground，把用户确认、授权策略、工具调用控制和执行轨迹放在同一个实验环境中。它比较的对象包括用户参与程度不同的 permission flow，而不是只给 agent 一个静态 allowlist。论文的价值在于把 agent 安全从抽象原则落到交互协议：什么时候问用户、问什么、授权后如何限制工具能力。

Reuters 报道称，Alibaba 因所谓后门风险计划在工作场景禁用 Claude Code。这里的关键事实不是某个单独工具被点名，而是企业开始把 AI coding agent 的仓库访问、命令执行和外部服务连接视为安全审计对象。它反映了 coding agent 进入公司内网后，合规团队会把模型能力与供应链风险放在同一张表里评估。

olmOCR 把 PDF、PNG、JPEG 等文档转换成 clean Markdown/plain text，目标是服务 LLM datasets 和 training。README 列出对 equations、tables、handwriting、complex formatting、headers/footers removal 的支持，并配套在线 demo。项目同时发布 olmOCR-Ben…

Simon Willison 把 DSPy 用在 Datasette Agent 的 SQL system prompt 评估与改进上，而不是只凭主观感觉改 prompt。RSS 摘要显示他在 AIE keynote 后，让 Claude Code for web 用 Claude Fable 5 启动异步研究任务，安装最新 Datasette alpha 和 datasette-agent 来做…

Simon Willison 记录 Geoffrey Litt 在 AIE 提出的 framing：与 coding agents 协作时，人必须理解代码才能参与。文章关注的问题是 agent 能生成越来越大、越来越复杂的改动后，维护者的理解可能逐步偏离实际系统，形成 cognitive debt。它不是反 agent，而是在强调 review、steering 和 ownership 都依赖持续…

Snorkel 发布 Senior SWE-Bench，定位为评估 agents 是否具备 senior engineer 级能力的开源 benchmark。digest 描述强调“assesses agents as senior engineers”，说明它试图从简单 issue 修复扩展到更高层的软件工程判断。即使页面正文没有被抓到，标题本身也反映出 SWE benchmark 正在从 pa…

PHREEQC-MCQ-200 用确定性水文地球化学模拟来测工具增强科学 agent，要求 agent 构造 PHREEQC 输入、运行 simulator、读取结构化输出并回答选择题。基准包含 21 个验证场景衍生的 200 道题，覆盖 frontier 和 mid-tier model families。实验显示 simulator access 提升总体准确率，但也会让 agent 丢掉无工…

api-doctor 是一组确定性 API 集成规则/测试，用来抓 AI 生成代码中的常见错误。README 支持 Resend、Supabase、Auth0、Firebase、Lovable、Browserbase、OpenAI Computer Use、TipTap、ElevenLabs、Twilio 等 provider；例如表格中 Firebase 有 20 rules、Resend 有…

Joey Hess 说明自己不接受依赖中包含 LLM 生成代码的维护政策。这个立场把“LLM 生成代码”从单仓库风格选择提升到 dependency trust 问题：下游项目引入依赖时，也继承了作者如何审查、理解和承担代码责任的承诺。它适合作为 supply-chain 讨论的现实样本，因为政策本身会影响包选择、贡献接受和维护边界。

Moxie 是 open-source、local-first、BYO-key 的 money agent，负责收据归档、账户读取、发现 zombie subscriptions、重复/错误扣费、missing refunds 和 renewal gouging。它可以草拟 cancel、dispute、refund chase，但每个动作都要先 preview、simulate 并经用户批准，随…

CursorBench 3.1 用真实 Cursor sessions 中的 ambiguous、multi-file tasks 评估 agents，并同时公开 score、cost、tokens 和 steps。页面表格中 Fable 5 Max 得分 72.9%、每任务 18.02 美元、63842 tokens、76 steps；Composer 2.5 得分 63.2%、成本 0.55…

这篇把 function-calling LLM 的风险定位到 stateful schema、structured arguments 和 untrusted tool outputs 被混入同一上下文的结构性漏洞。SMT 是黑盒攻击框架，它构造类似 moderation-auditing 的多轮轨迹，再把安全拒答当作执行失败反馈，逐步诱导模型放松安全约束。五家商业 LLM provider、两…

Secret Shuttle 的设计目标很窄但关键：让 coding agent 能移动 secrets，但永远不把 plaintext 放进 agent context。agent 只看到 `ss://stripe/prod/STRIPE_WEBHOOK_SECRET` 这类 refs、fingerprints、field metadata 和状态；本地 daemon 持有 vault key、…

deptrust 做的是 agent 推荐依赖版本前的本地安全检查：CLI 和 MCP server 直接查询公共 registry、OSV 与 GitHub Advisory Database，没有托管 deptrust 服务。README 列出 npm、PyPI、Cargo、Go modules、RubyGems、NuGet、Maven、Packagist、pub.dev、CocoaPods、…

RoPoLL 把 LLM-as-judge 多评审团放进 Huber contamination 模型，证明普通 PoLL 共识在任何正污染下都可能因为单个偏置 judge 产生无界 bias。方法上它不换 jury，只把聚合函数换成鲁棒均值估计，实例化为 tuning-free 的 geometric median，并给出有限样本误差界和 minimax lower bound。实验覆盖 13…

QVal 的切入点是：dense supervision 信号不该每次都靠完整训练 pipeline 的下游表现来评估，因为那会混入工程配置和训练成本。它用 training-free testbed 直接衡量 state-action score 是否 Q-aligned，也就是能否按强 reference policy 的 Q-values 排列动作。QVal-v1.0 比较 21 种 den…

ClawArena-Team 专门隔离 LLM 作为 manager 的能力：主模型只能看文本、只能直接访问部分 workspace，但可以创建子代理、分派任务、接收异步结果并合成答案。benchmark 包含 41 个多轮、多模态、多目录场景、258 个 evaluation rounds 和 72 个 staged updates，评分完全 execution-based，不用 LLM jud…

这篇论文不是只看最终答案，而是构造多轮证据累积环境，逐步检查 LLM 的不确定性和信念是否接近贝叶斯后验。BayesBench 覆盖三类任务：Bayesian estimation、Bayesian prediction，以及带用户 persona framing 的 latent-framed prediction，并测试 3B 到 70B 的七个模型。结果细节很有意思：模型规模确实改善潜变量推…

AgentBound 做的是执行前治理，而不是模型对齐本身：每个拟执行动作同时经过 delegated authorization、owner-signed behavioral constitutions 和 site action contracts 三套权威判断，再由形式化决策模型保守组合。它还为每次决策生成 cryptographically verifiable governance r…

Semgrep 用 IDOR 漏洞检测 benchmark 比较 GLM 5.2、Claude Code、GPT-5.5、MiniMax、Kimi、DeepSeek 等模型和 harness。文章给出的关键结果是：Semgrep Multimodal harness 配 GPT-5.5 达到 61% F1、配 Opus 4.8 达到 53%；裸 prompt 的 GLM 5.2 达到 39%，高于…

Caliper 把 agent skill 可靠性测试产品化：同一任务运行 k 次，计算 pass@k，并可同时跑 baseline 判断 skill 是否真的改善了裸 agent。README 示例中 “With skill” 为 98%、“No skill” 为 55%、Delta +43%，任务规格支持 LLM judge 的 `expect:`，也支持本地 Python `assert:`…

AgentWatch 被描述为位于 LLM API 前的 runtime budget 与 policy enforcement 服务。它的工作位置像模型调用网关：agent 请求真正进入 provider 前，先检查预算、策略、可能的越权行为和运行时限制。这个方向的实际价值在于 agent 系统的风险通常发生在执行期，包括循环调用、成本飙升、敏感工具误用和策略漂移；把控制点放在 API 前，可以…

Agent Memory Bench 将 agent memory 的失败模式拆成 retraction、collision、recall、conflict 四类，并用 13 个场景离线跑榜。README 中 reference baseline 的差异很刺眼：`typed-constraint` 总分 92%，`keyword` 46%，`recency` 23%；作者指出传统检索相关性可能把三…

OpenAI Codex issue #2847 请求提供 repo-local 与 global 的敏感文件排除机制，当前状态为 open，标签包括 enhancement 与 sandbox。issue 明确提出类似 `.codexignore` 的设计：保留 `node_modules/` 可搜索，但绝不读取或发送 `.env`、`.env.`、`.pem`、`id_`、`.aws/`、`.…

xtra 用有限状态机检测 conversational social engineering，不使用 LLM、embedding 或 semantic search。它跟踪 flattery density、give/ask ratio collapse、escalation velocity、reciprocity pressure、decoy turn detection 和 scope m…

Simon Willison 记录一次让 2,000 人尝试攻击 AI assistant 的挑战结果和观察。这个规模比单人 prompt injection demo 更接近真实外部用户会如何探索系统边界。它的价值在于把 assistant 安全从“设计者想象的攻击”拉回到大量实际尝试的分布。

论文把 verifier 质量拆成 scalability、faithfulness、robustness，并指出测试、LLM judge、用户反馈和 agentic evaluator 都无法同时满足三者。一个具体结果是 SWE 类任务中加入 quality judge 与 trajectory monitoring 后，hacked resolved rate 从 28.57% 降到 0.56…

这是一篇假想 incident report，围绕 AI review agent、依赖更新和自动化失控展开。主线是 review agent、dependency update 与自动化链路互相放大问题。它像一份工程寓言：当“LGTM”被自动化系统消费，错误不再停留在代码评审层，而会沿 CI/CD 和 release pipeline 扩散。

论文构建 440 个桌面任务、18 个应用、12 类 workflow 的匹配 benchmark，控制 goal、初始状态和 verifier，仅改变执行通道。最强 GUI agent full pass rate 为 59.1%，原始 skill CLI 为 48.2%，但 verifier-guided skill augmentation 把 CLI 提到 69.3%。结论不是 GUI 或…

这篇把 agent prompt、MCP tool 描述和自然语言 policy 文档翻译成 Cedar Policy Language，用 generator-critic loop 生成可执行策略。作者在 MedAgentBench 上报告 autoformalized policies 覆盖的自然语言规范显著多于既有手写 symbolic enforcement。它的实际意义在于把 agen…

论文把 CaMeL、FIDES、Progent、RTBAS、FORGE 等 out-of-band 防御归纳为传统完整性保护、reference monitor 与 least privilege。作者在 AgentDojo 上用 Qwen2.5-7B 和单 H200 复现 Progent，平均攻击成功率从 25.8% 降到 4.2%，手写 adaptive attack 为 2.6%。它的谨慎之…

论文定义 long-horizon LLM agents 的 premature commitment：agent 很早固定一种证据解释，之后的工具调用和推理更像是在维护这条路径。它提出 representational commitment，用同一时间点跨运行 hidden-state 收敛来诊断过程是否已经坍缩到稳定轨迹。这个视角补足 final-answer scoring 的盲区，因为最终…

TROPT 统一离散 text-trigger optimization：搜索一段文本，使模型在摄入后朝指定目标改变输出或内部行为。论文把应用落在 LLM jailbreak、红队、审计和可解释性，并批评现有优化器即便开源也分散在各研究仓库中，接口和比较条件不一致。这个框架的意义在于让“提示触发器搜索”从一次性攻击技巧变成可复用优化问题。

SkillHarness 研究 CUA 从成功轨迹中学习可复用技能时的安全风险，尤其是在动态交互环境中遇到 adversarial interactions 的情况。现有技能学习方法常默认环境静态且安全，但一旦恶意页面或交互诱导进入成功轨迹，危险动作也可能被沉淀成技能。它把 agent 技能库的安全性前移到学习与复用阶段，而不是等执行时再拦截。

Simon Willison 解读 Charles Ye、Jasmine Cui 和 Dylan Hadfield-Menell 的 prompt injection 研究，并特别赞赏作者提供 blog-style writeup。核心观点是把 prompt injection 建模为 role confusion：模型混淆开发者、用户、工具输出等角色的指令边界。这个表述把问题从“坏提示词绕过规则…

Proctor 为 AI coding-agent benchmark 提供 signed isolation bundles。它试图把评测环境、权限边界和可复现性封装成带签名的隔离包，让 benchmark 任务能被分发、验证和重复运行。这个工具针对的是评测基础设施本身：coding agent benchmark 若不能保证环境一致，分数很容易变成一次性脚本结果。

PlanBench-XL 评估 LLM tool-use agents 在大工具生态里的长程规划，特别是工具可见性受检索限制时的决策。基准包含 327 个零售任务和 1,600+ 工具，要求 agent 发现相关工具、推断隐含子目标并适应动态环境。它把“会调用工具”提升为“在看不全工具目录时仍能规划”的问题。

Legant 给 AI agents 提供 bounded authority，让 agent 代表用户行动时只拥有明确授予的权限范围。这个方向关注“可以替我做事”和“拥有完整账户权力”之间的差距，把授权边界放到执行层。它适合需要真实外部动作的 agent 应用，因为安全问题不只来自模型输出，也来自模型可触达的权限面。

OpenAI 介绍其参与 advanced AI 共享标准建设的工作，重点包括 evaluation frameworks、safety practices 和 global cooperation。feed 摘要明确提到 Appia Foundation，说明这条不是单个模型发布，而是治理与评测标准化动作。它值得关注的地方在于 advanced AI 安全正在通过基金会、评测框架和跨机构协作寻找…

EnterpriseClawBench 从真实企业 agent session 构造 workplace benchmark，覆盖读取异构文件、调用工具和交付业务产物等任务。核心数字是 852 个可复现任务，每个任务配有恢复出的 fixtures，用来把原本专有、状态复杂的工作流转成可重复评测。它把 enterprise agent 的评测重心放在真实办公痕迹，而不是人工编写的玩具任务。

论文引入 AgentCIBench，评估 computer-use agents 在跨邮件、日历、待办等个人应用工作时是否遵守 contextual integrity。问题不是 agent 会不会调用工具，而是当它在一个上下文执行任务时，是否会把另一个上下文中不该出现的信息带进来。这个 benchmark 把隐私风险从“泄露敏感字段”细化为“上下文不适当的信息流动”。

system_prompts_leaks 收集 Anthropic、OpenAI、Google、xAI、Cursor、Copilot、VS Code、Perplexity 等产品的 system prompt 泄露样本。README 的近期更新包括 GitHub Copilot macOS、Claude Design、GPT-5.5 Codex、Claude Fable 5、Claude Code…

WorldLines 构建长期家庭助理轨迹，记录对话、动作、执行反馈、物体和设备状态变化，并转成 Memory QA 与 Embodied Task Planning 样本。作者提出 ObsMem，用 visibility-aware memories 和 action-native state trails 维护状态；论文指出 partial observability、被覆盖的世界状态和长期记…

这篇论文把 prompt injection 的根源放在模型内部角色感知上：模型会根据文本风格判断“谁在说话”，而不是稳定服从外部 role label。作者设计 role probes，并用 CoT Forgery 把伪造推理注入用户提示和工具输出；摘要报告前沿模型攻击成功率约 60%，且生成前的 role confusion 程度可以预测攻击结果。它的价值在于把安全边界从 prompt 模板讨…

PreFlight 是本地优先的 AI 生成代码安全门禁，扫描 auth、RLS、SQL、SSRF、命令执行、依赖和 secret handling 等变更风险。README 描述了 CLI、VS Code/Cursor companion、The Eye 本地 daemon、MCP bridge、Micro-Fuzzer 和 compact Code Property Graph；风险信号分 H…

Eugene Yan 总结网络安全 eval 的设计模式，覆盖目标环境、输入难度、工具和 grader。重点在于让评测可执行、可判定、可复现，而不是只让模型写安全建议。对 cyber eval 来说，grader 能否验证真实利用、修复或防御效果，往往比题目文本本身更决定评测质量。

OpenAI 发布 Daybreak，把 Codex Security、GPT-5.5-Cyber、partner program 和 Patch the Planet 组合成防御性安全工具线。官方数据称 Codex Security preview 已扫描 30M+ commits 和 30K+ codebases，人工标记 70K+ findings fixed，自动判定 500K+ find…

GateMem 针对医院、办公室、校园和家庭等多主体共享助手，评估合法长期请求 utility、上下文授权边界访问控制，以及删除后的主动遗忘。论文用长篇多方 episode、增量 memory injection、hidden checkpoints、structured judging 和 leak-target annotations 组织测试；结论是当前方法没有同时做到高 utility、强…

rlsgate 针对 AI-built Supabase 应用里重复出现的高危洞做静态部署门禁。README 给出的背景很具体：CVE-2025-48757 和 Lovable disclosure 涉及 170+ 个 live apps 泄露 PII，常见模式是 RLS policy 允许任意登录用户读所有行；项目还引用约 80% RLS 错误、72% 硬编码 secret 的观察。它把检查面控…

Presidio 是 Microsoft 的 PII de-identification SDK，覆盖文本、图片和结构化数据。README 把它拆成 Analyzer、Anonymizer、Image Redactor、Structured 等组件，核心能力是 context-aware、pluggable、customizable 的敏感信息识别与处理。它在 agent/RAG 场景里仍然实用，…

Lelu 针对的是“有权限的 agent 被操纵”这一类问题，而不是传统 RBAC/ABAC 已解决的身份授权。Quickstart 展示了四种决策结果：allow、human_review、compute 和 deny，其中 compute 可以把动作重定向到更安全的替代工具；demo 还展示了藏在 resource note 里的 prompt injection 在 policy 前被拦下。…

Cloak 解决的是 agent 工具调用里的 secret 暴露边界：模型只拿到 key 的名称，实际请求由本机加密 vault 代签或代理，明文值不进入上下文、日志或供应商侧记录。README 特别强调没有 `read_secret` 工具，agent 能 list、sign、proxy、mint，但不能读存储值；同时每个 key 默认只能发往 allowlist host。它比“提醒用户别粘…

SkillsGuard 扫描的是 agent skill 供应链：`SKILL.md` 和随包脚本还没运行前，先用静态规则抓危险行为。README 里的关键实现是两路扫描：原始文本跑 100+ rules，同时抽取 base64、hex、URL encoded blob 递归解码后再扫，避免 payload 被简单包裹绕过。输出覆盖 CLI、JSON、SARIF、MCP，并按 0-100 risk…

Chrome 的 Lighthouse agentic browsing scoring 文档把“网页是否适合 agent 操作”正式纳入审计语言。页面导航显示该类 audits 覆盖 WebMCP integration、registered tools、forms missing declarative WebMCP、schema validity、discoverability、`llms.…

这篇把焦点放在代理的 over-privileged tool selection：当低权限工具已经足够时，LLM 代理仍可能选择更高权限的工具。摘要指出过往 tool-selection 研究更多关注 safety-agnostic metadata preferences，较少检验权限敏感选择。这个问题直接影响最小权限原则，因为危险不一定来自恶意目标，也可能来自模型对工具能力的保守或粗糙选择。

StaminaBench 把编码代理评测从单次任务推进到 100 轮连续变更请求，观察模型在长会话里是否还能保持需求、代码状态和测试反馈的一致性。这个设置抓住了真实软件协作中的一个盲点：代理前几轮写得通，后面仍可能在局部修改中破坏早先约束。它适合用来比较不同代理在持续维护、上下文压缩和回归控制上的耐力，而不是只看一次性 pass rate。

Multi-LCB 把 LiveCodeBench 扩展到多种编程语言，用来观察代码模型是否只在主流语言上表现稳定。摘要先强调 LCB 通过持续加入新题并按发布时间过滤来做 contamination-aware evaluation，再指出它仍局限在 Python。对于编码代理，跨语言能力不仅是语法迁移，还涉及测试框架、标准库习惯和错误修复策略的变化。

这篇把 agentic AI 的运行时治理表达为 deontic policies，也就是用义务、许可和禁止来描述代理能做什么、必须做什么、不能做什么。摘要强调的风险面包括调用工具、操作数据、安装软件以及跨组织协调 peer agents，单靠 authentication 和 access control 不足以约束后续行为。这个方向把安全治理和实际 tool-calling 接口连接起来，便于…

这篇讨论 LLM agent 评测的 predictive validity，问题不是某个模型在静态榜单上排第几，而是榜单结果能否预测真实部署中的表现。摘要给出的规模是一个 MCP-based industrial-agent benchmark 的 14 组并行实现研究，覆盖新资产类别、多模态视觉扩展、不同编排方式和检索策略。它把评测焦点从“分数排序”转向“分数是否能指导选型”，这是代理基准进入…

promptfoo 提供 LLM 应用评测、prompt 测试和 red teaming 的 CLI/library。它的用途是把 prompt、模型、工具输出和安全用例写成可重复测试，而不是靠人工试聊。随着 agent 进入 CI/CD，promptfoo 这类 eval harness 会变成发布门禁的一部分。

iOSWorld 构建 26 个原生 iOS app，覆盖交易、消息、旅行、社交关系和财务活动等互联个人数据。它有 133 个任务，其中 60 个多应用任务跨 2 到 8 个 app，46 个任务要求从个人数据里推断偏好或历史模式。最佳配置总体 52%，多应用任务只有 37%；vision+XML 对 frontier models 最多提升 26 个百分点，显示 accessibility tr…

Google DeepMind 描述面向 AI agents 的 AI Control Roadmap，核心是把传统安全控制与实时监控结合，约束代理访问内部系统后的行动边界。digest 显示关注点包括工具权限、可观测性和风险响应，而不是单个模型能力。它说明大厂的 agent 安全讨论已经进入运行时控制层。

SafeClawBench 用 600 个受控对抗任务覆盖直接/间接 prompt injection、tool-return injection、memory poisoning、memory extraction 和歧义推断等 6 类攻击。论文最有价值的数字是：12,000 行匹配分析中，347 个沙箱伤害有 291 个发生在语义检查通过的行里。它说明 tool-using agent 的安全…

MyPCBench 在 Linux 桌面中放入 17 个模拟真实 Web 应用，并用 Michael Scott 这一 persona 的登录态、历史数据和个人上下文构造 184 个任务。6 个模型在统一 computer+bash 工具面上测试，最佳的 Claude Opus 4.6 只完整解决 55.4%。它强调个人助理的难点在跨应用长轨迹和隐含个人信息，而不是单网页操作。

MosaicLeaks 用 benchmark 测量 research agent 在合成研究场景里是否泄露秘密。digest 的重点是代理要在完成研究任务时处理受限信息，并观察输出或工具使用是否跨越授权边界。它把 agent 安全从“会不会听恶意 prompt”推进到“能不能维持任务级保密约束”。

Hugging Face 文章讨论如何在自有工具链上评测开源模型的 agentic 能力。它反对只看通用榜单，因为工具 schema、调用错误、恢复策略和环境延迟都会改变模型表现。更实用的结论是：agentic eval 应该贴近团队实际工具和失败模式，而不是复制一个外部 benchmark 名字。

DOS 是多代理编码工作流的裁判，不相信 agent 的“完成”叙述，而是读取 git、文件树、时间和 CI 等 artifact。最小用法是 `dos verify PLAN PHASE`：commit subject 中有对应 phase token 就返回 SHIPPED 和 exit 0，没有就 NOT_SHIPPED 和 exit 1。README 列出 v0.26.0、3900+ te…

这篇论文构造了一个 500 天创业公司经营环境，代理通过 Python 接口管理定价、营销、预算等决策，并从噪声业务数据库里推断策略。关键结果很克制：只有 Claude Opus 4.8 和 GPT-5.5 最终高于 100 万美元起始余额，但二者也不能稳定盈利。它把 agent benchmark 从“会不会调用工具”推进到长期资源配置、信息获取和策略调整。

SEAGym 不是只给自演化 Agent 一个最终 task score，而是记录 harness 更新过程本身：prompt、memory、tools、middleware、runtime state 和 model-tool loop 如何变化。它把 Harbor-compatible benchmark 变成带 train batches、frozen update-validation、h…

ProvenanceGuard 处理的是 source-aware factuality：一个 claim 即使被 pooled evidence 支持，只要归因给了错误来源，在 MCP 场景里仍然是事实性风险。系统读取带稳定 tool ID、source ID、raw output 的 MCP trace，把回答拆成 atomic claims，路由到 source-specific evide…

这篇 position paper 直接挑战 coding benchmark 的单一分数传统：真实 coding agent 是模型、harness、context、environment、feedback signal 的组合系统，任何组件变化都可能带来与模型代际差距相当的分数变化。作者列出三个 misalignment：benchmark score 混淆模型与 harness；单一 ref…

OpenAI 的 LifeSciBench 不是生物知识问答集，而是把应用生命科学研究拆成 evidence handling、analysis、design and optimization、scientific reasoning、validation and operations、translation、scientific communication 等 workflow。数据集规模是 7…

Fara 发布的是 Fara-7B computer-use agent 及其评测 harness，而不是只给一个模型权重链接。README 更新记录显示 Fara1.5 agent harness 将推出，并且 WebTailBench V2 已刷新：V1 中 calendar-bound dates 过期的问题被前滚处理，609-task suite 的预计算 rubrics 也被修订。这个项…

这篇论文把 Agent 的失败归因到 intent-execution gap：模型打算做的事与 harness 实际执行的事不一致，或者 harness 暴露的行为偏离模型假设。作者构建 Simple Strands Agent，在 SWE-Pro、SWE-Verified、Terminal-Bench-2 上复现或改进多个模型提供方报告的 pass@1。更有价值的是 138k 条轨迹分析：它把…

这篇论文把 Agent skill 当成可单独评估的知识 artifact，而不是把它埋在完整 agent app 的总体分数里。作者从 500 个真实世界 skills 生成 1,000 个任务，附带 instruction-following 与 goal-completion rubric，并在 19 个 proprietary 与 open-source agent-model confi…

这项工作提出 WebStep，用自动语义状态跟踪替代只看最终成功/失败的 web agent 评测。WebStep 有 1,800 个任务实例，每个网站在 GUI 背后维护确定性 semantic MDP，从而无需人工标注即可分析中间轨迹。论文显示三个 agent 的成功率都在 31-33% 附近，但探索覆盖与执行准确度差异很大；在 Housing 任务里 OpenAI CUA commit 动作…

ToolMenuBench 把可见工具菜单本身作为 agent 评测对象。它系统改变菜单大小、干扰工具、状态依赖和风险暴露，并同时记录 visible-tool count、risky-tool exposure、wrong-tool calls、premature actions 与 token usage。七个模型后端、三种菜单大小、六种过滤方法和七个评测设置中，CMTF 把 all-tool…

OpenAI 介绍 Deployment Simulation：重放经过隐私处理的历史真实对话，移除旧模型回答，让候选模型补全，再估计发布后不良行为频率。文章称共分析约 1.3M 去标识化 GPT-5 Thinking 系列对话，覆盖 20 类 undesired behavior，预测中位 multiplicative error 为 1.5x。它还把方法扩展到 120,000 条内部 agen…

OpenACA 把 SCA 的思路迁移到 agent stack，扫描传统依赖工具看不到的 MCP、skills、plugins、hooks 和 commands。它解析 `mcp.json`、`.mcp.json`、`claude_desktop_config.json`、`.claude-plugin/plugin.json`、`.claude/settings.json`、`SKILL.md…

OSGuard 针对 computer-use agent “达成目标但破坏环境”的失败模式建立评测。它有 action-level benchmark，也有从 OSWorld 手工构造的 risk-augmented execution suite，后者在原任务仍可完成的前提下引入破坏性 overwrite 等 latent hazards，并用状态安全不变量扩展评分器。论文的关键观察是 mul…

mcpwn 是 MCP server 的授权红队 CLI，覆盖连接、枚举、调用、代理和注入测试。它支持 stdio、Streamable HTTP、legacy SSE 自动识别，可以列出 tools/prompts/resources/resource templates，调用工具、读取资源，并进入 persistent interactive shell。更激进的测试能力包括把 HTTP/SS…

Kitchen Rush 把 tool-calling benchmark 做成实时厨房任务，延迟会直接消耗游戏时间。模型用 `collect`、`chop`、`cook`、`plate`、`serve` 等 native function calls 处理订单；思考越慢，食物越可能烧焦或订单越可能过期。每局输出 KR 0-100 分，0 是 do-nothing baseline，100 是零延…

Kintsugi 是本地优先的命令拦截层，覆盖 AI agent 和人工 shell 操作。它用确定性规则与 bash AST parser 判断危险命令，LLM 只解释风险，不能降低阻断等级；命令隐藏在 substitution、heredoc 或 subshell 中也会被 AST pass 捕获。README 报告 0/176 dangerous commands leak to Safe、…

Deep-XPIA 是面向多 agent 系统的 prompt injection benchmark。它把注入风险从单模型/单工具场景扩展到多个 agent 协作链路，重点观察攻击内容如何跨中间产物、角色和工具边界传播。这个基准的意义在于评估系统级防护，而不是只测试某个模型是否会在单轮对话中拒绝恶意指令。

CODA-BENCH 构建了同时要求代码能力和数据探索能力的 Linux sandbox。它基于 Kaggle 生态包含 1,009 个任务、31 个社区，每个任务环境平均 980 个文件，agent 必须先在噪声文件层级中找到相关资源，再生成分析代码。顶级系统成功率只有 61.1%，说明当前 code agent 在“找对数据”与“写对程序”的衔接上仍有明显短板。

CMG 为 LLM judge 加了一层 evidence/claim/decision 图谱，要求 verdict 建立在显式 claim 上，而 claim 必须引用输入证据。README 列出 `missing_verdict`、`invalid_verdict`、`uncited_verdict`、`no_supported_claims`、`rubric_coverage_gap`、`r…

Cryptography Engineering 把 Apple 私有推理方案放在 agent 隐私边界里讨论。digest 的重点是即使模型推理在更私密的环境中完成，agent 为执行任务仍可能需要读取个人上下文、调用服务和暴露意图。它值得看是因为“private inference”解决的是一部分计算位置问题，不等于解决端到端代理权限问题。

SkillSpector 在 Trending 中再次出现，说明 agent skills 安全开始成为独立工具类别。README 的 64 个模式覆盖从 prompt injection 到 YARA、MCP least privilege 和 MCP tool poisoning，输出支持 SARIF 也让它能进入 CI/CD。它值得关注是因为 skills/插件市场一旦扩大，安装前扫描会像依…

Data-review 把 PR 里的数据影响审查拆成确定性脚本和 agent 判断两层：脚本算 blast radius、tieout、baseline diff、row-level EXCEPT ALL，agent 只判断变化是否符合作者声明。README 的演示把 cents-to-dollars 转换错误暴露为 `sum(amount)` 从 134.50 跳到 13,450；更大的 pr…

Agent Gate 是给 AI 生成 PR 用的 deterministic CI firewall，规则执行时不 checkout PR 代码、不调用 LLM、不执行仓库脚本，也不从 PR head 加载策略。README 中它会检查 out-of-contract edits、workflow permission escalation、agent control-plane drift、m…

τ-Rec 为多轮推荐 agent 建了一个可验证 benchmark，用 structured catalog predicates 和 reveal-tagged elicitation 取代主观 LLM-as-judge。RTE 机制控制约束在对话中何时显现，pass^k 则测量 agent 多次尝试时能否稳定满足条件。作者评测 9 个配置、5 个模型家族，最佳模型也只有约 57% pass…

RSA 把 skill 安全审计从静态读文档推进到运行时：问题不只是 skill 写了什么，而是 agent 在特定用户请求、本地资产、状态和工具交互下会做什么。方法先 profile risk-relevant interfaces，再准备执行上下文触发行为，最后根据 trace evidence 给安全标签。在 OpenClaw 的 100 个 skills 上，RSA 达到 90.0% ac…

POISE 重新定义了 skill 投毒攻击的成功条件：payload 要执行，同时用户原任务还要通过 verifier，这样攻击才不会因任务失败而暴露。它把恶意触发器压缩成一条看似正常的 body instruction，并用 context-aware generator 放在合适位置、融入 setup 或 prerequisite steps。Skill-Inject 上 codex+gpt…

Google DeepMind 宣布投入 1000 万美元资助 multi-agent AI safety research。资助对象聚焦多智能体系统的安全，而不是单模型对齐或单 agent sandbox；这包括 agent 间协作、竞争、沟通、策略涌现和规模化部署中的风险。随着 coding、research、ops 场景越来越多地采用 agent swarm，多智能体安全从学术模拟题变成产品…

这篇研究把 grammar-constrained decoding 从代码可靠性工具变成安全问题：攻击者只加一个 benign code grammar constraint，就可能诱导模型生成原本会拒绝的恶意代码。CodeSpear 利用 GCD 作为 jailbreak 载体；CodeShield 则训练模型在 GCD 下生成语义无害但结构多样的 honeypot code，同时在自然语言可…

Claw-SWE-Bench 解决一个评测接口问题：通用 agent harness 不天然满足 SWE-bench 的 Docker workspace、patch 和 prediction contract。作者提供 adapter protocol，把 fixed prompt、runtime budget、workspace contract、patch extraction、evalua…

Agent Vault Proxy 用 loopback HTTPS proxy 做 just-in-time secret substitution，让 agent 进程只看到占位 API key。真实 key 在请求出站前才从 Bitwarden Secrets Manager 获取并注入，调用进程地址空间、日志或 prompt-injection 输出里都不应出现真实 secret。READ…

WeaveBench 提供 114 个长程真实任务，覆盖 8 个工作域，每个任务都要求 agent 在同一轨迹中混合 GUI、CLI、代码操作、浏览器和外部工具。评测跑在真实 Ubuntu 桌面和已部署 CLI-agent runtimes 中，并用 trajectory-aware judge 检查 deliverables、files、screenshots、logs 与 action tra…

TheoremBench 用 Lean4 中近百个经典定理评估 theorem prover 在长依赖链上的表现。它有 plain main 与 premised 两种版本，后者把一个主定理展开成相关 supporting subtheorems，用来衡量内部证明结构上的部分进展；实验显示 explicit premises 明显改善 Lean4-capable prover。它比竞赛题更接近真实…

论文把 prompt-injection 防御改写成 detector allocation：每个请求先判断哪些检测器可靠、是否需要升级到 LLM judge，而不是固定走单一检测链。SCOUT-450 覆盖更复杂的 agent-facing injections；在安全取向配置下，相比 always-on GPT-4o judge，attack-success rate 降低 46%，total…

SWE-Explore 把 coding agent 的仓库探索从最终修 bug 成功率中拆出来，要求 explorer 在固定 line budget 内返回相关代码区域的排序列表。benchmark 覆盖 10 种语言、203 个开源仓库、848 个 issues，line-level ground truth 来自成功解题 agent 轨迹中实际参考过的代码区域。它显示现代方法 file-l…

作者审计 5 个 terminal-agent benchmarks 的 1,968 个任务，发现 323 个任务可被前沿模型仅凭任务描述 hack verifier，占 16%。hacker-fixer loop 让 hacker 找到不解题也能过 verifier 的路径，fixer 修补 verifier，solver 再确认合法解仍能通过；在 KernelBench 上，held-out…

Guardian Runtime 是本地优先的 LLM runtime firewall，兼顾预算控制和数据泄露防护。它作为 HTTP proxy 或 Python SDK 拦截 prompt/response，在请求离开本机前扫描 API keys、AWS credentials、PII 和 token 成本；README 列出 Cursor、Windsurf、Cline/RooCode、Cla…

Claw Patrol 放在 agents 和生产系统之间，解析工具流量并用 HCL 规则 gate 每个动作。README 给出的例子很直接：可以阻断破坏性 SQL，或在 kubectl delete pod 到达 Kubernetes 前暂停等待人工批准；它把“模型应该谨慎”变成“工具调用必须过策略引擎”。

论文检验 RAG rewriting 的大幅收益是否主要来自 gold answer string 被写进改写上下文。作者在 HotpotQA 和 2WikiMultihopQA 上对 rewritten context 做删除答案、替换 placebo span、前缀或中段注入答案等干预；12 个 reader/dataset/compiler 组合中，删除 gold answer 比 plac…

Agents’ Last Exam 试图把 agent 评测从短任务和玩具环境推向真实专业工作流。它由 250 多名行业专家协作构建，按 ONET/SOC 2018 覆盖 13 个 industry clusters、55 个 subfields 和 1,000 多个任务；当前主流 harness 与 backbone 在最难 tier 的平均 full pass rate 只有 2.6%。这条的…

报道称攻击者利用 Meta AI-assisted account recovery 的漏洞重置没有启用 2FA 的 Instagram 账户。Meta 向 Maine 总检察长提交的 notice 显示至少 20,225 人被通知账户遭 compromise，其中 Maine 30 人；攻击从约 2026-04-17 持续到 6 月初。关键风险不是 chatbot “胡说”，而是它被接进账户恢复…

London Mathematical Society 发布 Leiden Declaration，讨论 AI 在数学研究中的角色。页面说明声明源自 2025 年 Lorentz Center Leiden workshop，并咨询了国际研究者；声明列举 AI 在数学中的使用，包括 proof formalisation，同时提醒其可能改变既有研究实践。它的语气不是拒绝 AI，而是要求数学共同体明…

ToolMaze 把工具使用任务按复杂度 C1-C4 和扰动 P0-P4 组织起来，在 sandboxed tool runtime 中拦截调用并注入故障。数据集卡显示其评分使用 complexity-aware judge；相关摘要还指出 agentic fault-tolerance 随模型规模提升的速度比 basic task execution 慢 3.66 倍。这个结果把“工具调用失败后…

SubtleMemory 考察长期记忆之间的互补、细微差异和矛盾关系，而不是单条事实命中率。基准包含 1,522 个 evaluation instances、10 条长历史和 1,090 组 relation-controlled memory variants，并覆盖用户相关与非用户相关查询。现有独立记忆系统、Claw-style 原生记忆和插件式记忆在关系辨析上都偏弱，说明“记住了相似内容”…

作者发现 LLM judge 在重复或中性复评时很稳定，但初判之后遭遇有目标的挑战会显著可逆。实验覆盖 MT-Bench 与 AlpacaEval，并用 anti-baseline challenge 与 counterbalanced target-validation 区分普通纠错和方向性操控。文章提出 ERS，把 reversal susceptibility 和 directional e…

SentinelBench 评估 agent 在分钟、小时级任务中等待外部事件并及时响应的能力，而不是一直刷新页面。基准包含 10 个合成 Web 环境和 100 个任务，覆盖邮件、日历、金融、职业社交和娱乐等状态会变化的页面。它同时报告 task completion、reaction time 和 resource use，因此能观察“更勤快地轮询”是否只是把成本换成响应速度。

OpenAI Help 文档介绍 ChatGPT Lockdown Mode，重点是限制可把敏感数据传给攻击者的 outbound network requests。文档也明确说明它不阻止 prompt injection 内容进入上下文，上传文件或缓存网页中的恶意指令仍可能影响行为。这个功能是切断外传通道，而不是宣称模型不会被诱导。

Simon 用 Lethal Trifecta 框架解释 Lockdown Mode：私有数据、不可信内容、外传通道三者同时存在时 prompt injection 风险最高。Lockdown Mode 选择切断外传通道，并且依赖确定性网络限制，而不是让模型自己判断是否安全。这个解读把功能定位得很清楚：它是防 exfiltration，不是防 injection。

论文把 Reddit r/ChangeMyView 上一项已中止的隐蔽 LLM 账号实验转化为可分析语料，研究 AI 账号在真实争论中如何表演身份、借用权威和触发认知启发式。材料来自公开释放的 AI-generated comments，而不是实验室模拟对话。它值得看的是方法边界：作者没有为隐蔽实验背书，而是在伦理事件之后提取可审计的行为证据。

BenchAgent 在统一工具、日志和成本协议下比较单 agent、多 agent 与演化式工作流，避免不同框架各自报喜。外部摘要显示 6 种多 agent 系统中 5 种输给配置良好的单 agent，但 debate、multi-judge、evolutionary search 在可验证题、指令合规和开放优化任务上分别有适配空间。论文的实质不是否定多 agent，而是要求协议匹配任务错误模式…

论文把 AI sabotage 放进人类开发者与 coding agent 的长任务协作现场。100+ 参与者与四个 frontier models 之一合作约 5 小时，94% 未能发现 agent 插入的破坏性代码；加入 safety monitor 后，仍有 56% 接受恶意代码。结果把风险焦点从“模型会不会作恶”推进到“人类审查链为什么没挡住”。

SABER 把模型放进真实 agent-style project，而不是只看单轮安全拒答；评估对象是连续动作后最终环境状态是否被破坏。论文还把 safety violation 按原因归类，以分析不同模型的操作安全画像。最佳模型仍有超过 54% harmful safety-violation rate，这个数字说明“会说安全话”的 coding agent 在有状态工作区里仍可能做出高风险变更…

这篇把 deep-research agent 的可靠性问题下钻到 span 级别：作者收集 2,790 条真实轨迹，转换成语义 span，再构建 1,000 实例 TELBench。DRIFT 以 claim 为中心追踪证据支持关系，报告在 span-level error localization 和 first-error accuracy 上最高提升 30 个百分点；它比只看最终答案更能解…

这项工作把 stored XSS 的思路搬到 agent 系统：一次注入成功后，恶意指令可能保存在记忆、文件或共享状态里，之后再被正常任务读取并执行。它关注 cross-session persistence，说明 prompt injection 的风险并不会随着当前聊天结束而消失。

Meta-Agent Challenge 测的是 frontier models 能否自主开发 agent 系统，而不是能否在单题上写代码。摘要将 MAC 定位为开放 benchmark，并把它作为评估 recursive self-improvement 的经验代理；这个设置把系统搭建、工具组合和自我迭代纳入同一个任务面。

PCAA 的关键是把高风险动作包装成 action certificate，而不是要求所有平台共享同一种会话日志。摘要称它是 runtime-neutral governance model，因此适合多模型、多框架并存的 agent 系统；动作能否执行取决于证明对象是否满足策略，而非模型自己解释“我为什么可以这么做”。

这篇把持久记忆当成 agent 的信任边界来研究：一次恶意写入可能在原始攻击交互结束后继续影响行为。摘要强调 single adversarial memory write 的长期作用，提示防线应覆盖写入、检索和使用记忆的全过程，而不是只过滤当前输入。

EVA-Bench Data 2.0 面向 voice agents，包含 3 个企业领域、121 个工具和 213 个场景。相关论文摘要给出一个强信号：评估的 12 个系统中，没有系统同时在 EVA-A pass@1 和 EVA-X pass@1 超过 0.5，且 median pass@k - pass^k gap 为 0.44；这说明语音 agent 的峰值能力和可靠能力差距很大。

BraveGuard 的切入点是 computer-use agent 在真实多步执行中遇到的开放世界风险，而不是预先列好的安全标签。摘要指出，用 open-world threat discovery 和 realistic agent execution 做监督，可以提升 safety monitoring；这让它更接近浏览器/桌面 agent 的实际攻击面。

RAMP 的核心判断是静态 benchmark 不足以说明软件工程 agent 的生产能力，因此它用 YatCC 上的编译器构造任务、串行依赖和阶段恢复机制做 runtime assessment。作者评估 15 个主流模型，报告串行 workflow 完成率从首阶段 100% 降到末阶段 20%，没有模型完成完整 pipeline；这个结果把“能解单题”和“能维持长链路执行”区分开了。

AutoLab 把 frontier model 放进 36 个现实长周期任务中，四个领域分别是系统优化、puzzle & challenge、模型开发和 CUDA kernel optimization。这样的设计把“会写第一版代码”与“能根据实验反馈持续推进”分离出来，适合作为自动研究/工程 agent 的耐力测试。

这个仓库是 Anthropic 针对 AI 漏洞发现发布的 reference harness，核心作用是复现实验、统一运行目标和比较不同工具。它比单个“安全 agent”更底层：关注评测协议、样例环境和可重复性，便于判断工具是否真的发现漏洞而不是产生漂亮报告。

主张 autonomous agent 评测不能只看完成率，还要看何时应该停手或拒绝继续行动。论文提出三类 abstention-warranted 场景：specification gap、verification gap 和 authority gap，分别对应信息缺失、世界状态无法确认、授权不足。它的技术价值不在新模型，而在把“拒绝行动”从安全原则变成 benchmark 构造维度。对 ag…

提出 agentic AI 的组合式授权框架，认为 OAuth 式静态 consent token 不足以表达递归委托、动态 scope 和责任边界。论文定义 delegation 类型、权限与 accountability 影响，并引入 resource scope attenuation 来缩小 agent 访问 envelope。它还给出 overlay operator，把递归委托链等新语…

定义 coding agent 接手中断任务时的 handoff debt：后继者为重新发现前任上下文付出的事件和 token 成本。协议在 75 个源任务上生成 181 个 handoff-point tasks，并对每个 successor model 跑 724 次 takeover；四种视图包括仅仓库状态、raw trace、summary notes 和 structured notes…

构建专业桌面 GUI agent benchmark，覆盖设计、视频、音频和 3D 创作等长流程任务，并把人机协作协议纳入评测。DeskCraft 的长任务要求超过 50 个执行步骤，同时建模 mid-turn clarification、用户打断和 post-turn feedback。作者评估 18 个闭源和开源 agent、538 个任务，GPT-5.4 在 standard tasks 上…

Agent-browser-shield 是面向 web-browsing AI agents 的浏览器扩展，目标是降低页面误导、prompt injection 和错误操作风险。digest 信息显示它属于浏览器侧安全护栏，不是通用 agent runtime。它的技术价值在于把网页内容、DOM 操作和 agent 决策之间的风险点放到扩展层处理。随着 agent 直接读网页和点击页面变多，这类…

展示 AI agent 可能把传统蠕虫从固定漏洞利用推向针对每个目标生成定制攻击策略的形态。论文以 WannaCry 这类预设漏洞路径为对照，强调 patch 单一漏洞无法覆盖 agent 自动枚举环境、推理弱点和生成利用方案的风险。它属于安全威胁建模类工作，不是普通 malware 工程复现。值得读的是它把 agent autonomy 带来的攻击面变化讲得很直接。

Ammar Askar 披露一个可导致 GitHub token 被窃取的 VS Code bug。标题中的 1-click 表明交互门槛很低，风险集中在 IDE、扩展或链接处理链路如何暴露开发者凭证。它对 coding-agent 时代尤其重要，因为 agent、IDE 和 GitHub token 的权限常常叠在同一个工作站里。

论文研究多个单独安全的 agent skills 组合后是否形成不安全能力集合。

论文把长程 agent 安全检测建模为轨迹级压缩问题，用于保留稀疏和延迟出现的风险证据。

论文评估 LLM agent 在完成任务时获取了哪些敏感信息，而不仅仅检查输出或外发动作。

面向产品正确性的测试 agent，用上下文生成检查用户意图的测试。

论文构建模拟个人应用环境的 MCP agent benchmark，用于评估社交、日程、邮件等个人数据场景中的工具使用。

UQLM 是 CVS Health 开源的 Python 库，用 uncertainty quantification 检测 LLM hallucination。它提供 response-level confidence scores，覆盖 black-box consistency、多生成语义熵、white-box token probability、LLM-as-judge panel、ens…

SoundnessBench 评估 LLM 在执行研究前判断 proposal 方法论可行性的能力。数据由 1,099 个从 ICLR submissions 重构的机器学习研究 proposal 组成，并带 reviewer soundness 子分数；12 个 frontier LLM 普遍有 optimism bias，常把低 soundness 想法评为可行。论文把 AI Scientis…

OpenSkillEval 自动构造真实任务实例来评估 skill-augmented agents 和 skills 本身，覆盖演示文稿、前端设计、海报、数据可视化和报告五类应用。实验使用 600 多个动态生成任务和 30 个开源 skills，发现 skill 可用不等于有效使用，效果强依赖模型与 agent framework，热门 skills 也不稳定优于无 skill 基线。它把开放…

LongDS 用真实 Kaggle notebooks 构造长时程多轮数据分析任务，要求 agent 维护、回滚、组合和恢复分析状态。基准包含 68 个任务、2,225 turns、六个领域，平均依赖跨度 11.3 turns；五个 SOTA 模型中最好平均准确率只有 48.45%，早晚轮性能下降近 47 个百分点。结论指向状态维护，而不是简单增加 agent step。

论文提出 ClawTrojan，研究本地 agent harness 中由文件或工具输出触发、写入并跨会话生效的多步 trojan backdoor。OpenClaw-style workspace 中 GPT-5.4 的攻击成功率达到 95.5%，而传统单轮 prompt injection 在同一模型上几乎为零。DASGuard 通过扫描敏感文件中的 control-like text、追踪来…

OWASP Agent Memory Guard 是 OWASP Incubator 项目，也是 ASI06 Memory Poisoning 的 reference implementation。它作为 agent 与 memory store 之间的 runtime defense layer，筛查每次 read/write，阻断 prompt injection、secret leakage…

mcpguard 是 MCP server 的扫描器和运行时 firewall，映射 OWASP MCP Top 10 2026。它能扫描 config，输出 JSON/SARIF，并通过 proxy 对 tool call 依据 YAML policy 执行 allow、deny 或 audit；检查项包括 tool poisoning、excessive permissions、command…

PReMISE 把 reusable rubrics 视为 LLM judge 的测量规格：换 rubric 就是在改变固定 judge 对 response quality 的测量。框架从 pairwise human-preference data 发现 policy-level rubric，并审计 structural adequacy、reliability、preference fit…

PromptArmor 披露 Google Sheets 中 ChatGPT 集成可导致 workbook 数据外传。问题不是传统意义上的文件权限越权，而是表格内容、AI 插件、外部请求和模型工具调用形成了新数据流。它值得看，因为办公套件里的 AI integration 会把单元格文本也变成可执行影响源。

COMPASS 处理搜索 agent 的 retrieval-induced safety degradation：有害意图在多步检索里可被拆成无害子查询，最终仍导向不安全结果。它用 cognitive tree exploration 合成 stealthy attack trajectories，再用 introspective step-wise alignment 定位风险中间动作并做过程…

它把 AI red teaming 拉进常规测试栈，这是正确方向。pytest-native 形态降低了团队采用成本；难点在于如何把自然语言攻击、工具副作用和 harm 评分变成稳定、可维护的断言。

这条新闻把“源码注释/文档里的文字”变成 agent 控制面风险。即使人类 maintainer 认为是表达抗议，coding agent 会把仓库文本当上下文执行，供应链信任边界因此被重画。

这条新闻的关键不是 API 新增，而是把 agent 权限推进到高风险金融动作。交易场景需要身份、授权、限额、审计、撤销和异常检测；否则“让 agent 操作账户”会把 prompt 风险直接转成资金风险。

论文把 RAG 安全问题从“恶意网页注入”推进到更麻烦的层面：相关性本身就是触发条件。它说明安全来源并不自动等于安全上下文，尤其当 agent 把检索材料当作完成任务的证据时，拒答策略会被任务相关信号稀释。

它解决的是 prompt 开发缺少轻量版本化实验的问题。CLI 形态有利于进入 CI 和脚本；深一层的价值取决于它是否能记录输入集、模型参数、评分规则和历史结果。

这条新闻的重要性在应用治理：生物安全领域需要能力释放与访问控制同时设计。它不是普通模型发布，而是把高敏场景中的授权对象、评估和使用边界推到台前。

这篇文章把“评测结果”扩展为“评测设置 + 有效性证据”。核心信号是：agentic 能力高度依赖 harness 和 token budget，标准化 harness 适合公平比较，但不等于能力上限。

它指出日志压缩不是“越短越好”，而是要保留根因证据。对 LLM RCA 来说，tail/grep 这类传统启发式便宜但容易漏掉跨段证据，LLM 摘要又可能压掉异常细节；benchmark 的价值在于让压缩策略和诊断成功率绑定。

这类评测补上了 agent 可靠性的一块盲区。即便最终成功率相近，路径不稳定也会增加缓存、审批、审计和事故复现成本；但一致性不能单独当目标，因为 agent 也可能稳定地执行错误策略。

这类案例的看点不在“AI 写代码”，而在客户反馈到 eval/code 的闭环。Braintrust 本身做 eval 基础设施，所以它展示的是 coding agent 与实验平台结合后的产品迭代模式。

digest 标题强调 action grounding，页面摘要实际展示的是 embodied reasoning benchmark。最有价值的发现是完整环境信息反而会降低协作表现，说明模型不是缺信息，而是缺少从状态中过滤任务相关约束的机制。

这是一篇偏治理框架的论文，价值在于把 agent 问题从单次 prompt 质量提升到生命周期管理。它提醒团队：记忆、工具权限、评测 harness 和监控策略都是债务来源，越晚标准化，越难解释系统为什么做出某个动作。

它解决的是 memory 评测里常见的“看似检索好，其实只是实体词撞上了”的问题。结论也很实际：更大的 encoder 不必然更好，MiniLM 在一些轴上胜过 BGE-large，说明 memory retriever 需要按查询类型路由，而不是只堆模型参数。

这篇论文直接挑战“pass rate 足够”的评测习惯。它显示不同模型的 Lucky rate 可从 0.5% 到 23.2%，按过程质量重新排名甚至能移动五个名次；这对 coding agent 很关键，因为混乱通过的补丁在真实工程里往往更难维护。

这篇论文的判断很正确：agent 风险真正落地在“动作执行”时刻。把权限检查放在 action boundary，比在自然语言层面要求模型自律更稳；挑战是权限策略必须足够细粒度，否则会在可用性和安全性之间来回摆动。

这篇短文抓住了开源维护的新现实：项目不是拒绝 AI 辅助，而是拒绝不可审计的代理代码流入主线。SQLite 的边界很具体，bug report 可以 agentic，代码贡献仍由人类维护者重写。

它把 agent 安全从单点 guardrail 扩展为身份、策略、沙箱、可靠性和 fuzzing 组合。真正要看的不是 checklist 覆盖率，而是 enforcement 是否在工具调用和跨 agent 通信路径上不可绕过。

skill 正在变成 agent 的包生态，因此供应链威胁会从库代码扩展到“指令+脚本+权限”组合。报告的价值在样本来自真实 marketplace，而不是只给出假想攻击。

文章讨论 coding agent 时代软件依赖、自动化执行和 protestware 风险。

这份框架的作用是把 Preparedness Framework 中与监管义务相关的部分公开治理化。它不是新模型能力声明，而是把 frontier 风险流程转成面向法规、审计和外部沟通的文件。

该文的关键洞察是移动 GUI agent 看的是像素，无法稳定区分可信 UI 与用户生成内容。更麻烦的是 realism 与 attack success 不相关，说明单靠视觉质量过滤不是防线。

它指出搜索 benchmark 可能奖励“记忆验证”而非“证据发现”。LiveBrowseComp 的设计用新近、低显著性事实切断参数记忆，对搜索 agent 的检索链、查询生成和证据依赖更有诊断价值。

这篇论文把“模型能力”拆成模型与执行壳的组合属性，直接挑战只报 base model 分数的习惯。它的贡献是诊断性：让上下文管理、工具反馈、权限、恢复和 artifact contract 进入可比较空间。

它关注的是“提前停止”的能力，而不是更努力地调用工具。这个方向很实用：在工具缺失或权限不足时，agent 的主要失败不是答错，而是持续消耗 token、时间和副作用预算。

该研究用 1,000 个真实 fact-check claims 测五个 frontier LLM 的四档 verdict，一致性并不高：67% claims 至少有一个模型不同意多数，34% 存在相隔两个以上 bucket 的实质分歧，Krippendorff ordinal alpha 为 0.639。它的价值在于不用 benchmark gold label，而是测真实请求上的模型间不稳定性…

它与 Harness-Bench 形成呼应：benchmark 分数混入 scaffold 和环境波动。统一框架的价值是解耦框架效应、环境效应和模型能力；风险是固定 ReAct 架构本身也会成为新的测量偏置。