每日 Harness 开源 · Source
返回本期 · Back to 2026-10-02

论文 · Papers2026-10-02 · Friday, October 2, 2026

NAQD Env: A benchmark for selective withdrawal in language agents

arxiv.org原文 ↗

NAQD Env: A benchmark for selective withdrawal in language agents
NAQD-Env 把证据变化、权限撤销和停止指令编码成依赖图,要求 agent 仅撤回受影响动作、保留其余工作并在修复后恢复。11 类依赖、350 个场景、三模型三提示共产生 3,150 个 episode;撤回召回率最高 0.06,合规恢复一次也没出现,完全匹配参考策略的仅 1 次。微调可把 Qwen2.5-3B 准确率由 0.45 - 0.54 拉到 0.83 - 0.92,却同时暴露课程缺失后的过度撤回和事件报告丢失。
–浏览

评论 · Comments