NAQD Env: A benchmark for selective withdrawal in language agents
arxiv.org原文 ↗
NAQD-Env 把证据变化、权限撤销和停止指令编码成依赖图,要求 agent 仅撤回受影响动作、保留其余工作并在修复后恢复。11 类依赖、350 个场景、三模型三提示共产生 3,150 个 episode;撤回召回率最高 0.06,合规恢复一次也没出现,完全匹配参考策略的仅 1 次。微调可把 Qwen2.5-3B 准确率由 0.45 - 0.54 拉到 0.83 - 0.92,却同时暴露课程缺失后的过度撤回和事件报告丢失。
–浏览
评论 · Comments