KC-Bench: A Dynamic Interactive Benchmark for Evaluating Knowledge Conflicts in LLM Agents
arxiv.org原文 ↗
KC-Bench 用有状态工具和确定性断言构造多轮冲突，让代理在参数知识、用户输入和环境观察不一致时作出判断。238 个经人工筛选的任务覆盖三类冲突，九个模型没有一个能在事实纠错、身份一致性、时间推理上同时稳定；漏检还可能把错误带进工具调用或受保护数据流。
–浏览
评论 · Comments