When Retrieval Metrics Mislead: Measuring Policy Signal in Long-Horizon Tool-Use Agents

论文检验 retrieval exact-match recall 是否能代表长程工具使用 agent 的 policy signal，场景是 tau-bench pre-action policy classification。gold-policy structured state 让 Qwen2.5 classifier macro-F1 提升 0.13-0.17；airline 中正确条款 rank-1 只有 7%，但 retrieved clauses 的 macro-F1 为 0.58，接近 gold clauses 的 0.60。它提醒评测者不要把检索命中率直接等同于决策帮助，弱匹配证据也可能携带足够 policy signal。