论文检验 RAG rewriting 的大幅收益是否主要来自 gold answer string 被写进改写上下文。作者在 HotpotQA 和 2WikiMultihopQA 上对 rewritten context 做删除答案、替换 placebo span、前缀或中段注入答案等干预;12 个 reader/dataset/compiler 组合中,删除 gold answer 比 placebo 额外造成 28 到 64 个 F1 点下跌。它给 RAG 论文一个清晰警告:rewriter gain 需要排除答案泄漏,而不是默认归因于证据质量提升。
–浏览
评论 · Comments