Quickest Detection of Hallucination Onset: Delay Bounds and Learned CUSUM Statistics
arxiv.org原文 ↗
论文把流式 hallucination onset detection 写成 quickest change detection,而不是把每个 token 当独立分类样本算 AUC。RAGTruth 上的一阶 Markov latent state 模型给出 Lorden lower bound:false alarm rate 为 0.01 时检测延迟约 1.3 tokens。实际 causal recurrent labeler 在同 false-alarm 下 11-13 tokens 报警,优于线性 per-token baseline 的 31 tokens;这把“检测器好不好”从总体分类分数推进到可运营的报警延迟。
–浏览
评论 · Comments