When Should LLMs Abstain? Chain-of-Self-Questioning for Selective Risk Control
arxiv.org原文 ↗
CoSQ 让模型先自问“当前信息够不够”,再在回答和弃答之间选择,并以 grounded 阈值约束错误承诺。TruthfulQA 的 817 个问题、11 个模型家族上,阈值 0.90 把错误承诺从 13.1% 降到 8.9%,准确率由 86.9% 升到 89.7%,覆盖率为 87.6%;不同提示变体的覆盖率落在 86.5% - 88.6%。结果显示选择性回答可以同时改善风险和准确度,但牺牲的覆盖率必须作为产品策略显式管理。
–浏览
评论 · Comments