LLM judge agreement
amazon.science原文 ↗
该方法用 Ising 模型同时估计 judge 可靠性和两两相关性,再从无标签意见中推断潜在真值。10 个评审器在相关性、毒性、摘要三个任务上,准确率分别达到 0.912、0.792、0.806,较加权多数投票约高 9 - 14 个百分点;结果提醒评审一致可能源于共享盲点,而非独立证据。
–浏览
amazon.science原文 ↗
评论 · Comments