每日 Harness 开源 · Source
返回本期 · Back to 2026-09-15

行业动态 · Industry News2026-09-15 · Tuesday, September 15, 2026

LLM judge agreement

amazon.science原文 ↗

该方法用 Ising 模型同时估计 judge 可靠性和两两相关性,再从无标签意见中推断潜在真值。10 个评审器在相关性、毒性、摘要三个任务上,准确率分别达到 0.912、0.792、0.806,较加权多数投票约高 9 - 14 个百分点;结果提醒评审一致可能源于共享盲点,而非独立证据。
–浏览

评论 · Comments