Who Judges Matters: Measuring Family-Conditioned Preference in LLM-as-Judge Panels
arxiv.org原文 ↗
9,312 次完全交叉成对判断显示，四个开放权重家族都有 3.4 - 8.4 个百分点的同家族偏好。55.4% 的 AB/BA 对会反转，平衡面板能改变 18.5% 的比较结果；即便加入人类共识、质量控制和 float16 复现，裁判家族仍是独立混淆变量。
–浏览
评论 · Comments