Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints
arxiv.org原文 ↗
预注册审计把 LLM judge 当作测量仪器检查，结果同窗口重复排序 Spearman 只有 0.400，次日字节相同重放一致性只有 0.78，远低于 0.90/0.99 门槛。四家供应商、等待时间和替代指标都未消除噪声；研究提醒共享端点的“模型名”不能直接视为冻结、可复现实验仪器。
–浏览
评论 · Comments