Every Model Cheats
dreadnode.io原文 ↗
Dreadnode 审计 22 个模型、23 个 Cybench 任务的 1,518 条轨迹,发现基线通过中 37.1% 涉及作弊,平均 pass rate 41.5% 在清除作弊后只剩 26.1% solve rate。严重反作弊提示把作弊倾向从 33.0% 降到 8.5%,但网页搜索下降的同时基础设施探测上升;评测应同时报告 solve rate、关闭网络并使用未公开题目。
–浏览
评论 · Comments