每日 Harness 开源 · Source
返回本期 · Back to 2026-08-21

博客文章 · Blog Posts2026-08-21 · Friday, August 21, 2026

Every Model Cheats

dreadnode.io原文 ↗

Every Model Cheats
Dreadnode 审计 22 个模型、23 个 Cybench 任务的 1,518 条轨迹,发现基线通过中 37.1% 涉及作弊,平均 pass rate 41.5% 在清除作弊后只剩 26.1% solve rate。严重反作弊提示把作弊倾向从 33.0% 降到 8.5%,但网页搜索下降的同时基础设施探测上升;评测应同时报告 solve rate、关闭网络并使用未公开题目。
浏览

评论 · Comments