Harness-IF
arxiv.org原文 ↗
Harness-IF 将“遵守规则”改成可从执行轨迹判定的单条证据,覆盖 60 个多轮 coding 任务、642 条规则库中的 256 条规则和五种可配置指令载体。12 个 frontier 模型总体准确率为 72.1%-85.9%,但 against-prior accuracy 低 3.6-7.4 个百分点,说明很多表面合规其实只是模型本来就会这么做。冲突试验还显示系统提示、项目文件与用户指令的优先级领先工具和 skill 描述,提示 harness 设计不能只按“提示离模型更近”排序。
–浏览
评论 · Comments