每日 Harness 开源 · Source
返回本期 · Back to 2026-09-17

论文 · Papers2026-09-17 · Thursday, September 17, 2026

How good are frontier models at physics?

arxiv.org原文 ↗

How good are frontier models at physics?
研究团队让相关领域教师和研究生复核六个物理 benchmark 的题目、参考解与模型答案,把 grader 错误、错误参考解和歧义题从模型失误中剥离。GPT-5.6-Sol 的 HLE-Physics mean@4 经修订由 47.3% 升到 78.7%,CMT-Benchmark 由 61.0% 升到 87.2%,保留的 54 个 CritPt 挑战 pass@4 达 94.4%。结果把问题指向评测设计:封闭式、未经专家审计的题库已经接近饱和,分数不能直接当作物理推理上限。
–浏览

评论 · Comments