每日 Harness 开源 · Source
返回本期 · Back to 2026-08-14

论文 · Papers2026-08-14 · Friday, August 14, 2026

When Self-Consistency Backfires

arxiv.org原文 ↗

When Self-Consistency Backfires
论文对 GPQA Diamond 的 198 道研究生科学题做预注册复核,检验多条思路多数投票是否真的值得增加推理预算。Qwen2.5-7B 有 56.6% 的题目在 self-consistency 下逐题变差,Llama-3-8B 为 65.7%;最高一致性档对 Qwen 只有约一半正确,且一致性门控和 token entropy 门控都几乎没有帮助。作者明确把 reasoning-native 模型列为未解决变量,因此结果更像对小型 instruction-tuned 模型的警报,而不是对所有模型的否定。
浏览

评论 · Comments