BayesBench: Evaluating LLM Belief Trajectories Under Multi-Turn Evidence Accumulation
arxiv.org原文 ↗
这篇论文不是只看最终答案,而是构造多轮证据累积环境,逐步检查 LLM 的不确定性和信念是否接近贝叶斯后验。BayesBench 覆盖三类任务:Bayesian estimation、Bayesian prediction,以及带用户 persona framing 的 latent-framed prediction,并测试 3B 到 70B 的七个模型。结果细节很有意思:模型规模确实改善潜变量推断和证据累积,但这些改进并不可靠地转化为下游预测质量,暴露了“能推断结构”和“能用结构更新目标信念”之间的断层。
–浏览
评论 · Comments