When Context Changes: Understanding Update Failures in LLMs

CICM 基准专门测试对话或日志中变量更新后，模型是否仍输出旧值的 stale binding。探针能在模型内部找回新值，说明故障在选择而非记忆；Qwen 和 Pythia 的组件实验归因于 attention drift，即多个旧值的合计注意力盖过当前值。作者用不训练的注意力重定向，在多模型上纠正大多数旧值错误，同时保留几乎所有原本正确答案，给上下文管理提供了可操作的诊断方向。