Dense Contexts Are Hard Contexts: Lexical Density Limits Effective Context in LLMs

论文指出长上下文失败不只取决于 token 长度和 needle 位置，还取决于上下文每单位长度引入多少不同信息。作者在 9B-685B open-weight LLM 上使用约 12k tokens、位置受控但密度递增的 needle 任务；高密度场景中近乎满分的模型会跌到 60% 以下。这个变量对真实系统很关键，因为压缩摘要、密集日志和表格化证据往往正是“短但难”的上下文。