Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

提出受人类睡眠启发的持续学习范式，让模型把短期 in-context 记忆蒸馏进更稳定的长期参数。论文描述了 Sleep、replay consolidation 和 Dreaming 递归改进过程，用于弥合即时预测能力与长期知识转移之间的差距。它不是单纯外部 memory 检索，而是讨论 self-modification 与参数层 consolidation。这个方向的风险和评估都还会很难，但问题定义本身值得关注。