Human-like Neural Nets by Catapulting

Gwern 的长文讨论训练中的 catapulting 现象与类人神经网络行为之间的关系。文章关注学习率、损失跃迁、过训练或“弹射”阶段是否会把模型推入更接近人类错误、泛化和学习曲线的区域。它不像标准实验论文那样给出一个封闭结论，更像把训练动力学、行为相似性和若干可检验假设连接起来的文献综合。可读点在问题设定本身：如果人类相似性来自训练过程中的某类非平滑阶段，那么只看最终 benchmark 会漏掉形成行为的机制。