Matrix Orthogonalization Improves Memory in Recurrent Models

Ayush Tambde 解释矩阵正交化如何改善 recurrent model 的记忆保持。循环模型的问题常常来自重复乘同一个变换后信号范数爆炸或消失，正交化通过控制谱性质让隐藏状态在时间上更稳定。文章适合用来复习 RNN 中梯度传播、长期依赖和线性动力系统之间的联系；在 Transformer 主导的语境下，这种基础机制解释反而很稀缺。