[论文翻译]训练循环神经网络的难点

训练循环神经网络(RNN)存在两个广为人知的问题：Bengio等人(1994)详细阐述的梯度消失与梯度爆炸现象。本文试图从解析几何和动力系统的角度探究这些问题，以期深化对潜在机制的理解。基于理论分析，我们论证了一个简单有效的解决方案：针对梯度爆炸问题提出梯度范数裁剪策略，对梯度消失问题则采用软约束方法。实验部分通过实证研究验证了我们的理论假设和解决方案。