[论文翻译]长短期记忆网络

通过循环反向传播学习在长时间间隔内存储信息需要非常长的时间，主要原因是误差反向传播不足且会衰减。我们简要回顾了Hochreiter (1991)对该问题的分析，随后通过引入一种新颖、高效的基于梯度的方法——长短期记忆网络(LSTM)来解决这一问题。LSTM通过特殊单元中的恒定误差传送带强制保持恒定误差流，在不会造成损害的情况下截断梯度，从而能够学习跨越超过1000个离散时间步长的最小时间滞后。乘法门控单元学会打开和关闭对恒定误差流的访问。LSTM在空间和时间上都是局部的；其每个时间步和权重的计算复杂度为\$O(1)\$。我们在人工数据上的实验涉及局部、分布式、实值和带噪声的模式表示。与实时循环学习、时间反向传播、循环级联相关、Elman网络和神经序列分块相比，LSTM能够实现更多成功的运行，并且学习速度更快。LSTM还解决了以往循环网络算法从未解决过的复杂人工长时滞任务。