本文比较了循环神经网络(RNN)中不同类型的循环单元。我们特别关注实现门控机制的更复杂单元，例如长短期记忆(LSTM)单元和近期提出的门控循环单元(GRU)。通过在复调音乐建模和语音信号建模任务上的评估，实验表明这些先进循环单元确实优于tanh单元等传统循环单元。同时发现GRU与LSTM具有可比性。

循环神经网络 (RNN) 在需要记忆能力的多种任务中提供了最先进的性能。这些性能通常可以通过门控循环单元 (GRU) 和长短期记忆 (LSTM) 等门控循环单元实现。标准的门控单元共享一个层内状态来存储网络级别的信息，而长期记忆则由网络范围内的循环连接权重塑造。另一方面，生物神经元能够通过一种称为双稳态 (bi stability) 的过程，在细胞水平上长时间保持信息。通过双稳态，细胞可以根据自身的过去状态和输入稳定到不同的稳定状态，从而允许在神经元状态中持久存储过去的信息。在这项工作中，我们从生物神经元双稳态中汲取灵感，在细胞水平上为 RNN 嵌入持久的记忆。这导致了一种新的双稳态生物启发循环单元的引入，该单元被证明可以显著提高 RNN 在需要极长记忆的时间序列上的性能，尽管仅使用细胞连接（所有循环连接都是从神经元到自身的，即神经元状态不受其他神经元状态的影响）。此外，为这种单元配备循环神经调制可以将其与标准 GRU 单元联系起来，朝着 GRU 的生物合理性迈出了一步。