本文比较了循环神经网络(RNN)中不同类型的循环单元。我们特别关注实现门控机制的更复杂单元，例如长短期记忆(LSTM)单元和近期提出的门控循环单元(GRU)。通过在复调音乐建模和语音信号建模任务上的评估，实验表明这些先进循环单元确实优于tanh单元等传统循环单元。同时发现GRU与LSTM具有可比性。

训练循环神经网络(RNN)存在两个广为人知的问题：Bengio等人(1994)详细阐述的梯度消失与梯度爆炸现象。本文试图从解析几何和动力系统的角度探究这些问题，以期深化对潜在机制的理解。基于理论分析，我们论证了一个简单有效的解决方案：针对梯度爆炸问题提出梯度范数裁剪策略，对梯度消失问题则采用软约束方法。实验部分通过实证研究验证了我们的理论假设和解决方案。

在静态监控摄像头中，有用的上下文信息可能远超典型视频理解模型所能捕捉的几秒范围：目标可能在多日内表现出相似行为，而背景物体保持静止。由于功耗和存储限制，采样频率通常较低（每秒不超过一帧），且可能因运动触发机制导致不规则采样。为在此环境下实现高性能，模型必须对不规则采样率具备鲁棒性。本文提出一种利用新摄像头未标记帧中时序上下文来提升该摄像头性能的方法。具体而言，我们提出基于注意力机制的Context R-CNN模型，该模型可通过按摄像头构建的长期记忆库检索信息，并聚合其他帧的上下文特征以提升当前帧的目标检测性能。我们将Context R-CNN应用于两种场景：(1) 相机陷阱中的物种检测，(2) 交通摄像头中的车辆检测，实验表明该模型在两种场景下均优于强基线模型。此外，延长上下文时间跨度能持续提升效果。在Snapshot Serengeti数据集上的实验显示，当使用长达一个月的图像上下文时，Context R-CNN以17.9% mAP优势超越单帧基线模型，并以11.2% mAP优势超越基于3D卷积的S3D基线模型。

循环神经网络 (RNN) 在需要记忆能力的多种任务中提供了最先进的性能。这些性能通常可以通过门控循环单元 (GRU) 和长短期记忆 (LSTM) 等门控循环单元实现。标准的门控单元共享一个层内状态来存储网络级别的信息，而长期记忆则由网络范围内的循环连接权重塑造。另一方面，生物神经元能够通过一种称为双稳态 (bi stability) 的过程，在细胞水平上长时间保持信息。通过双稳态，细胞可以根据自身的过去状态和输入稳定到不同的稳定状态，从而允许在神经元状态中持久存储过去的信息。在这项工作中，我们从生物神经元双稳态中汲取灵感，在细胞水平上为 RNN 嵌入持久的记忆。这导致了一种新的双稳态生物启发循环单元的引入，该单元被证明可以显著提高 RNN 在需要极长记忆的时间序列上的性能，尽管仅使用细胞连接（所有循环连接都是从神经元到自身的，即神经元状态不受其他神经元状态的影响）。此外，为这种单元配备循环神经调制可以将其与标准 GRU 单元联系起来，朝着 GRU 的生物合理性迈出了一步。