• [论文翻译]序列建模中门控循环神经网络的实证评估

    本文比较了循环神经网络(RNN)中不同类型的循环单元。我们特别关注实现门控机制的更复杂单元,例如长短期记忆(LSTM)单元和近期提出的门控循环单元(GRU)。通过在复调音乐建模和语音信号建模任务上的评估,实验表明这些先进循环单元确实优于tanh单元等传统循环单元。同时发现GRU与LSTM具有可比性。
  • [论文翻译]一种受生物启发的双稳态循环单元可实现持久记忆

    循环神经网络 (RNN) 在需要记忆能力的多种任务中提供了最先进的性能。这些性能通常可以通过门控循环单元 (GRU) 和长短期记忆 (LSTM) 等门控循环单元实现。标准的门控单元共享一个层内状态来存储网络级别的信息,而长期记忆则由网络范围内的循环连接权重塑造。另一方面,生物神经元能够通过一种称为双稳态 (bi stability) 的过程,在细胞水平上长时间保持信息。通过双稳态,细胞可以根据自身的过去状态和输入稳定到不同的稳定状态,从而允许在神经元状态中持久存储过去的信息。在这项工作中,我们从生物神经元双稳态中汲取灵感,在细胞水平上为 RNN 嵌入持久的记忆。这导致了一种新的双稳态生物启发循环单元的引入,该单元被证明可以显著提高 RNN 在需要极长记忆的时间序列上的性能,尽管仅使用细胞连接(所有循环连接都是从神经元到自身的,即神经元状态不受其他神经元状态的影响)。此外,为这种单元配备循环神经调制可以将其与标准 GRU 单元联系起来,朝着 GRU 的生物合理性迈出了一步。
创作中心
开启你的AI千集创作之旅
发布首篇内容,开通创作中心 快来成为AI千集创作者吧~
公告

AI千集是一个二次元智能客服平台
在这里您可以获得本平台自训练的
客服大模型服务
和小伙伴一起玩转AI,做自己的AI机器人
来AI千集,订单转化快人一步
扫一扫,快速获取解决方案与报价
立即咨询

千集助理是连通AI学研和企业的桥梁
登陆小程序
获取AI数字人贴身服务
工作生活效率瞬间提升

千集助理