目录

• 简介

参考： 学界 | 新型循环神经网络IndRNN：可构建更长更深的RNN（附GitHub实现）

代码：https://github.com/batzner/indrnn

简介

澳大利亚伍伦贡大学联合电子科技大学提出一种新型的循环神经网络IndRNN，不仅可以解决传统RNN所存在的梯度消失和梯度爆炸问题，还学习长期依赖关系；此外，借助relu等非饱和激活函数，训练之后IndRNN会变得非常鲁棒，并且通过堆叠多层IndRNN还可以构建比现有RNN更深的网络。实验结果表明，与传统的RNN和LSTM相比，使用IndRNN可以在各种任务中取得更好的结果。