循环神经网络的发展历程,给出参考文献
时间: 2023-11-11 13:46:35 浏览: 87
循环神经网络的发展历程可以分为以下几个阶段:
1. 前馈神经网络:早期的神经网络是前馈网络,没有记忆功能,只能处理静态输入。这一阶段的代表模型是感知机和多层感知机。
2. Elman网络:1988年,Elman提出了一种简单的循环神经网络模型,称为Elman网络。这一模型利用前一时刻的状态作为当前时刻的输入,解决了前馈神经网络无法处理序列数据的问题。
3. Jordan网络:1997年,Jordan提出了一种基于Elman网络的改进模型,称为Jordan网络。Jordan网络在Elman网络的基础上,将前一时刻的输出作为当前时刻的输入,增强了网络的记忆能力。
4. 长短时记忆网络(LSTM):1997年,Hochreiter和Schmidhuber提出了一种新型的循环神经网络模型,称为长短时记忆网络(LSTM)。LSTM通过引入三个门控单元(输入门、遗忘门和输出门),有效地解决了传统循环神经网络的梯度消失和梯度爆炸问题,使得网络具有更好的记忆能力。
5. 双向循环神经网络(BRNN):1995年,Schuster和Paliwal提出了一种新型的循环神经网络模型,称为双向循环神经网络(BRNN)。BRNN在输入序列的两个方向上都有循环结构,可以有效地处理序列数据中的长期依赖关系。
6. 门控循环单元(GRU):2014年,Cho等人提出了一种新型的循环神经网络模型,称为门控循环单元(GRU)。GRU在LSTM的基础上,通过减少门控单元的数量和简化门控机制,实现了更快的训练速度和更小的模型尺寸。
参考文献:
1. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533-536.
2. Elman, J. L. (1990). Finding structure in time. Cognitive science, 14(2), 179-211.
3. Jordan, M. I. (1986). Serial order: A parallel distributed processing approach. Technical Report CMU-CS-86-126, Carnegie Mellon University.
4. Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780.
5. Schuster, M., & Paliwal, K. K. (1997). Bidirectional recurrent neural networks. IEEE Transactions on Signal Processing, 45(11), 2673-2681.
6. Cho, K., Van Merrienboer, B., Gulcehre, C., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078.
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![whl](https://img-home.csdnimg.cn/images/20210720083646.png)