LSTM网络的发展历程,给出参考文献
时间: 2023-11-07 09:49:44 浏览: 121
LSTM(Long Short-Term Memory)网络是一种特殊的循环神经网络,它可以有效地解决传统循环神经网络中的梯度消失和梯度爆炸问题。下面是LSTM网络的发展历程:
1. Hochreiter和Schmidhuber在1997年提出了LSTM网络模型,文章标题为“Long Short-Term Memory”。[1]
2. Greff等人在2015年提出了Clockwork RNNs,其中包括了基于LSTM的分层RNNs。[2]
3. Graves等人在2013年提出了Connectionist Temporal Classification(CTC)算法,该算法使用LSTM网络进行语音识别。[3]
4. Jozefowicz等人在2015年提出了更深的LSTM网络,该网络具有数百个隐藏层和几百万个参数,可以用于机器翻译等任务。[4]
5. Zaremba等人在2014年提出了Recurrent Neural Network Regularization(RNN-R),该方法通过LSTM网络的dropout和权重衰减来避免过拟合。[5]
参考文献:
[1] Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780.
[2] Greff, K., Srivastava, R. K., Koutník, J., Steunebrink, B. R., & Schmidhuber, J. (2015). LSTM: A search space odyssey. arXiv preprint arXiv:1503.04069.
[3] Graves, A., Fernández, S., Gomez, F., & Schmidhuber, J. (2006). Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks. In Proceedings of the 23rd international conference on Machine learning (pp. 369-376).
[4] Jozefowicz, R., Zaremba, W., & Sutskever, I. (2015). An empirical exploration of recurrent network architectures. In Proceedings of the 32nd International Conference on Machine Learning (ICML-15) (pp. 2342-2350).
[5] Zaremba, W., Sutskever, I., & Vinyals, O. (2014). Recurrent neural network regularization. arXiv preprint arXiv:1409.2329.
阅读全文