帮我提供几篇论文“里面提出了RNN存在梯度爆炸、以及在处理长时间序列时,只能利用较短的信息,无法有效地利用长期的依赖关系,导致预测效果下降,所以本文选择了LSTM的模型”的论文
时间: 2023-03-19 11:23:55 浏览: 162
基于长短期神经网络的回归分析,基于LSTM的回归预测
5星 · 资源好评率100%
以下是一些提到了RNN存在梯度爆炸问题和长时间序列处理的限制,并且采用了LSTM模型的论文:
1. Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780. 这篇论文提出了LSTM模型,用来解决传统RNN在长时间序列处理中的限制问题,同时也提到了RNN存在的梯度爆炸问题。
2. Graves, A. (2013). Generating sequences with recurrent neural networks. arXiv preprint arXiv:1308.0850. 这篇论文提出了一种LSTM模型的变体,用于生成序列数据,同时也提到了RNN存在的梯度爆炸问题和长时间序列处理的限制问题。
3. Pascanu, R., Mikolov, T., & Bengio, Y. (2013). On the difficulty of training recurrent neural networks. International Conference on Machine Learning (ICML). 这篇论文探讨了RNN存在的梯度爆炸和消失问题,并提出了LSTM和GRU等模型来解决这些问题。
4. Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical evaluation of gated recurrent neural networks on sequence modeling. arXiv preprint arXiv:1412.3555. 这篇论文通过实验对比了传统RNN和LSTM等模型在长时间序列处理上的性能差异,并发现LSTM模型在长时间序列处理上表现更优。
5. Zaremba, W., Sutskever, I., & Vinyals, O. (2014). Recurrent neural network regularization. arXiv preprint arXiv:1409.2329. 这篇论文提出了一种基于LSTM模型的正则化方法,用于解决RNN存在的梯度爆炸问题,并在语言建模任务中取得了较好的效果。
6. Greff, K., Srivastava, R. K., Koutník, J., Steunebrink, B. R., & Schmidhuber, J. (2015). LSTM: A search space odyssey. IEEE Transactions on Neural Networks and Learning Systems, 28(10), 2222-2232. 这篇论文通过对LSTM模型的搜索空间进行探索,提出了一种改进的LSTM模型,进一步优化了长时间序列处理和梯度消失问题。
阅读全文