RNN如何避免梯度消失/爆炸问题？

循环神经网络（RNN）中的梯度消失/爆炸问题是由于反向传播过程中链式法则导致的，当网络深度增加时，激活函数的导数可能非常小（如sigmoid），使得浅层单元的权重更新极其微弱（梯度消失），而如果导数很大（如ReLU的导数在正值区域恒定），则深层单元可能会经历异常大的权重更新（梯度爆炸）。

为解决这个问题，RNN引入了几种策略：

1. **长期短期记忆（LSTM, Long Short-Term Memory)**[^4]：LSTM通过门控机制（包括输入门、遗忘门和输出门）来控制信息的流动，特别是通过一个称为细胞状态的记忆单元，可以有效地缓解梯度消失问题。

2. **门控循环单元（GRU, Gated Recurrent Unit）**[^5]：与LSTM类似，GRU减少了部分门的数量，但同样利用门来控制信息流，从而减少梯度消失的可能性。

3. **梯度裁剪（Gradient Clipping）**[^6]：这是一种简单的方法，设置一个阈值，当梯度的范数超过这个阈值时，将其缩放到该阈值以内，以防止梯度过大导致爆炸。

4. **初始化权重**：合适的权重初始化策略，如Xavier或He初始化，可以帮助网络更稳定地学习。

5. **残差连接（Residual Connections）**[^7]：虽然不直接针对梯度问题设计，但在深度RNN中添加跨层的直接路径，可以让梯度更容易通过网络传递。

\[ ^4 \] Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780.

\[ ^5 \] Cho, K., Van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using rnn encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078.

\[ ^6 \] Pascanu, R., Mikolov, T., & Bengio, Y. (2013). On the difficulty of training recurrent neural networks. International conference on machine learning, 1319-1327.

\[ ^7 \] He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).