什么是梯度爆炸和梯度消失？

梯度爆炸和梯度消失是深度神经网络训练中常见的问题。梯度爆炸指的是在反向传播过程中梯度值变得非常大，导致权重参数更新过度，从而使网络训练失败。相反，梯度消失则是指在反向传播过程中梯度值变得非常小，导致在较深的层数中权重参数无法有效地更新，从而限制了网络的表达能力。这两个问题都会导致网络无法收敛，对深度神经网络的训练造成很大的困难。