残差神经网络 梯度消失

残差神经网络（Residual Neural Network，ResNet）的提出是为了解决深度神经网络中的梯度消失问题。在传统的深度神经网络中，随着层数的增加，梯度会逐渐变小并最终消失，导致网络无法训练。ResNet通过引入残差块（Residual Block）来解决这个问题。

在残差块中，网络会学习一个残差函数（Residual Function），这个函数表示当前层和前一层输入之间的差异。残差函数可以被视作当前层所需要学习的内容，而前一层的输出则被视作当前层的初始值。通过将残差函数添加到前一层输出上，就可以得到当前层的输出。这样，即使梯度在传递过程中消失，网络也可以通过跳跃连接（Skip Connection）来保留残差信息，从而使得网络可以更深更好地训练。

总之，ResNet是通过引入残差块来解决深度神经网络中的梯度消失问题，从而使得网络可以更深更好地训练。