Resnet残差神经网络

ResNet（Residual Neural Network）是一种深度残差神经网络，由微软研究院的Kaiming He等人于2015年提出。它通过引入残差连接（residual connection）来解决深度神经网络训练过程中的梯度消失和梯度爆炸问题。

在传统的神经网络中，每一层的输入都是前一层的输出，通过多个非线性变换层逐层堆叠，最终得到输出。然而，随着网络层数的增加，梯度在反向传播过程中容易消失或爆炸，导致网络难以训练。ResNet通过引入残差块（residual block）来解决这个问题。

残差块由两个主要部分组成：恒等映射（identity mapping）和残差映射（residual mapping）。恒等映射将输入直接传递到输出，而残差映射则对输入进行变换。通过将恒等映射与残差映射相加，得到残差块的输出。这种设计使得网络可以学习到残差部分，从而更好地适应数据。

ResNet的核心思想是通过跨层连接（skip connection）来构建深层网络。这些跨层连接可以绕过一些非线性变换层，使得梯度能够更快地传播。此外，ResNet还引入了批量归一化（batch normalization）和全局平均池化（global average pooling）等技术，进一步提升了网络的性能。