残差网络是由什么发展而来的

残差网络（Residual Network，简称 ResNet）是由微软亚洲研究院的研究人员在2015年提出的。它是由深度卷积神经网络（CNN）发展而来的，旨在解决深度神经网络训练中的梯度消失和梯度爆炸问题。

在传统的CNN中，多层网络堆叠后，随着网络深度的增加，模型的性能会出现下降。这是因为随着深度增加，梯度在反向传播时会逐渐变小，导致训练变得非常困难。为了解决这个问题，ResNet提出了“残差学习”的思想，即通过引入跨层连接（shortcut connection），使得信息可以通过捷径直接传递到后面的层，从而避免了信息在传递过程中的损失。

总的来说，ResNet的提出，大大推动了深度神经网络的发展，也为后续的深度学习模型的设计提供了重要的思路和方法。