PreAct ResNet

PreAct ResNet是一种深度残差网络的变体，它是在ResNet的基础上进行改进的。ResNet是一种非常流行的深度学习模型，通过使用残差块来解决深层网络训练中的梯度消失和梯度爆炸问题。

PreAct ResNet的改进主要体现在残差块的结构上。在传统的ResNet中，每个残差块的结构是"卷积 - 激活函数 - 卷积 - 批量归一化 - 激活函数 - 卷积 - 残差连接"。

这种改进的结构使得PreAct ResNet更加易于训练和优化。通过将批量归一化和激活函数放在卷积之前，可以减轻梯度消失和梯度爆炸问题，提高了网络的收敛速度和性能。此外，PreAct ResNet还可以减少参数量，提高模型的效率。