pre-activation residual network是什么意思

Pre-activation residual network是指一种神经网络结构，它采用了在每个卷积层或全连接层之前添加一个小的残差模块来优化网络的训练效果。这个残差模块包括一对批量正则化、激活函数和卷积层或全连接层，它们按照一个特定的顺序被连接在一起。这种结构的设计可以防止网络退化，有效地提高网络的性能，并且其训练时间相对较短，使其成为当前最流行的神经网络结构之一。