batch normalization layer是什么

Batch normalization layer 是一种在深度神经网络中常用的技术，用于加速训练过程并提高模型性能。它通过将每个 mini-batch 的输入数据标准化，即将其缩放到均值为零、方差为一的范围内，来解决梯度消失和梯度爆炸的问题。此外，它还引入了两个可学习参数，gamma和beta，用于对标准化后的数据进行缩放和平移，以恢复网络的表达能力。Batch normalization layer一般被添加在卷积层或全连接层之后，可以显著提高模型的准确率和泛化能力。