批量归一化（BN）层

批量归一化（Batch Normalization，BN）是深度学习中常用的一种技术，它可以有效地加速模型的训练并提高模型的泛化能力。BN层通常被添加到神经网络的卷积层或全连接层之后，作为一种对输入数据进行归一化处理的方式。

BN层的作用在于将每个批次（batch）的数据进行归一化，使得每个特征在该批次数据中具有相同的均值和方差。这样可以使得后续的神经网络层更加稳定，加速模型的训练并提高模型的泛化能力。BN层的公式如下：

$$\hat{x} = \frac{x - E[x]}{\sqrt{Var[x] + \epsilon}}$$

其中，$x$表示输入的数据，$E[x]$表示该批次数据中$x$的均值，$Var[x]$表示该批次数据中$x$的方差，$\epsilon$是一个极小的数（如$10^{-5}$），避免分母为0。

除了对输入数据进行归一化之外，BN层还引入了两个可学习的参数$\gamma$和$\beta$，分别用于缩放和平移归一化后的数据。最终输出的结果为：

$$y = \gamma \hat{x} + \beta$$

这样做可以使得网络更加灵活地学习到适合不同输入数据分布的权重。