layer normalization详解

Layer normalization是一种神经网络中的归一化方法，它可以对每个样本的每个特征进行归一化，而不是像batch normalization一样对每个batch进行归一化。Layer normalization的计算方式与batch normalization不同，它是对每个样本的每个特征进行归一化，而不是对整个batch的均值和方差进行归一化。这种方法可以减少batch size对归一化结果的影响，同时也可以提高模型的泛化能力。Layer normalization可以应用于各种神经网络结构中，包括卷积神经网络和循环神经网络等。