什么是频谱归一化（SN）和梯度归一化（GN）？

频谱归一化（SN）和梯度归一化（GN）是两种常见的归一化技术。

频谱归一化（SN）是一种用于归一化权重的技术，特别适用于生成对抗网络（GANs）和对抗训练中。它通过计算权重矩阵的频谱范数来对权重进行归一化。频谱范数是权重矩阵的特征值的最大值。通过将权重矩阵的每个元素除以频谱范数，可以将权重归一化到一个固定的范围内，从而提高模型的稳定性和收敛性。

梯度归一化（GN）是一种用于归一化特征的技术，特别适用于卷积神经网络（CNNs）中的小批次训练。在小批次训练中，由于样本数量较少，计算特征的均值和方差可能不准确，导致归一化效果不佳。GN通过在特征维度上进行分组计数来控制用于计算均值和方差的特征数。具体地，将通道、高度和宽度维度合并成一个新的维度，然后根据分组计数来计算每个分组的均值和方差。通过这种方式，GN可以更准确地估计特征的均值方差，从而提高归一化的效果。