internal covariate shift

内部协变量偏移（Internal Covariate Shift）指的是在深度神经网络训练过程中，由于每一层神经网络的输入分布发生变化而导致的训练困难问题。具体而言，由于网络的每一层参数的不断更新，导致每一层输入的分布也会发生变化，这会导致下一层的训练变得困难，需要花费更长的时间进行训练。为了解决这个问题，研究者们提出了一种称为批量归一化（Batch Normalization）的技术，通过对每一层输入进行归一化操作，从而使得每一层输入的分布相对稳定，加速网络的训练过程。