Xavier 初始化

Xavier初始化是一种用于神经网络权重初始化的方法，旨在解决梯度消失或梯度爆炸的问题，以及加速神经网络的收敛速度。它是由Xavier Glorot和Yoshua Bengio在2010年提出的。

Xavier初始化的原理是根据输入和输出的维度来确定权重的初始值。具体而言，对于一个全连接层，权重的初始值应该满足均匀分布或者高斯分布，并且方差应该与输入和输出维度相关。

对于均匀分布的情况，权重的初始值可以通过以下公式计算：

W = np.random.uniform(low=-sqrt(6/(n_in + n_out)), high=sqrt(6/(n_in + n_out)), size=(n_in, n_out))

其中，n_in是输入维度，n_out是输出维度。

对于高斯分布的情况，权重的初始值可以通过以下公式计算：

W = np.random.normal(loc=0, scale=sqrt(2/(n_in + n_out)), size=(n_in, n_out))

其中，loc是均值，scale是标准差，n_in是输入维度，n_out是输出维度。

Xavier初始化方法可以有效地避免梯度消失或梯度爆炸问题，并且有助于提高神经网络的训练效果和收敛速度。