为什么要进行正态分布初始化、
时间: 2023-12-22 17:03:30 浏览: 141
正态分布初始化是一种常用的神经网络参数初始化方法,其目的是使得神经网络中的权重参数以一定的概率分布方式随机初始化,从而使得神经网络在训练时收敛更快、更稳定。一般情况下,神经网络中的参数都是随机初始化的,而正态分布初始化能够使得初始化后的参数符合高斯分布,使得参数的值更加均匀地分布在可接受的范围内。这样可以防止神经网络的模型过拟合,同时也可以避免梯度消失或梯度爆炸等问题。因此,正态分布初始化被广泛应用于神经网络中的参数初始化。