习题4-8为什么在用反向传播算法进行参数学习时要采用随机参数初始化的方 式而不是直接令W =0,b= 0?
时间: 2024-01-02 13:09:54 浏览: 28
在使用反向传播算法进行参数学习时,我们需要通过梯度下降等优化方法来最小化损失函数,从而得到最优的参数值。如果我们直接将参数初始化为0,则每个神经元的输出都是相同的,这将导致反向传播算法在更新参数时无法区分不同的神经元,进而导致所有的神经元都收到同样的梯度信号,最终导致神经网络的学习效果非常差。
因此,我们需要采用随机参数初始化的方式,来打破神经元之间的对称性,使得不同神经元的输出具有一定的差异性。这样一来,反向传播算法在更新参数时就可以更好地区分不同的神经元,从而让神经网络能够更好地学习数据的特征,并得到更好的分类或回归效果。