sigmoid激活函数的作用
时间: 2023-10-04 15:05:44 浏览: 150
神经网络的激活函数之sigmoid
sigmoid激活函数的作用是对神经元的输入进行限制,控制输入不让其进入神经网络中。它在历史上非常常用,因为它对神经元的激活频率有良好的解释,从完全不激活到完全饱和的激活。然而,现在sigmoid函数已经不太受欢迎,因为它有两个主要缺点。首先,sigmoid函数的梯度在接近饱和区域时非常接近于零,导致梯度消失的问题。其次,sigmoid函数的输出不是以零为中心的,这可能导致神经网络的输出偏向某一方向。因此,现在更常用的激活函数是ReLU和其变种,它们能够更好地解决梯度消失和输出偏移的问题。[1][2][3]
阅读全文