Sigmoid激活函数
时间: 2024-01-09 13:09:36 浏览: 74
神经网络的C语言实现
Sigmoid激活函数是一种常用的非线性函数,其数学公式为:
$ \sigma(x) = \frac{1}{1 + e^{-x}} $
其中,x为输入值,$\sigma(x)$为输出值。Sigmoid函数的输出值在0到1之间,可以将任何实数映射到0到1的范围内。
Sigmoid函数在神经网络中被广泛使用,主要用于将神经元的输出压缩到0到1之间,以便于进行分类或回归等任务。然而,Sigmoid函数在输入值较大或较小的情况下,其输出值会趋近于0或1,导致梯度消失问题,从而影响模型的训练效果。因此,近年来逐渐被ReLU等函数取代。
阅读全文