Sigmoid函数的缺点
时间: 2024-03-03 10:34:56 浏览: 85
6422495.rar_sigmoid
1. 饱和性:当输入的绝对值非常大时,Sigmoid函数会饱和,也就是输出值趋近于0或1,导致梯度消失,无法进行有效的反向传播,从而影响模型的训练效果。
2. 中心化问题:Sigmoid函数对输入的数据进行了平移和缩放,使得输入数据的均值偏向于0.5,这会影响模型的训练效果。
3. 计算代价高:计算Sigmoid函数的代价相对较高,因为它需要进行指数运算,而指数运算的计算量比较大。
4. 输出不是0均值:Sigmoid函数的输出不是0均值的,这会影响模型的训练效果。
5. 不是稀疏表示:Sigmoid函数的输出是连续的,而不是稀疏的,这会影响模型的泛化能力。
阅读全文