sigmoid优缺点

### sigmoid函数的优点

sigmoid函数作为一种常用的激活函数，在机器学习领域有着广泛应用。该函数能够将实数值映射到(0,1)区间内，这使得它非常适合用于表示概率[^3]。

#### 平滑特性
由于其平滑性和连续可微分性质，便于计算梯度并应用于基于梯度的学习算法中[^4]。

然而，当提到与其他激活函数对比时，比如tanh或ReLU，sigmoid存在一些局限性：

### sigmoid函数的缺点

#### 输出范围不对称于零点
相比于其他改进型激活函数如tanh，sigmoid函数输出不是以0为中心，这意味着在网络训练过程中可能会引入偏差项来调整这种偏移，增加了模型复杂度[^2]。

#### 易导致梯度消失现象
随着输入绝对值增大，sigmoid曲线变得非常平坦，此时导数接近于零。这一特点可能导致反向传播过程中的梯度几乎无法有效传递给前面层次节点权重更新带来困难，即所谓的“梯度消失”问题严重制约深层网络性能提升。

import numpy as np
import matplotlib.pyplot as plt

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

x_values = np.linspace(-10, 10, 500)
y_values = sigmoid(x_values)

plt.plot(x_values, y_values)
plt.title('Sigmoid Function')
plt.xlabel('Input Value')
plt.ylabel('Output Value')
plt.grid(True)
plt.show()