激活函数的3个基本作用是什么？并绘制几类常见激活函数图

激活函数的三个基本作用是：

1. 引入非线性：激活函数可以通过引入非线性，使得神经网络能够拟合更为复杂的函数关系。

2. 输出范围控制：激活函数可以将神经网络的输出限制在一个特定的范围内，例如将输出限制在0到1之间，或者将输出限制在-1到1之间。

3. 优化求解：激活函数的选择可以影响网络的收敛速度和稳定性，因此选择合适的激活函数可以加速网络的训练和提高模型的精度。

以下是几类常见的激活函数图：

1. Sigmoid函数：


Sigmoid函数是一种常用的激活函数，它的输出范围在0到1之间，具有较好的连续性和可导性。但是，在神经网络的深层结构中，Sigmoid函数容易出现梯度消失的问题。

2. Tanh函数：


Tanh函数是一种类似于Sigmoid函数的激活函数，它的输出范围在-1到1之间，具有较好的连续性和可导性。与Sigmoid函数相比，Tanh函数具有更强的非线性特性，但是也容易出现梯度消失的问题。

3. ReLU函数：


ReLU函数是一种常用的非线性激活函数，它的输出为0到正无穷之间的实数。ReLU函数具有较好的计算效率和非线性特性，但是在一些情况下也容易出现神经元死亡的问题。

4. Leaky ReLU函数：


Leaky ReLU函数是对ReLU函数的改进，它在负数部分引入了一个小的斜率，从而避免了神经元死亡的问题。Leaky ReLU函数具有较好的计算效率和非线性特性，但是在一些情况下也容易出现梯度消失的问题。