2、激活函数的3个基本作用是什么?并绘制几类常见激活函数图
时间: 2024-05-05 09:06:40 浏览: 15
激活函数的三个基本作用是:
1. 引入非线性因素:激活函数能够将输入信号映射到非线性空间,从而使神经网络能够处理非线性问题。
2. 压缩输出范围:激活函数能够将输出值限制在一定范围内,避免神经网络的输出值过大或过小,从而提高模型的稳定性和泛化能力。
3. 实现神经元之间的交互:激活函数能够实现神经元之间的相互作用,从而使神经网络能够表达复杂的函数关系。
常见的激活函数包括:
1. Sigmoid函数:将输入值压缩到[0,1]范围内,常用于二分类问题。
![sigmoid函数](https://cdn.luogu.com.cn/upload/image_hosting/ci8r0h1r.png)
2. ReLU函数:将负数部分截断为0,常用于减少梯度消失问题。
![ReLU函数](https://cdn.luogu.com.cn/upload/image_hosting/5f5e5pvm.png)
3. Leaky ReLU函数:在负数部分引入一个小的斜率,可以避免ReLU函数的死亡ReLU问题。
![Leaky ReLU函数](https://cdn.luogu.com.cn/upload/image_hosting/8k8fzvqa.png)
4. Tanh函数:将输入值压缩到[-1,1]范围内,常用于回归问题。
![Tanh函数](https://cdn.luogu.com.cn/upload/image_hosting/rz5y7o8e.png)
5. Softmax函数:将多个神经元的输出值映射到[0,1]范围内,且所有输出值之和为1,常用于多分类问题。
![Softmax函数](https://cdn.luogu.com.cn/upload/image_hosting/3vo3f2hm.png)