激活函数的3个基本作用是什么?并绘制几类常见激活函数图
时间: 2024-02-17 08:40:11 浏览: 73
激活函数的3个基本作用是:
1.非线性转换:通过非线性转换,激活函数可以将输入的线性组合转换为非线性输出。
2.提高模型的表达能力:激活函数可以增强神经网络的表达能力,使得神经网络可以逼近任意复杂的函数。
3.实现梯度下降优化:激活函数的导数可以用于计算神经网络的梯度,从而实现梯度下降优化。
以下是几类常见的激活函数图:
1. Sigmoid函数
![sigmoid](https://img-blog.csdn.net/20180501094640211?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JlZGlyZWN0/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/q/85)
2. ReLU函数
![relu](https://img-blog.csdn.net/20180501095247680?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JlZGlyZWN0/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/q/85)
3. Tanh函数
![tanh](https://img-blog.csdn.net/20180501095749685?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JlZGlyZWN0/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/q/85)
4. Softmax函数
![softmax](https://img-blog.csdn.net/20180501095920391?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3JlZGlyZWN0/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/q/85)
阅读全文