深度学习模型的激活函数有哪些?
时间: 2023-06-20 15:05:01 浏览: 106
深度学习---21种激活函数的对比
常用的深度学习模型的激活函数有以下几种:
1. Sigmoid 函数:将输入值映射到 0 到 1 之间。
2. Tanh 函数:将输入值映射到 -1 到 1 之间。
3. ReLU 函数:将负数部分直接截断为 0,保留正数部分。
4. Leaky ReLU 函数:与 ReLU 函数类似,但是将负数部分乘以一个小的正数。
5. PReLU 函数:Leaky ReLU 的一种变体,参数化的 ReLU 函数。
6. ELU 函数:指数线性单元函数,可以在保持非负性的同时将负数部分压缩得更小。
7. Swish 函数:类似于 Sigmoid 函数,但是在 Sigmoid 函数的基础上增加一个非线性因子。
这些激活函数在不同的场景下都有各自的优缺点,需要根据具体的任务和数据选择合适的激活函数。
阅读全文