写出线性激活函数、Sigmoid激活函数、Tanh激活函数、ReLU激活函数的表达式,并对它们分别求导。
时间: 2023-12-28 21:09:48 浏览: 150
[小白系列]sigmoid和tanh激活函数的绘制(分开画,合起来画,总有一款适合你),逐行代码详解
5星 · 资源好评率100%
线性激活函数的表达式为:$f(x) = x$,其导数为:$f'(x) = 1$。
Sigmoid激活函数的表达式为:$f(x) = \frac{1}{1 + e^{-x}}$,其导数为:$f'(x) = f(x)(1-f(x))$。
Tanh激活函数的表达式为:$f(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}}$,其导数为:$f'(x) = 1 - f(x)^2$。
ReLU激活函数的表达式为:$f(x) = \max(0, x)$,其导数为:$\begin{cases} 0, & x < 0 \\ 1, & x \geq 0 \end{cases}$。
阅读全文