python画激活函数ELU及其导数

ELU (Exponential Linear Unit) 激活函数的公式如下：

$$
f(x) = \begin{cases}
x & \text{if } x > 0 \\
\alpha(e^x-1) & \text{otherwise}
\end{cases}
$$

其中 $\alpha$ 是一个可选的参数，通常取值为 1。

ELU 的导数公式如下：

$$
f'(x) = \begin{cases}
1 & \text{if } x > 0 \\
\alpha e^x & \text{otherwise}
\end{cases}
$$

下面是用 Python 绘制 ELU 及其导数的示例代码：

import numpy as np
import matplotlib.pyplot as plt

def elu(x, alpha=1):
    return np.where(x > 0, x, alpha * (np.exp(x) - 1))

def elu_deriv(x, alpha=1):
    return np.where(x > 0, 1, alpha * np.exp(x))

x = np.linspace(-5, 5, 100)
y = elu(x)
y_deriv = elu_deriv(x)

plt.plot(x, y, label='ELU')
plt.plot(x, y_deriv, label='ELU derivative')
plt.legend()
plt.show()