使用python实现LeakyReLU函数与其导数

LeakyReLU函数是一种修正线性单元（ReLU）的变体，它在输入为负数时不会完全变成0，而是乘以一个小的斜率。

其公式如下：

$$
LeakyReLU(x) = \begin{cases}
x & \text{ if } x > 0 \\
\alpha x & \text{ otherwise }
\end{cases}
$$

其中 $\alpha$ 是一个很小的常数，通常取 0.01 或者 0.2。

实现LeakyReLU函数的Python代码如下：

def leaky_relu(x, alpha=0.01):
    return max(alpha * x, x)

其中，我们使用 `max` 函数来计算函数的值。

接下来，我们来实现LeakyReLU函数的导数。由于LeakyReLU函数在 $x > 0$ 时的导数为1，而在 $x \leq 0$ 时的导数为 $\alpha$，因此我们可以用以下公式来计算导数：

$$
\frac{\partial LeakyReLU(x)}{\partial x} = \begin{cases}
1 & \text{ if } x > 0 \\
\alpha & \text{ otherwise }
\end{cases}
$$

对应的Python代码如下：

def leaky_relu_derivative(x, alpha=0.01):
    if x > 0:
        return 1
    else:
        return alpha

我们可以使用这两个函数来实现LeakyReLU激活函数的前向传播和反向传播。