Leaky ReLU函数python代码是什么

Leaky ReLU函数的数学公式为：$f(x) = \begin{cases} x, x \geq 0 \\ ax, x < 0 \end{cases}$，其中 $a$ 是小于 1 的超参数。

Leaky ReLU函数的 Python 代码实现如下：

def leaky_relu(x, alpha=0.01):
    return np.maximum(alpha * x, x)

其中，`x` 是输入值，`alpha` 是超参数，表示当输入值小于 0 时，输出值的比例系数。`np.maximum()` 函数可以将 `alpha * x` 和 `x` 两个数组中对应位置的最大值作为输出值。这样，在 `x < 0` 的情况下，就会输出一个比 `x` 小的值，从而避免了 ReLU 函数中出现的死亡神经元问题。