def Leaky ReLU

Leaky ReLU（Leaky Rectified Linear Unit）是一种改进的ReLU激活函数，旨在解决ReLU函数在负数区域出现的神经元“死亡”问题。Leaky ReLU在负数区域引入了一个小的斜率，使其在负数区域也有一定的输出，从而增加了模型的表达能力。

Leaky ReLU函数的数学表达式如下：

f(x) = max(ax, x)

其中，`a`是一个小于1的超参数，表示负数区域的斜率。通常情况下，`a`的值设置为0.01。当`a=0`时，Leaky ReLU退化为普通的ReLU函数。

下面是一个使用Python绘制Leaky ReLU函数图形的示例代码：

import numpy as np
import matplotlib.pyplot as plt

def leaky_relu(x, alpha=0.01):
    return np.maximum(alpha*x, x)

# 设置 x 范围
x = np.linspace(-5, 5, 100)

# 绘制Leaky ReLU函数图形
plt.figure(figsize=(8, 6))
plt.plot(x, leaky_relu(x), label='Leaky ReLU')
plt.legend()

# 显示图形
plt.show()

你可以根据需要修改超参数`alpha`的值来调整Leaky ReLU函数在负数区域的斜率。