Leaky ReLU图像

### Leaky ReLU 函数图像

Leaky ReLU 是一种改进型的线性整流单元（ReLU），其允许负输入通过一个小斜率传递，从而解决了传统 ReLU 在负区间的零梯度问题。对于任意给定的输入 \(x\)，如果 \(x>0\) 则输出等于输入本身；而当 \(x<0\) 时，则输出为 \(\alpha x\), 其中 \(\alpha\) 是一个小正数，通常设置为 0.01。

下面展示如何绘制 Leaky ReLU 的函数及其导数图形：

import numpy as np
import matplotlib.pyplot as plt

def leaky_relu(x, alpha=0.01):
    """定义Leaky ReLU激活函数"""
    return np.where(x >= 0, x, alpha * x)

def d_leaky_relu(x, alpha=0.01):
    """定义Leaky ReLU的导数形式"""
    dx = np.ones_like(x)
    dx[x < 0] = alpha
    return dx

# 创建数据点用于绘图
x_values = np.linspace(-5, 5, 500)
y_values = leaky_relu(x_values)
dy_values = d_leaky_relu(x_values)

plt.figure(figsize=(12, 6))

# 绘制Leaky ReLU曲线
plt.subplot(1, 2, 1)
plt.plot(x_values, y_values, label='Leaky ReLU', color='blue')
plt.title('Leaky ReLU Function')
plt.xlabel('Input Value (x)')
plt.ylabel('Output Value (f(x))')
plt.grid(True); plt.legend(); plt.axhline(y=0, color='k'); plt.axvline(x=0, color='k')

# 绘制Leaky ReLU导数曲线
plt.subplot(1, 2, 2)
plt.plot(x_values, dy_values, label="Derivative of Leaky ReLU", linestyle="--", color='red')
plt.title('Derivative of the Leaky ReLU Function')
plt.xlabel('Input Value (x)')
plt.ylabel("f'(x)")
plt.grid(True); plt.legend(); plt.axhline(y=0, color='k'); plt.axvline(x=0, color='k')

plt.tight_layout()
plt.show()

上述代码实现了两个子图表：一个是 Leaky ReLU 函数本身的可视化[^1]，另一个展示了该函数的一阶导数值变化情况[^2]。这有助于直观理解 Leaky ReLU 如何工作以及它相对于标准 ReLU 改进了什么方面。