Leaky-ReLU

Leaky ReLU函数是ReLU函数的一种变体，它在负值区间引入一个小的斜率，解决了ReLU函数在负值区间输出为零的问题。Leaky ReLU函数的公式如下：
f(x) = max(x, αx)

其中，x为输入值，α为Leaky ReLU函数中的斜率，通常取一个小的正数，如0.01。当输入值大于或等于零时，Leaky ReLU函数的输出与ReLU函数相同；当输入值小于零时，Leaky ReLU函数的输出为输入值乘以斜率α。

为了更好地理解Leaky ReLU函数，我们可使用R语言编写代码来实现并进行可视化。以下是代码的实现：

# 导入必要的库
library(ggplot2)

# 定义Leaky ReLU函数
leaky_relu <- function(x, alpha = 0.01) {
  return(ifelse(x > 0, x, alpha * x))
}

# 生成一组输入值
x <- seq(-5, 5, by = 0.1)

# 计算Leaky ReLU的输出值
y <- leaky_relu(x)

# 创建数据框
data <- data.frame(x = x, y = y)

# 绘制Leaky ReLU函数图像
ggplot(data, aes(x = x, y = y)) +
  geom_line() +
  labs(x = "Input", y = "Output", title = "Leaky ReLU Activation Function") +
  theme_minimal()