relu激活函数的种类

常见的ReLU激活函数包括：

1. 原始ReLU函数：$f(x)=max(0,x)$

2. LeakReLU函数：$f(x)=max(\alpha x,x)$，其中$\alpha$为一个小于1的常数，通常取0.01。

3. Parametric ReLU函数（PReLU）：$f(x)=max(\alpha x,x)$，其中$\alpha$是可学习的参数。

4. Exponential Linear Units（ELU）函数：$f(x)=\begin{cases}x & x > 0 \\ \alpha(e^x-1) & x\leq 0\end{cases}$，其中$\alpha$为一个超参数，通常取1。

5. Scaled Exponential Linear Units（SELU）函数：$f(x)=\begin{cases}\lambda x & x > 0 \\ \lambda\alpha(e^x-1) & x\leq 0\end{cases}$，其中$\lambda$和$\alpha$为可学习的参数，满足$\alpha>0$和$\lambda>1$。