julia flux有哪些常用激活函数？

Julia Flux 中常用的激活函数有：

1. relu(x)：修正线性单元函数，即 $f(x) = \max(0,x)$。
2. sigmoid(x)：Sigmoid 函数，即 $f(x) = \frac{1}{1+e^{-x}}$。
3. tanh(x)：双曲正切函数，即 $f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$。
4. softmax(x)：Softmax 函数，用于多分类问题，将向量规范化为概率分布，即 $f(x_i) = \frac{e^{x_i}}{\sum_{j=1}^ne^{x_j}}$。
5. leakyrelu(x, a)：LeakyReLU 函数，修正线性单元函数的改进版，当输入为负数时，斜率为 $a$，即 $f(x) = \max(ax, x)$。
6. elu(x, a)：Exponential Linear Units 函数，指数线性单元函数，当输入为负数时，斜率为 $a$，即 $f(x) = \begin{cases}ax, &x<0 \\ x, &x\geq 0 \end{cases}$。