激活函数(ReLU, Swish, Maxout)

激活函数是神经网络中非常重要的组成部分，它决定了神经元是否被激活和输出的值。常见的激活函数有ReLU、Swish和Maxout。

ReLU（Rectified Linear Unit）是一种非常简单但非常有效的激活函数。它的定义为f(x) = max(0,x)，即当输入小于0时输出0，大于等于0时输出x。

Swish是一种新型的激活函数，它的定义为f(x) = x * sigmoid(x)。Swish在一些任务上表现优于ReLU，并且它的导数相比ReLU更平滑，有助于优化算法。

Maxout是一种比较特殊的激活函数，它可以看作是ReLU的一般化，它的定义为f(x) = max(w1*x+b1, w2*x+b2)。Maxout可以学习多个ReLU函数的参数，并且在一些任务上表现非常优秀。