relu和softmax激活函数

ReLU（Rectified Linear Unit）和Softmax是常用的激活函数。

ReLU函数在输入为正数时返回该值，而在输入为负数时返回0。ReLU函数可以解决梯度消失的问题，并且计算速度较快。它常用于深度神经网络的隐藏层，能够增强网络的非线性特性。

Softmax函数常用于多分类问题中，它将一个向量映射为一个概率分布，使得所有类别的概率之和为1。Softmax函数对于输入中的较大值会进行放大，较小值会进行缩小，因此可以用于分类问题中选择最有可能的类别。

这两个激活函数在神经网络中都有广泛的应用。