softmax relue sigmoid 区别

softmax、relu和sigmoid是常用的激活函数，它们在神经网络中起到非线性映射的作用，用于增加模型的表达能力。它们的区别如下：

1. Softmax函数：
Softmax函数常用于多分类问题，将输入的实数向量转化为概率分布。它的输出是一个概率向量，其中每个元素表示对应类别的概率。Softmax函数的公式如下：
![softmax](https://wikimedia.org/api/rest_v1/media/math/render/svg/4e3b8a7e6f0d2e9a5e8c6f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e2b8f3d7a0b8f4e