激活函数 softmax 数学原理

softmax函数的数学原理比较简单，它可以被看作是一种概率分布函数。在神经网络中，softmax函数通常被用于多分类问题中，将模型输出的原始得分映射为每个类别的概率分布。

具体地说，对于一个长度为$K$的输入向量 $\boldsymbol{z}=[z_1,z_2,...,z_K]$，softmax函数的计算过程如下：

1. 首先对输入向量中的每个元素求指数，得到 $\boldsymbol{e}=[e^{z_1}, e^{z_2},...,e^{z_K}]$。

2. 然后将 $\boldsymbol{e}$ 中的所有元素求和，得到 $\sum_{j=1}^K e^{z_j}$。

3. 最后，对于输入向量中的每个元素 $z_i$，softmax函数的输出 $\sigma(z_i)$ 可以通过将 $e^{z_i}$ 除以 $\sum_{j=1}^K e^{z_j}$ 得到：

$$
\sigma(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}
$$

4. 输出向量中的每个元素都是大于0且小于1的实数，而且它们的和等于1。

因此，softmax函数可以将模型输出的原始得分映射为每个类别的概率分布，使得我们可以用它来预测每个类别的概率。