softmax和 Predictive

### Softmax 函数在预测建模中的作用

Softmax 函数广泛应用于多分类问题，在机器学习模型中起到将线性变换后的输出转换成概率分布的作用。具体来说，给定一组输入分数 \( z_1, z_2,...,z_n \)，softmax 将这些数值映射到范围为 (0, 1) 的区间内，并确保所有输出的概率总和等于 1。

#### 数学表达式
Softmax 函数定义如下：

\[
S(y_i) = \frac{e^{y_i}}{\sum_{j=1}^{n}{e^{y_j}}}
\]

其中 \( y_i \) 表示第 i 类别的得分或未归一化的对数几率(logit)[^2]。

这种特性使得 softmax 成为了处理多类别分类的理想选择，因为其不仅能够给出每个类别的相对可能性大小，还保持了整体上的概率一致性约束条件。

#### 应用场景
当构建一个可以区分多个不同标签的神经网络时，通常会在最后一层采用 softmax 层来获得最终的分类决策。例如，在自然语言生成(NLG)任务中，通过训练好的神经语言模型(neural language model)，可以根据上下文环境预测下一个最有可能出现单词的位置及其对应的词汇表索引。

import numpy as np

def softmax(x):
    """Compute the softmax of vector x."""
    e_x = np.exp(x - np.max(x))
    return e_x / e_x.sum()

logits = [2.0, 1.0, 0.1]
probs = softmax(logits)
print(probs)

上述代码展示了如何计算三个候选选项 {A,B,C} 对应 logit 值分别为 2.0、1.0 和 0.1 下各自被选中的概率。