softmax函数公式交叉熵损失函数

softmax函数是一种常用的激活函数，用于将一个向量的元素转化为概率分布。对于输入向量 z，softmax 函数的公式如下：

softmax(z) = [exp(z_i) / sum(exp(z_j)) for i in range(len(z))]

其中，exp(x) 是指数函数，sum(exp(z_j)) 是对输入向量 z 的所有元素进行求和。

交叉熵损失函数（cross-entropy loss）常用于分类问题的损失函数计算。对于一个分类问题，假设有 n 个类别，输入样本的真实标签为 one-hot 编码的向量 y（长度为 n），模型的输出概率分布为预测标签的向量 p（长度为 n）。交叉熵损失函数的公式如下：

cross_entropy_loss(y, p) = -sum(y_i * log(p_i) for i in range(n))

其中，log(x) 是自然对数函数。

需要注意的是，softmax 函数和交叉熵损失函数可以结合使用，常用于多分类问题中。在训练神经网络时，通常将 softmax 函数用于最后一层的输出，并将其结果与真实标签计算交叉熵损失。