交叉熵损失python源码实现

交叉熵损失函数是一种常用的分类模型优化目标，在机器学习特别是深度学习中广泛用于神经网络的训练。其目的是衡量预测值与真实标签之间的差异。在Python中，特别是在深度学习库如TensorFlow或PyTorch中，通常有现成的函数可以计算交叉熵。

以下是简单的例子，展示如何在Keras（它是TensorFlow的一个高级API）中实现交叉熵损失：

import tensorflow as tf

def categorical_crossentropy(y_true, y_pred):
    # y_true is the ground truth labels (one-hot encoded)
    # y_pred are the predicted probabilities
    return tf.keras.losses.categorical_crossentropy(y_true, y_pred)

# 使用示例
y_true = tf.constant([[1, 0, 0], [0, 1, 0], [0, 0, 1]])
y_pred = tf.constant([[0.9, 0.05, 0.05], [0.1, 0.85, 0.05], [0.05, 0.05, 0.9]])
loss = categorical_crossentropy(y_true, y_pred)

如果你使用的是PyTorch，则可以这样做：

import torch

def cross_entropy_loss(pred, target):
    criterion = torch.nn.CrossEntropyLoss()
    return criterion(pred, target)

# 使用示例
pred = torch.tensor([[0.9, 0.05, 0.05], [0.1, 0.85, 0.05], [0.05, 0.05, 0.9]])
target = torch.tensor([0, 1, 2])
loss = cross_entropy_loss(pred, target)