交叉熵损失函数的Python实现代码

以下是两种交叉熵损失函数的Python实现代码：

1. 二元交叉熵损失函数的实现代码：

import tensorflow as tf

def binary_crossentropy(target, output, from_logits=False):
    if not from_logits:
        # 将输出值限制在一个很小的范围内，避免出现log(0)的情况
        output = tf.clip_by_value(output, 1e-7, 1 - 1e-7)
        # 计算二元交叉熵损失函数
        return -tf.reduce_mean(target * tf.math.log(output) + (1 - target) * tf.math.log(1 - output))
    else:
        # 计算二元交叉熵损失函数
        return tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(labels=target, logits=output))

2. 多类别交叉熵损失函数的实现代码：

import tensorflow as tf

class CategoricalCrossentropy(tf.keras.losses.Loss):
    def __init__(self, from_logits=False, label_smoothing=0):
        super().__init__()
        self.from_logits = from_logits
        self.label_smoothing = label_smoothing

    def call(self, y_true, y_pred):
        if self.label_smoothing > 0:
            # 对标签进行平滑处理
            y_true = y_true * (1 - self.label_smoothing) + 0.5 * self.label_smoothing
        if not self.from_logits:
            # 将输出值限制在一个很小的范围内，避免出现log(0)的情况
            y_pred = tf.clip_by_value(y_pred, 1e-7, 1 - 1e-7)
            # 计算多类别交叉熵损失函数
            return -tf.reduce_mean(tf.reduce_sum(y_true * tf.math.log(y_pred), axis=-1))
        else:
            # 计算多类别交叉熵损失函数
            return tf.reduce_mean(tf.keras.losses.categorical_crossentropy(y_true, y_pred, from_logits=True))