Focal 损失函数pytorch代码和使用

Focal Loss 是一种用于处理类别不平衡问题的损失函数，它通过调整难易样本的权重来解决在训练过程中容易被大量样本主导的问题。下面是使用 PyTorch 实现 Focal Loss 的代码和使用方法：

import torch
import torch.nn as nn
import torch.nn.functional as F

class FocalLoss(nn.Module):
    def __init__(self, alpha=0.5, gamma=2, reduction='mean'):
        super(FocalLoss, self).__init__()
        self.alpha = alpha
        self.gamma = gamma
        self.reduction = reduction

    def forward(self, inputs, targets):
        ce_loss = F.cross_entropy(inputs, targets, reduction='none')
        pt = torch.exp(-ce_loss)
        focal_loss = self.alpha * (1 - pt) ** self.gamma * ce_loss

        if self.reduction == 'mean':
            return focal_loss.mean()
        elif self.reduction == 'sum':
            return focal_loss.sum()
        else:
            return focal_loss

# 使用示例
criterion = FocalLoss(alpha=0.5, gamma=2)

inputs = torch.randn(10, 3)  # 模型预测结果
targets = torch.randint(3, (10,))  # 真实标签

loss = criterion(inputs, targets)
loss.backward()

在上面的代码中，我们定义了一个名为 `FocalLoss` 的自定义损失函数类，它继承自 `nn.Module`。在 `forward` 方法中，我们首先计算交叉熵损失（`ce_loss`），然后根据 Focal Loss 的公式计算出最终的 Focal Loss（`focal_loss`）。最后根据 `reduction` 参数选择是返回均值（`mean`）还是总和（`sum`）作为最终的损失值。

在使用示例中，我们创建了一个 `FocalLoss` 实例，并传入了 `alpha` 和 `gamma` 参数。然后，我们创建了模型的预测结果 `inputs` 和对应的真实标签 `targets`。通过调用 `criterion` 实例的前向传播方法，即可计算出 Focal Loss，并进行反向传播以更新模型参数。

请注意，这只是 Focal Loss 的一个简单实现例子，你可以根据自己的需求和实际场景进行更改和调整。