生成对抗网络的训练目标函数

生成对抗网络（GAN）的训练目标函数包括两个部分：生成器的目标函数和判别器的目标函数。

生成器的目标函数是最小化生成器生成的样本与真实样本之间的差距，通常使用交叉熵损失函数。

判别器的目标函数是最大化正确分类真实样本的概率和正确分类生成器生成的样本的概率之和，也就是最大化判别器的分类准确率，通常使用二元交叉熵损失函数。

GAN的总目标函数是两个部分的加权和，通常使用对抗损失函数来平衡两个目标函数的权重。

相关问题

生成对抗网络损失函数

生成对抗网络的损失函数是通过对抗训练中的生成器和判别器之间的竞争来定义的。在WGAN中，生成器的损失函数可以通过以下方式计算：g_loss = adverisal_loss(discriminator(gen_imgs), real)。其中，adverisal_loss是判别器的损失函数，gen_imgs是生成器生成的图像，real是真实的图像。生成器的损失函数是通过将生成器生成的图像输入判别器，并将其与真实图像进行比较来计算的。

在WGAN-GP中，还引入了梯度惩罚的方法以替代权值剪裁。梯度惩罚的目的是确保函数在任何位置的梯度都小于1，以避免梯度爆炸和梯度消失的问题。通过在目标函数中添加惩罚项，根据网络的输入来限制对应判别器的输出。具体而言，WGAN-GP使用了梯度惩罚方法来解决WGAN中的问题，其中对判别器的输出进行了限制。

总结起来，生成对抗网络的损失函数可以通过对判别器和生成器之间的竞争来定义。在WGAN中，使用了adverisal_loss作为生成器的损失函数，并通过梯度剪裁或梯度惩罚的方法来改进网络的性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [对抗生成网络（GAN）中的损失函数](https://blog.csdn.net/L888666Q/article/details/127793598)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [生成对抗网络(四)-----------WGAN-GP](https://blog.csdn.net/gyt15663668337/article/details/90271265)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]

生成对抗网络 损失函数

### 生成对抗网络 (GAN) 中损失函数的计算方法

#### 原始 GAN 的损失函数
原始 GAN 使用的是基于对数似然的损失函数。对于判别器 \(D\) 和生成器 \(G\), 判别器的目标是最小化错误分类的概率，而生成器则试图最大化欺骗判别器的能力。

具体来说：

- **判别器损失**：当输入是真实的样本时，希望判别器输出接近于1；当输入是由生成器产生的伪造样本时，则期望其输出接近于0。因此，判别器的总损失可以表示为两个部分之和——真实样本上的交叉熵损失加上伪造样本上的交叉熵损失[^1]。

\[ L_D = - \frac{1}{2} E_{x}[log(D(x))] - \frac{1}{2}E_z[(1-log(D(G(z))))]\]

其中\(x\)代表来自真实数据分布的真实样本, 而\(z\)是从先验噪声分布采样的随机向量用于生成伪造样本。

- **生成器损失**：为了使生成模型能够更好地模仿真实数据分布，生成器尝试最小化由判别器赋予伪造样本的平均得分。这可以通过让生成器去减小下面这个表达式的值实现:

\[L_G=-E_z[log(D(G(z)))]\]

这种设置使得生成器努力制造出能被误认为真的假样本，从而迫使判别器提高辨别能力直到两者达到某种动态均衡状态即纳什平衡点，在理想情况下此时任何一方都无法单独改进自己的性能而不改变对方的行为模式[^3]。

#### 改进后的 LSGAN 损失函数
然而，上述标准形式存在一些局限性，比如可能会导致训练不稳定等问题。为此提出了不同的变体之一就是Least Squares Generative Adversarial Networks (LSGANs)，该版本采用平方误差作为衡量指标而不是传统的二元交叉熵。

在 LSGAN 中，目标变为尽可能缩小生成图像与真实图象间的差距，即使得二者更加相似。这意味着如果生成图片明显不同于实际照片的话将会受到更大的惩罚。具体的数学定义如下所示[^2]:

- 对于判别器而言，
* 当处理真正实例时追求较高的正响应；
* 处理伪造品时倾向于较低负反馈。

对应的损失项分别为：

\[L_{real}(D)=\frac{(D(x)-b)^2}{2}\]
\[L_{fake}(D)=\frac{(D(G(z))-a)^2}{2}\]

这里参数 a,b,c 控制着不同类别间预期输出范围，默认取值通常设为{-1,1}, {1,-1} 或者其他合理组合取决于应用场景需求。

- 至于生成器方面，

它旨在促使 D 给予合成产物更高的评分，也就是更靠近 b 的位置，所以相应的损失可写作：

\[L_G=\frac{(D(G(z))-c)^2}{2}\]

综上所述，通过调整这些超参以及选用合适的激活函数等手段可以在一定程度上缓解传统 GAN 存在的一些缺陷并改善整体表现效果。

import torch.nn as nn

class DiscriminatorLoss(nn.Module):
    def __init__(self, real_label=1.0, fake_label=0.0):
        super().__init__()
        self.real_label = real_label
        self.fake_label = fake_label
        self.loss_fn = nn.BCEWithLogitsLoss()

    def forward(self, output_real, output_fake):
        target_real = torch.full_like(output_real, fill_value=self.real_label)
        loss_real = self.loss_fn(output_real, target_real)

        target_fake = torch.full_like(output_fake, fill_value=self.fake_label)
        loss_fake = self.loss_fn(output_fake, target_fake)

        total_loss = (loss_real + loss_fake) / 2.
        
        return total_loss


class GeneratorLoss(nn.Module):
    def __init__(self):
        super().__init__()
        self.loss_fn = nn.BCEWithLogitsLoss()
    
    def forward(self, output_fake):
        targets = torch.ones_like(output_fake)
        gen_loss = self.loss_fn(output_fake, targets)
        
        return gen_loss
    
# For LSGAN Losses implementation would be slightly different using MSELoss instead of BCEWithLogitsLoss.