条件生成对抗网络中的损失函数对模型性能和图像质量的影响

沙特国王大学学报损失函数对条件生成对抗网络的影响穆罕默德·阿拉·阿布-斯尔汗放大图片作者：Ambassador b.Al-Kadib，a哈希姆大学理学院基础科学系，Zarqa 13133，Jordanb约旦大学阿卜杜拉二世国王信息技术学院，安曼11942，约旦阿提奇莱因福奥文章历史记录：收到2021年2022年2月2日修订2022年2月16日接受2022年3月4日在线发布保留字：条件生成对抗网络Pixel2Pixel损失函数A B S T R A C T条件生成对抗网络（cGAN）是用于许多图像到图像翻译任务的通用方法，其旨在将图像从一种形式翻译为另一种形式，从而产生高质量的翻译图像。在本文中，cGAN模型的损失函数通过将最先进的生成对抗网络（GAN）模型的对抗损失与非对抗损失函数的新组合相结合来修改，以增强模型性能并生成更逼真的图像。具体来说，Wasserstein GAN（WGAN），WGAN与梯度惩罚（WGAN-GP）和最小平方GAN（lsGAN）对抗损失函数的效果进行了探索。进行了几次比较，以选择L1与结构，梯度，基于内容，Kullback-Leibler散度和softmax非对抗损失函数的优化组合出于实验目的，在图像到图像转换任务的情况下使用Facades数据集。采用峰值信噪比（PSNR）、结构相似性指数（SSIM）、通用质量指数（UQI）和视觉信息保真度根据我们的实验结果，在facade数据集上进行图像到图像转换的损失函数的最佳组合是（WGAN）对抗性损失与（L1和内容）非对抗性损失函数。该模型生成精细结构图像，并捕获平移图像的高频和低频细节。图像修复和病变分割的调查，以证明所提出的工作的实用性版权所有©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍图像到图像转换是一类旨在将图像从源域映射到目标域的计算机图形学、计算机视觉和图像处理问题（Tang等人，2021年）。事实上，许多图像到图像的转换问题是难以处理的，因为单个输入图像可以被映射到许多可能的输出，从而导致图像特征分布的不一致或潜在空间中的错误表示。GAN是一个功能强大的模型，在许多领域都有广泛的有趣应用。许多基本的appli-阳离子已发表在文献中。基本应用包括图像生成，其中如果数据很小或收集起来很昂贵，则模型可以生成用于机器学习模型的训练数据（Waheed et al.，2020年）。GAN可用于生成2D和3D对象、面部、动画角色和音乐。图像转换（Emami等人，2020年），超分辨率，*通讯作者。电子邮件地址：o. ju.edu.jo（O.S. Al-Kadi）。分类和识别（Liu等人，2019）、图像分割（Andreini等人，2020），图像在绘画（刘等人，2021年），以及许多其他GAN应用程序可用。GAN可用于医学领域，其中它在肿瘤检测中产生令人印象深刻的结果（Han等人，2021）、药物发现（G.R. Padalkar等人，#20201;及其他领域。图像到图像的翻译任务已经被广泛研究，GAN模型作为这类问题的一种有前途的深度学习方法。GAN模型由两个深层神经网络组成它最初旨在用于图像生成，后来经过修改以用于图像到图像的转换。对于图像到图像的转换，GAN模型不从随机噪声向量生成图像。输入是需要映射到另一图像域的图像（Goel等人，2021年）。已经开发了许多GAN风格来增强图像到图像翻译结果的性能，包括条件生成对抗网络（cGAN）模型，该模型被认为是图像到图像翻译任务的通用解决方案，因为它可以用于广泛的图像域，并且被认为是https://doi.org/10.1016/j.jksuci.2022.02.0181319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comA. 穆罕默德？阿布-斯尔汗Auberariah和OS。卡迪沙特国王大学学报6978是使用GAN进行图像到图像转换的开始（Tang等人， 2020年）。损失函数的定义是GAN模型设计中一个非常关键的方面。GAN使用的损失函数被称为对抗损失函数，它计算生成数据的GAN分布与实际数据分布之间的距离。任何GAN模型都有两个损失函数，一个用于训练发电机网络，另一个用于训练发电机网络。这两个损失函数一起工作以形成对抗损失函数（Tzeng等人，2017年）。将生成器网络的GAN对抗损失函数与传统损失函数（诸如像素到像素（Pix2Pix）模型（Isola等人，2017），这是cGAN架构的一个有趣的扩展，其中通过添加L1损失函数来修改损失函数以产生更强大的结果。应该注意的是，cGAN和Pix2Pix模型都需要使用配对图像进行训练，其中存在输入图像和目标图像之间的映射。GAN领域的研究可以分为两大类：体系结构改进和损失函数改进。作为这项研究的结果，GAN的许多架构变体和损失变体已经被引入。架构变量旨在通过关注消失梯度、图像质量和模式多样性来提高性能，而损失变量旨在基于模式崩溃、消失梯度和图像质量来提高性能。GAN中最常见的失效模式之一是模式崩溃。Pix2pix和cGAN模型作为GAN的损失变体，不太容易受到模式崩溃问题的影响，可以通过组合多个损失函数来此外，使用显式最大化似然的条件生成模型（例如cGAN）可以避免模式崩溃问题。在本文中，我们专注于用于训练cGAN的对抗损失函数，以提高其在生成图像质量方面的性能cGAN模型的对抗性损失函数是基于一组最先进的对抗性损失函数的比较来替换的。此外，我们实现了文献中使用的不同有效损失函数，并将它们与cGAN对抗损失函数进行了组合。本研究的主要贡献如下：1. 研究了损失函数对cGAN模型的影响。2. 输出图像的高频和低频分量都是通过用非对抗损失函数的优化组合来增强对抗损失函数来捕获的。3. 通过四种不同的知名图像质量评估指标对性能进行定量评估。4. 所提出的方法已经实验与图像到图像的门面数据集的转换，并应用于图像分割和图像修补任务。表1描述了本文中使用的缩写论文的其余部分组织如下：第2节介绍了文献综述以及对cGAN和Pix2Pix模型的贡献。第3节深入描述了我们工作中使用的方法和损失函数。第四部分是实验结果和讨论。最后，我们在第5节中总结了主要发现和结论。2. 相关作品Goodfellow 在 2014 年 提 出 了 GAN 框 架 （ Goodfellowet al. ，2014），它由两个深度神经网络组成，即;表1缩略语列表缩略语含义cGAN条件生成对抗网络GAN生成对抗网络WGAN Wasserstein生成对抗网络WGAN-GP带梯度惩罚的最小二乘GAN峰值信噪比SSIM结构相似性指数UQI通用质量指数视觉信息保真度Pix2Pix像素到像素PAN感知对抗网络ID-CGAN图像去雨cGANReLU校正线性单元梯度差损失函数KLDFR-IQA全参考图像质量评估均方误差NSS自然景观统计HVS人类视觉系统标准差MR磁共振训练集假的真Fig. 1. 典型的GAN架构。发电机和发电机生成器用于生成图像，而消隐器的功能是区分真实图像和生成的图像。图1示出了GAN的架构。最初的GAN从噪声数据生成新图像开始。然而，这个想法随后扩展到解决图像到图像的翻译问题，并取得了更有希望的结果。为了提高GAN的性能，人们做了很多工作，无论是通过增强GAN的架构还是修改用于训练模型的损失函数，这都导致了训练过程的增强。Mirza等人提出了一种名为cGAN的新模型，该模型被认为是对原始GAN的扩展，但在GAN的输入中进行了修改;生成器的输入图像也被馈送到GAN。他们将该模型应用于MNIST数字，并获得了优于房图二. cGAN架构。鉴别器随机噪声发生器伪造图像生成的图像R&D影像输入图像发生器鉴别器伪输入鉴别器图像A. 穆罕默德？阿布-斯尔汗Auberariah和OS。卡迪沙特国王大学学报6979其他现有的模型，这被认为是一种新的训练方法的GAN。图2示出了cGAN架构（Tang例如，2020年）。后来，Isola等人（Isola等人，2017年）延长cGAN的工作通过修改损失函数。此扩展能够改善图像到图像transla的结果，其中，发电机网络的损失函数通过将L1添加到其对抗性损失来修改。该模型在图像合成中非常有效，取得了合理的结果，被认为在许多应用中具有广泛的适用性，并且易于采用。已经做了几项工作来修改GAN架构，以提高生成的图像的质量。例如，Wang et al.（2018）提出了感知对抗网络（PAN），其中Pix2Pix模型的像素损失被特征匹配损失所取代此外，Johnson等人（2016）用感知损失代替了像素损失。最后，在单图像超分辨率任务下进行了实验，获得了视觉上令人满意的Zhang等人（2017）通过减少GAN引入的伪影并通过使用新改进的损失函数确保更好的视觉质量来改进cGAN框架。在cGAN修改的基础上，他们引入了图像去雨cGAN（ID-CGAN）方法。该模型在性能上优于许多图像合成模型。Chrysos等人（2018）专注于通过生成RoCGAN模型使cGAN对噪声更具鲁棒性。他们用一个无监督的路径增强了生成器，这导致即使在噪声存在的情况下，也会迫使生成器输出跨越目标流形。RoCGAN在多个领域引入了完美的结果。Liu等人（2021）提出了一种基于cGAN的SCCGAN模型，用于样式和字符修复任务。大多数以前的工作缺乏适当的合成图像内部的细节。这在条件图像合成中尤其明显，条件图像合成仍然是一个挑战，并且通常受到捕获输入和输出图像之间的许多重要区别特征的问题的阻碍，其中使用L1或L2将捕获低频细节而不是高频细节。以前的作品主要集中在捕捉低频或高频的细节。虽然条件分布在实践中是多模态的，但大多数cGAN方法都学习了一个过于简化的分布，其中输入总是映射到单个输出。需要更多的研究来实现这个丰富的模型，以在多模型数据集上按预期执行。以前的模型的另一个局限性是模型崩溃，这必须得到解决，以提高输出的准确性。3. 方法探索cGAN模型的通用性，并扩展Isola等人（2017）的工作，其中L1损失函数被添加到发电机网络的cGAN对抗损失中。我们用最先进的GAN模型之一（包括WGAN、WGAN-GP和lsGAN）使用的对抗性损失函数替换了cGAN对抗性损失。然后，我们使用各种传统的损失函数，并将它们添加到发电机网络的不利损失中，例如L1，结构，梯度，KLD，内容和softmax损失函数。这些模型在训练了200个epoch的“facades”数据集上进行评估。峰值信噪比（PSNR），结构相似性指数（SSIM），通用质量指数（UQI）和视觉信息保真度（VIF）用于评估结果，以确定适合cGAN架构的对抗损失和传统损失函数的最佳组合。算法1给出了损失函数选择方法。算法1：损失函数选择方法3.1. 网络架构我们采用了来自Isola等人的cGAN模型的架构。（2017），其中生成 器 和 递 归 网 络 使 用 卷 积 -BatchNorm-ReLu （ UNet withbatchnorm）模块。整流线性单元（ReLU）激活函数用于所有生成器层，但使用Tanh函数的输出层除外。Batchnorm用于帮助生成模型从底层数据分布生成更好的结果（Yu等人，2017年）。对于图像分类器，使用PatchGAN架构，其中图像分类器对图像的每个补丁进行分类，将其分类为真实图像或伪图像。这是对所有补丁进行卷积处理的，最终的决策是通过对所有响应进行平均来决定最后的输出。3.2. 损失函数GAN模型最重要的部分之一是选择合适的损失函数。本节介绍了实验期间使用的损失函数的描述，其中我们采用了最先进的对抗损失函数和cGAN模型来提高其性能。1.L1损失函数L1损失函数是两个图像之间的绝对距离;生成的图像和地面真实图像。这个想法A. 穆罕默德？阿布-斯尔汗Auberariah和OS。卡迪沙特国王大学学报6980i;ji;j2ð Þ.Σð ð ÞÞ内容2i;ji;j结构12N1212p21p1p22i;jL1损失函数的背后是最小化所生成的图像和地面实况图像之间的绝对差（Ma等人，2020年）。LL1在等式中描述。1.一、LL1GEx;y;z½jjy-Gx;zjj1]1其中x是输入图像，y是地面实况图像，z是随机噪声，Gx;z是生成的图像。使用L1的主要目的是捕捉低频细节.因此，使用L1损失函数将强制低频正确性。将这种类型的损失函数与另一损失函数组合以提高生成的图像的质量是有效的（Isola等人， 2017年）。2. 结构相似性指数（SSIM）5. 内容损失Gatys等人（2016）提出了内容损失（重建损失），它可以与对抗损失一起使用，以形成感知损失函数。它是一种特征域元素损失，由预训练的网络（如VGG）计算，其中VGG是在ImageNet数据集上预训练的网络。对于图像生成，内容丢失与源的内容表示一起工作，生成的图像，以最小化它们之间的差异。如果我们具有给定层l的源图像p和生成的图像x，则内容损失被定义为等式1。六、Lp;x;l1X.Fl-Pl26许多图像处理应用（Repubbakr等人，2019;Setiadi，202 1）. 定义了SSIM损失函数（L结构函数），其中P lF l是p和x由方程式二、1XLp;pp;p1-SSIMp;p]：102层L中的图像。内容损失也称为重建损失，它提供了收敛所需的训练稳定性因此会产生强大的效果。6. Softmax交叉熵损失函数其中SSIM（p1;p2）是像素p1和p2的SSIM，并且可以是定义为Eq. 3 .第三章。Softmax交叉熵损失函数是max函数的软版本，它采用N维实数向量，SSIMp;p.2lp1lp2 1000美元。2Rp1p22012年2月将其转换为范围（0，1）中的向量此函数的输出3D是概率分布，这使得它适用于ð12.L2第2章你好R2第二次世界大战þcΣð许多分类任务和深度学习应用。当量7显示了生成的图像x其中lp是p1的平均值;lp 是p2的平均值;rp2是以及真实图像y（Lin等人， 2017年）。1 21p1方差 是p2的方差，rp1p2 是p1和p2的协方差。3.梯度差损失函数（GDL）GDL惩罚图像梯度预测中的差异，以便锐化图像（Hognon等人，2020年）。此外，它还可以用于纹理匹配和鲁棒特征。这种类型的损失函数用于克服模糊的输出图像问题（Bhattacharjee和Das，2018）。生成的图像G X和地面实况图像Y之间的GDL损失函数在等式（1）中定义。4（Hognon等人，2020年）。L梯度t<$G<$X<$;Y梯度XjjYij-Yi1j -jG<$X <$-Lsoftmaxx;yy-loggXexi7我如等式1所示。7，可以得出结论，log-softmax损失函数被认为是指数损失函数。7. 对抗性损失下面是cGAN、lsGAN、WGAN和WGAN-GP模型中使用的对抗损失函数的描述(a) 对抗性和条件性损失生成副词的条件损失公式化;-i;ji;jð4Þsarial网络定义在Eq. 8（Isola等人， 2017年）：G<$X<$i-1;jj <$jYi;j-Yi;j-1j- jG <$X<$i;j-G<$X<$i;j-1jj其中，GDL损失函数计算平均梯度dif，LcGANG;DEx;y½logDx;y]Ex;z½logg1-Dx;Gx;z]ð8Þ生成的图像和地面实况图像之间的干扰损失。jYi;j-Yi-1;jj和jYi;j-Yi;j-1j是时间差损失的分量。4. Kullback-Leibler散度（KLD）KLD（相对熵）是两个概率分布之间的差异（分布方面的度量）。因此，将图像转换为概率分布是重要的其中G是生成器，D是噪声，x是输入图像，y是地面实况图像，z是随机噪声向量。cGAN损失函数与原始GAN对抗性损失不同，在原始GAN对抗性损失中，GAN观察cGAN中的输入图像，而不是原始GAN中的原始GAN对抗性损失函数的公式如等式所示。第九章：将这种类型的损失函数应用于图像生成任务。简单地说，如果两个分布之间的KLD的结果LGANG;DEy½logDy]Ex;z½log1-DGx;z]ð9Þ为0，则表明这两个分布是相同的。除此之外，这两种分布也存在一些差异。它与最大似然估计有关，最大似然估计易于优化并且在许多应用中变 得流行，例如应用统计 学、流体力学和机器学 习（Bellemare等人，2017年）。KLD作为损失函数的定义如等式所示。五、L KLD ¼ Ytrue ·log Ytrue=Ypred±5μm其中Ytrue是地面实况图像，Ypred是生成的图像。其中log Dx表示生成器正确分类真实图像的可能性。最大化log（1-D（G（z）将有助于它正确标记来自生成器的假图像(b) Wasserstein GAN（WGAN）WGAN模型使用Wasserstein距离来计算生成的分布和目标分布之间的差异，而不是使用原始GAN模型使用的损失函数。与原始GAN模型相比，WGAN模型易于训练，并取得了令人印象深刻的结果（Alotaibi，2020）。当量10、Eq.11显示对抗性损失SSIM是一种基于感知的模型，已被广泛用于评估图像处理算法，并作为损失函数，p1A. 穆罕默德？阿布-斯尔汗Auberariah和OS。卡迪沙特国王大学学报6981MLM×Nð ð ÞÞbbUQIN·x2x 2r2，r2N我BbBXN由WGAN使用，分别包括生成器和鉴别器损失函数。LWasserstei nG¼1Xi¼1m G.zhi：1011. PSNR评估合成图像的最有效的测量方法是PSNR，其被许多研究人员广泛用于图像比较和图像合成，因为它简单且易于实现（Setiadi，2021;Sara等人， 2019年）。PSNR是一种基于像素损失的评估指标，用于衡量L瓦瑟斯坦D ¼Xi¼1m/f。xi-f. G.zhi：11数据集由需要基于像素丢失的度量（如PSNR和SSIM）的成对图像组成。PSNR越高越好其中m是图像中的像素数，x是输入图像，z是随机噪声。(c) WGAN-Gradient Penalty（WGAN-GP）生成图像的质量。当量图13示出了PSNR的公式：.R2！WGAN-gp模型（Gulrajani等人， 2017年）是对WGAN模型克服了WGAN的缺点PSNR¼ 20·log10MSEð13Þ模型，其中WGAN有时无法收敛，并且可能使用梯度惩罚而不是权重裁剪生成低质量图像，从而导致WGAN模型的性能改进和高质量图像生成。(d) 最小平方GAN（lsGAN）lsGAN模型（Mao等人，2017）使用最小平方距离（LS）作为生成器和真实图像网络的对抗损失函数，其中LS或2是预测图像和真实图像之间的平均平方差。该损失函数的结果总是正的，因此可用于最小化优化过程基于等式R是输入图像数据类型的最大波动。如果输入图像具有双精度浮点数据类型，则R为1。如果它是8位无符号整数数据类型，则R为255。此外，均方误差（MSE）被公式化为所生成的图像X（m，n）与地面实况图像Y（m，n）之间的MSE值越低，误差越小。当量图14显示MSE公式：MSE¼1 Xm¼1MXn并且也是原始GAN损失函数的稳定替代。N2当量图12示出了生成的Gz和真实图像y的L2¼1Xm;n-Ym;nð14Þ（Anas等人， 2020年）。12L2¼Ex;y;z2½DGz-1]ð12Þ其中N和M分别表示图像中的行数和列数2. 奥克UQI是在不使用任何其中x是输入图像，y是输出图像，z是随机噪声，并且D G z是其输入是来自生成器G的生成图像的卷积器的输出。表2中总结了我们实验中使用的损失函数的简短描述。3.3. 评估指标人类视觉系统模型，并且其被设计为提供原始图像和失真图像之间的失真信息的比较。UQI是三个因素的组合，即：相关性损失、亮度失真和对比度失真。该度量易于计算并且可以用于各种图像处理应用（Fadl等人， 2018年）。UQI定义在Eq.十五：rxy2xy¼·2rxry·ð15Þ与参考图像相比，失真图像的自动感知质量评估被称为全参考图像质量评估（FR-IQA）。PSNR和SSIM是FR-IQA在图像合成的情况下，这些度量计算生成的图像中的失真量。评估图像质量的最简单方法是计算PSNR。然而，PSNR并不总是与人类视觉感知和图像质量相关。为了解决PSNR度量的约束，提出了附加参数SSIM.我们还使用UQI和VIF来评估结果。X y该方程的三个分量表示亮度损失、亮度失真和对比度因子失真。其中x是原始图像，y是生成的图像。x和y在等式中定义。16、Eq. 17、分别bx¼1Xi¼1Nxi161yi1y17表2损失函数定义。损失函数目标cGAN条件对抗损失，其中鉴别器观察输入图像LL1两个图像之间的绝对距离使用SSIM索引计算两幅图像梯度惩罚图像梯度预测的差异，以锐化图像。两个概率分布之间的差异最小化源图像和生成图像的内容表示之间的差异。Lsoftmax取一个由K个实数组成的向量作为输入，并将其归一化为概率分布。要执行乘法和加法运算，x和y图像必须是N N的正方形图像。3. VIFVIF是一种基于自然场景统计（NSS）和图像信息提取概念的EF图三. VIF组件。CDHVS通道（失真）自然图像源HVSrxryMA. 穆罕默德？阿布-斯尔汗Auberariah和OS。卡迪沙特国王大学学报6982¼ðÞ人类视觉系统（Saha和Wu，2016）。VIF具有三个分量，即源、失真和人类视觉系统（HVS），如图3所示，其中C是源图像，D是失真图像，E是HVS对于源图像的输出，并且F是HVS对于失真图像的输出。VIF表示为Eq。其中，E是参考图像信息，F是失真图像信息。VIF失真图像信息18参考图像信息4. 实验结果与讨论4.1. 数据集1. 图像到图像转换数据集我们的模型被应用到一个立面数据集，其中包含606个从不同来源收集的立面图像。这个数据集见图4。图像修复数据集示例，显示（a）输入图像，（b）地面真实图像。图五.分割数据集示例显示（a）输入图像，（b）手动分割掩模（病变为白色区域）。各种建筑风格。 立面数据集由12个基本类和子类组成：立面、造型、檐口、柱子、窗户、门、窗台、百叶窗、阳台、商店、装饰和背景。该数据集已手动注释（Tylecek，2012）。我们将数据集分为训练数据集和测试数据集，其中训练数据集包含506对对齐的图像，测试数据集包含100对对齐的图像2. 图像修补数据集我们修改了facade数据集以用于图像内部绘制。该数据集中的图像是成对的，每个成对的图像由修改后的立面图像及其对应的原始立面图像组成。修改后的立面图像已经准备好了一个白色的矩形表示丢失的区域。所使用的图像修补数据集的样本如图所示。 四、3. 病变分割数据集对于病变分割数据集，我们使用我们准备的磁共振（MR）数据集。将图像与MR数据集配对。每个配对图像包含MR图像及其相应的手动分割掩模。我们的数据集由179对图像（MR图像及其相应的掩模）组成。准备手动分割掩模，其中掩模是黑白图像，白色区域指示病变。 图 5示出了MR病变分割数据集的示例。4.2. 实验1. 图像到图像转换结果我们开始了我们的实验，用最先进的GAN模型（即WGAN，WGAN-GP 和lsGAN ）的对抗性损失替换cGAN 和Pix 2- Pix（cGAN+LL1我们的目标是展示对抗性损失适用于cGAN和Pix2Pix架构。表3示出了对立面数据集的不同cGAN模型评估的评估度量结果图6和图7分别示出了在cGAN和Pix2Pix 架 构 上 使 用 不 同 GAN 模 型 的我 们 发 现的WGANWGMLL1和lsGANL1是最好的对抗损失函数之一，因为它们获得了所有评估指标的最高平均值和最低标准差（std）值。研究结果表明，在cGAN模型中加入L1损失函数，产生更好的性能，而不管使用的对抗损失，除了WGAN-GP的UQI和VIF指标因此，当结合L1损失时，使用合适的对抗损失函数是有益的根据研究结果，我们观察到WGAN-GP对抗性损失无法产生改善的结果，因为这种类型的翻译。我们在实验中进一步向cGAN和Pix2Pix模型添加了非对抗性损失函数表3具有对抗性损失替换的cGAN和Pix2Pix模型的图像质量评估指标GAN模型PSNRSSIM奥克VIF是说（标准）是说（标准）是说（标准）是说（标准）cGAN23.7722.3190.2380.0360.6850.0740.0110.003WGAN23.2682.3570.1760.0280.7130.0750.0090.002wgan-GP24.5343.0800.1970.0730.7510.0820.1720.096lsGAN23.6613.3130.1850.0670.7420.0780.1550.097添加LL1（Pix2Pix）cGANWARNELL1（Pix2Pix）24.966 2.0150.2690.0250.7180.0640.0120.003WGANL127.991 2.6230.3320.0470.7540.0680.2690.179WGAN-GP +LL125.165 2.5940.2050.0650.7380.0740.1490.107lsGANL128.089 2.5610.3520.0900.9000.0740.2830.091粗体表示最高的两个指标分数。A. 穆罕默德？阿布-斯尔汗Auberariah和OS。卡迪沙特国王大学学报6983联系我们见图6。具有对抗性损失替换的cGAN模型的结果分别为（a）输入，（b）地面实况，（c）cGAN，（d）lsGAN，（e）WGAN，（f）WGAN-gp。见图7。具有对抗性损失替换的Pix 2 Pix模型的结果分别为（a）输入，（b）地面实况，（c）cGAN，（d）lsGAN，（e）WGAN，（f）WGAN-gp。表4显示了在将非对抗性损失函数添加到cGAN和Pix2Pix对抗性损失之后的图像评估指标（PSNR、SSIM、UQI和VIF）结果。图8和图9分别示出了在通过添加之前提到的非对抗性损失函数来修改其损失函数之后，来自cGAN和Pix2Pix模型的四个图像的结果结果表明，将L1添加到任何应用的非对抗性损失函数中都会得到更好的结果。例如，SSIM损失保留了高频区域中的对比度另一方面，L1保持低频。这表明SSIM和L1损失函数的组合比单独使用SSIM产生此外，在Pix2Pix模型中添加非对抗性损失函数，结果比单独使用L1更好。然而，向cGAN模型添加非对抗性损失函数并不总是有帮助的，因为它不使用L1损失函数，因此不会正确地捕获图像的低频分量。 例如，cGAN梯度; cGAN含量和cGAN结构均小于cGAN值。这突出了将非对抗性损失与L1损失函数相结合的意义。此外，我们注意到pix2pix模型优于cGAN模型。除了L1损失函数之外，我们还通过将非对抗性损失函数添加到WGAN和lsGAN对抗性损失函数来进行。一次添加一个损失函数。我们对结果进行比较，以确定损失A. 穆罕默德？阿布-斯尔汗Auberariah和OS。卡迪沙特国王大学学报表69846984在生成器网络中添加非对抗性损失函数后，cGAN和Pix2Pix的图像质量评估指标GAN模型PSNRSSIM奥克VIF是说（标准）是说（标准）是说（标准）是说（标准）cGAN23.7722.3190.2380.0360.6850.0740.0110.003cGAN梯度23.5652.1290.1350.0270.6900.0660.0510.026澳门金沙城中心官网-澳门金沙城中心-澳门金沙城中心官网cGANGANSoftmax24.335 2.241 0.208 0.031 0.713 0.069 0.063 0.030cGAN含量24.713 2.368 0.173 0.038 0.709 0.074 0.079 0.051cGAN结构22.805 2.862 0.179 0.033 0.688 0.083 0.093 0.058cGAN+LL1（Pix2Pix）Pix2Pix+LKLD26.357 2.178 0.305 0.034 0.725 0.066 0.075 0.040像素2像素+L软最大值26.625 2.464 0.285 0.033 0.732 0.069 0.081 0.051Pix2Pix+L内容27.043 2.451 0.291 0.037 0.731 0.068 0.088 0.059Pix2Pix+L结构26.578 2.272 0.291 0.037 0.715 0.068 0.073 0.049粗体表示最高度量。图8.第八条。将非对抗性损失函数添加到生成器网络后的cGAN模型的结果（a）输入，（b）地面实况，（c）L梯度，（d）LKLD，（e）L结构，（f）Lsoftmax，（g）L含量。见图9。 将非对抗性损失函数添加到生成器网络后的Pix2Pix模型的结果（a）输入，（b）地面实况，（c）L梯度，（d）LKLD，（e）L结构，（f）Lsoftmax，（g）L含量。Pix2Pix24.9662.0150.2690.0250.7180.0640.0120.003Pix2Pix+L渐变26.7222.4450.2940.0310.7240.0660.0860.061A. 穆罕默德？阿布-斯尔汗Auberariah和OS。卡迪沙特国王大学学报表69856985在生成器网络中添加非对抗性损失函数后，lsGAN和WGAN的图像质量评估指标lsGANGAN模型PSNRSSIM奥克VIF是说（标准）是说（标准）是说（标准）是说（标准）lsGAN网络128.0892.560.3520.0900.8050.0740.2830.091lsGAN梯度127.9702.5780.3310.0470.7440.0670.2670.156lsGANLKLD L127.9522.6490.3310.0470.7450.0710.2830.180lsGANsoftmaxsoftmax softmax127.9532.4680.3340.0450.7410.0670.2550.172lsGAN蛋白质含量蛋白质128.1892.6860.3360.0470.8480.0670.2930.126lsGAN结构图127.9062.6300.3380.0470.7450.0700.2390.133WGANWGAN第127.9912.6230.3320.0470.7540.0680.2690.179WGAN梯度梯度128.3052.4520.3300.0490.7420.0690.2710.165WGANWGANKLDWGAN127.9652.5590.3280.0460.7470.0690.2520.167WGANSoftmaxWGAN127.7992.6580.3280.0460.7450.0660.2620.160WGAN产品目录产品目录128.0112.6920.3290.0440.8590.0690.3030.142WGAN结构件127.9232.7230.3360.0470.7360.0680.2560.152粗体表示最佳指标分数。图10个。在将非对抗性损失函数添加到生成器网络之后的lsGAN模型的结果：（a）输入，（b）地面实况，（c）L梯度_L1，（d）LKLD_L1，（e）L结构_L1，(f)Lsoftmax≤L1，（g）L含量≤L1。图十一岁将非对抗性损失函数添加到生成器网络后的WGAN模型的结果（a）输入，（b）地面实况，（c）L梯度L1，（d）LKLDL1，（e）（f）Lsoftmax<$L1，（g）L含量<$L1。A. 穆罕默德？阿布-斯尔汗Auberariah和OS。卡迪沙特国王大学学报6986表6在生成器网络中添加非对抗性损失函数后，lsGAN和WGAN的图像修复质量评估指标lsGANGAN模型PSNRSSIM奥克VIF是说（标准）是说（标准）是说（标准）是说（标准）lsGAN网络156.0143.1410.9310.0210.9010.0170.8120.042lsGAN梯度156.2092.9510.9380.0580.9340.0220.8480.051lsGANLKLD L156.7333.2410.9380.0610.9270.0310.8730.024lsGANsoftmaxsoftmax softmax157.7373.0210.9410.0230.9430.0180.8820.043lsGAN蛋白质含量蛋白质158.1333.0240.9430.0270.9500.0290.8800.037lsGAN结构图157.7143.1450.9350.0270.9410.0320.8760.029WGANWGAN第155.9143.0440.9290.0280.9100.0120.8090.027WGAN梯度梯度157.5473.1240.9460.0210.9490.0320.8240.017WGANWGANKLDWGAN156.8503.1020.9380.0270.9380.0270.8240.021WGANSoftmaxWGAN157.2792.9910.9430.0140.9420.0190.8830.024WGAN产品目录产品目录158.4552.8740.9470.0340.9490.0230.9020.012WGAN结构件156.9953.0010.9420.0290.9230.0200.8310.030粗体表示最佳指标分数。图12个。在将非对抗性损失函数分别添加到生成器网络之后的lsGAN模型的图像修补结果：（a）输入，（b）地面实况，（c）L梯度_L1，（d）LKLD_L1，（e）L结构_L1，（f）Lsoftmax_L1，（g）L内容_L1。图十三.在将非对抗性损失函数添加到生成器网络之后的WGAN模型的图像修补结果（a）输入，（b）地面实况，（c）L梯度_L1，（d）LKLD=L1，（e）L结构常数L1，（f）Lsoftmax=L1，（g）L含量常数L1.功能如表5所示。 图 10和图图11显示了分别使用lsGAN和WGAN与非对抗性损失函数的组合的四个图像的结果。结果显示的的最好损失功能是WGANBRL内容BRL1或WGANBRL梯度BRL1。利用WGAN对抗性损失可以获得最高的性能。此外，使用内容或梯度损失与L1损失函数的结果在一个整体上改善perfor-mance。输出样本是模糊的，缺乏一个高频结构，使用L1损失函数本身，A. 穆罕默德？阿布-斯尔汗Auberariah和OS。卡迪沙特国王大学学报6987图十四岁Pix2pix分割结果及其损失函数替换在MR图像上的应用损失提供了收敛所需的训练稳定性L1损失函数处理图像的低频分量，而内容损失函数处理高频图像分量。因此，这两个功能的组合可以处理低频和高频分量。内容损失用于检测图像中的特征，这允许损失函数知道目标地面实况图像中有什么特征，而不仅仅是比较像素差异。这个过程允许使用这个损失函数训练模型，以产生生成的特征和输出的更精细的细节。2. 图像修补ResultscGAN和Pix2pix模型可用于图像修补。我们还评估了所提出的方法上的立面数据集的绘画问题。当使用WGAN和lsGAN对抗损失函数时，我们执行L1表6显示了我们为确定损失函数的最佳组合。图12和图13分别示出了使用lsGAN+L1和WGAN+L2与非对抗性损失函数的组合的三个图像的结果。 结果表明，最佳损失函数为WGAN质量分数εL1.此外，结果表明，将非对抗性损失函数引入L1损失函数改善了结果。3. 病变分