新方法：基于深度学习的皮肤癌超分辨率重建技术

医学信息学解锁24（2021）100628一种新的级联包络超分辨率产生器对抗网络（CESR-GAN）方法用于重建超分辨率皮肤病变图像Ali Shahsavari，Sima Ranjbari，Toktam Khatibi*伊朗德黑兰Tarbiat Modares大学工业和系统工程学院A R T I C L EI N FO保留字：医学图像分析皮肤癌深度学习生成对抗网络超分辨率A B S T R A C T背景：皮肤癌是世界范围内最严重的恶性肿瘤之一。其早期发现在患者的治疗中起着突出的作用。皮肤病变图像的质量，以减轻皮肤癌的诊断是高度重视。获取皮肤病变图像的最常见技术之一是通过皮肤镜设备。然而，它并不是所有人都可以使用的。通过其他技术（如移动设备）捕获图像在任何地方都可以使用，尽管它们的质量很差材料与方法：本文提出了一种新的Cascade Enseminar超分辨率生成对抗网络（CESR-GAN）方法，利用低分辨率图像重建超分辨率皮肤病变图像。具体而言，一种新的基于特征的测量损失函数的设计，以获得更多的细节，尽可能多地生成更高质量的图像。结果：我们的CESR-GAN模型和其他最先进的方法表明，我们提出的方法优于比较方法的ISIC，和PH2数据集，分别。结论：CESR-GANs方法可以用于生成具有高度显著性能的皮肤病变的超分辨率皮肤图像。1. 介绍皮肤癌是最常见的疾病之一，它包括每年诊断的癌症类型的大约一半[1]。皮肤癌最具侵袭性的形式是黑色素瘤，死亡率相当高，在美国约有1%的皮肤癌患者是因为这种类型[2]。早期发现在患者的治疗过程中起着突出的作用，可以提高他们的生存率。如果在最早期发现，5年内确诊患者的估计生存率从15%上升到97%以上[2]。自动诊断系统是帮助医生做出临床决策的重要工具。这对于皮肤癌检测来说是非常重要的，因为医生诊断黑色素瘤是一个挑战。即使在专业的中心与裸眼，他们达到几乎略高于60%的准确性[3]。皮肤癌图像的细节在病变诊断中至关重要皮肤镜设备可以拍摄高质量的皮肤病变图像，但并不是所有人都能使用全世界的患者。此外，专家们仍然很难根据皮肤镜设备拍摄的图像来识别皮肤癌如今，患者拍摄皮肤病变图像的最具成本效益和最容易获得的技术之一是使用移动设备。与可以以高分辨率和高放大率显示皮肤下表面的皮肤镜图像不同，从智能手机拍摄的图像具有各种挑战，包括照明条件差和模糊的运动失焦或抖动图像。为了使用这些低质量的图像进行皮肤癌的自动诊断，主要的先决条件是提高它们的质量。因此，本研究的主要目的是提出一种新的方法，从低质量的皮肤病变图像的超分辨率重建。由于缺乏公开发表的皮肤病变移动图像，我们将国际皮肤成像协作组（ISIC）图像转换为低分辨率（LR）图像，并通过评估其从LR图像生成超分辨率（SR）图像的性能来评估我们提出的方法。ISIC数据集是一个广泛的、公开可用的图像数据集，* 通讯作者。电子邮件地址：toktamk. modares.ac.ir（T.Khatibi）。https://doi.org/10.1016/j.imu.2021.100628接收日期：2021年2月28日;接收日期：2021年5月29日;接受日期：2021年5月29日2021年6月4日在线提供2352-9148/© 2021由Elsevier Ltd.发布这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表医学信息学期刊主页：www.elsevier.com/locate/imuA. Shahsavari等人医学信息学解锁24（2021）1006282使用皮肤镜检查。该数据集允许在2016年创建关于皮肤图像分析的第一个公共基准挑战。该数据集的高质量图像是使用皮肤镜拍摄的[4]。我们的工作作出了以下贡献：提出了一种新的CESR-GAN方法，包括增强的深度超分辨率（EDSR）网络，用于从LR图像生成高真实感的SR图像提出了一种基于梯度幅度相似性偏差（GMSD）和相位一致性（PC）算法的损失函数，对生成图像和真实图像进行了更全面的质量评价。与其他最先进的SR方法相比，在PSNR、SSIM和FSIM指标工作提醒如下：第二节介绍了相关的研究。第二节3 .第三章。实验结果和比较措施见第4节。结论和未来的研究机会见第5节。2. 相关工作相关工作部分分为两个主要部分，分别包括先前提出的用于生成超分辨率图像的方法和先前提出的用于生成超分辨率图像的生成对抗网络。2.1. 先前提出的生成超分辨率图像的方法在过去的几十年里，有许多关于提高医学图像质量的研究[5在这些研究中，各种方法，包括滤波（线性和双三次），基于边界以及邻域嵌入方法，已被用于产生单图像超分辨率[9最近，机器学习方法（随机森林和支持向量机）和深度神经网络（如卷积和生成对抗网络）在以前的研究中更常用于医学图像的重建[13近年来，基于单图像超分辨率方法的卷积神经网络具有显着的性能[16]。因此，许多研究在他们的研究中使用了不同的SR-CNN模型。在Kim等人的研究中，他们已经在超分辨率图像的重建中实现了一个精确的模型，使用了一个非常深的CNN模型，该模型受到了VGGNet的启发，具有小的内核大小和大量的层[17]。另一项研究提出了极深的残差神经网络，使他们能够使超分辨率训练过程更加简单，并获得显着的准确性[18]。此外，Zhang等人使用考虑颜色通道的深度残差网络实现了强大的PSNR [19]。GAN最近因其卓越的性能而引起了人们的广泛关注，各种基于GAN的方法仍在出现[20]。Yu等人进行了研究，目的是创建具有较大放大因子的超分辨率面部图像[21]。他们使用了piX el-wise MSE损失和pixel损失来训练他们的网络。Baur等人已经生成了高度逼真的图像，这些图像执行最先进的基于GAN的模型，例如DCGAN和LAPGAN对低分辨率皮肤病变输入，并最终比较了它们的评估指标[22]。Mahapatra等人提出了一种使用渐进生成对抗网络（P-GAN）的超分辨率方法，用于生成超分辨率医学图像[23]。一些研究，如Johnson等人[24]，Bruna等人[25]和Ledig等人[26]通过提出一个特定的内容损失函数，更接近于感知相似度。以前的研究已经呈现了两种不同的损失函数，它们在产生超分辨率图像方面取得了令人印象深刻的结果[26]。2.2. 先前提出的用于生成超分辨率图像的超分辨率生成对抗网络（SR-GANs）图像质量在医学图像的自动诊断系统中起着至关重要的作用，并且这些图像可能由于各种原因而具有低质量[27]。虽然基于CNN的方法已经成功地提高了单个图像的质量，但当许多因素影响图像质量时，获得细粒度的细节一直具有挑战性。SR-GAN是一种图像分辨率增强模型，首先由Ledig [26]引入。在他们设计的框架中，他们提出了两个损失函数，包括对抗损失和内容损失，以减少重建图像的均方误差，并产生超分辨率图像。SR-GAN是第一个可以生成具有高放大因子的图像的GAN [28]。SR-GAN在产生高分辨率图像方面优于其他基于GAN的模型;因此，在文献中，许多研究已将该模型应用于开发自动化医疗诊断系统[20，29根据客户的需求更改或调整网络架构输入图像可以显著提高性能。在Sood等人[32]，Li等人[33]和Xu等人[20]中，作者提出了一种改进的SR-GAN来产生超分辨率图像。应用三个不同实验的想法，包括将平面内分辨率增强4倍和8倍，各向异性下采样，以及获得要馈送到设计网络的前列腺MR图像的贯穿平面切片，导致Sood等人得出结论，SR-GAN输出图像具有大量的详细信息，这使得它们在视觉上非常接近原始图像。此外，在参考文献[33]中，他们提出了一种新的SR-GAN架构，用于从具有规则厚度的图像重建更薄切片的脑MR图像。 此外，本发明还 在参考文献[20]中，相对于SR-GAN的主要变化是在激活层之前采用了频谱归一化。此外，使用适当的损失函数可以使SR-GAN生成更高质量的图像。例如，在参考文献[32]中，采用具有特定对抗性的3D总变差以及piX el损失的3D卷积核使他们产生了高度逼真的图像。除了图像增强之外，还可以实现SR-GAN以消除输入数据的噪声区域[26]。与其他经典的噪声消除方法相比，Jelelick等人[34据我们所知，只有少数以前的研究提出了基于GAN的皮肤病变图像重建方法。他们使用DCGAN和LAPGAN方法进行图像重建，但这些方法在生成放大因子图像方面并不令人满意。此外，在皮肤病变SR图像的生成中，图像的质量极其重要。在以前的研究中，他们使用了MSE和感知VGG损失，它们测量了特征图之间的差异。然而，它们缺乏在纹理特征方面比较图像质量的能力此外，医学图像和真实图像的质量评估都旨在确定图像之间的潜在差异，而医学图像的目的是病灶检测，这与真实图像完全不同。在以往的研究中，常见的视觉标准，如PSNR和视觉信息保真度（VIF）是不足以评估医学图像。出于这个原因，它是至关重要的，以利用评价指标，衡量图像的差异，基于纹理结构。此外，创建具有软纹理的图像仍然是计算机辅助诊断系统中的一个持续挑战针对上述不足，我们从以下四个方面进行了努力。首先，由于SR-GAN在产生高放大因子医学SR图像方面优于其他基于GAN的方法，我们引入了CESR-GAN方法，其中我们···A. Shahsavari等人医学信息学解锁24（2021）1006283××Fig. 1. CESR-GAN模型的主要步骤是：（a）通过对图像添加噪声并重新缩放，将HR图像转换为LR图像。(b)采用CESR-GAN生成SR图像。(c)：验证和评价。图二. CESR-GAN的架构：k和n分别显示卷积核的大小和数量，s代表步幅。也就是说，k3n128s1，这意味着128个内核的卷积层，步长为1，大小为3× 3。在生成器网络中，每个块使用聚合残差变换块。因此，我们减少了可调参数的数量，从而实现了简单的训练过程。其次，由于使用级联集成的网络，不良生成的图像可以通过进一步的训练重新建模。然后，我们设计了一种新的i-q损失函数，该函数利用相位一致性（PC）和梯度幅度相似性（GMS）来表征图像的重要特征，以评价重建图像的质量。最后，由于病变信号3. 方法在本节中，我们将首先描述如何将初始HR皮肤病变图像转换为LR图像以馈送到网络。然后，我们将介绍我们提出的CESR-GAN架构以及我们设计的损失函数。最后，我们将使用U-Net模型描述SR和HR图像的分类。图1示出了用于产生SR皮肤病变图像的所提出的CESR-GAN方法如图1所示，所提出的CESR-GAN由三个主要步骤组成。首先，如图1（a）所示，高分辨率图像被转换为低分辨率图像。为此，HR图像被重新缩放并添加椒盐噪声。 第二步，图。 1(b)是我们的级联集成模型生成超分辨率图像从低分辨率的建议框架。最后，第三步评估拟议的框架，如图1（c）所示。每个步骤的更多细节将在以下小节中描述。3.1. 准备LR图像为了评估SR方法，我们需要从原始的高分辨率（HR）图像中生成LR图像。在这项工作中，LR图像是通过两个步骤获得的。首先，我们使用双三次插值将图像重新缩放八倍。因此，具有以下大小的HR图像384 384被重新缩放为大小为48 48的图像。 其次，高斯，以及盐和胡椒噪声，被添加到图像。然后，这些准备好的LR图像被馈送到我们提出的基于CESR-GAN的模型作为输入数据。A. Shahsavari等人医学信息学解锁24（2021）1006284{（）（）=、MSEr WHx=1x为ohx为oh、、、G、、G、3.2. CESR-GAN架构从各种初始化的多个网络训练的组合显着提高了GAN模型的性能基于最近的工作，常规GAN的问题之一是生成器和网络收敛早[35]。一个自集成GAN [36]已经被设计成通过将模型训练与相同的初始化元素但不同的迭代相结合来解决这个问题。Theis等人指出的GAN的另一个缺点。[37]是它们没有代表数据的整个分布。使用GAN应用图像生成，忽略数据的某些部分网络由于其提到的问题，在下面的级联层。这使我们能够加快训练过程，并使用高学习率来构建更深层次的网络。3.3. 设计知觉损失函数从数学上讲，SR-GAN由一个生成器（GθG）和一个生成器（DθD）组成，它们被定义为解决对抗性最小-最大优化问题，该问题的方程为：（2）如下：minmax E HRIHR[log D θD.（I HR）]+ELR.）[log.1-D θDG θG。（ILR））]将导致模型不产生相似的图像。GAN框架的级联将激励生成器获取整个数据分布，而不是集中在主要的密度分布上。θGθD我n.普列火车我P.P.GILR（二）模式。因此，为了生成皮肤病变的超分辨率图像，我们还可以解决GAN模型提到的缺点，我们提出了CESR-GAN架构。在我们设计的集成方法中，每个网络的结构都是相同的，并且它们的权重是根据前一个网络的权重进行修改的。这是由于简化和加速了网络的训练。图2表示所提出的CESR-GAN中的网络之一的架构。如图1（b）所示，我们构建了三个SR-GAN的集合。只有第一个深度模型而不是其他模型是从头开始训练的，并且将作为SR或HR图像的概率的SNR的输出馈送到门函数。因此，生成器的相对较差生成的图像作为输入提供给下一个SRGAN。我们用来选择建模不好的图像的门函数的方程如方程所示（1）：ILR是其高分辨率（IHR）对应物的低分辨率版本。公式的第一部分表示DθD预测真实数据是真实的对数概率。第二部分说明DθD估计GθG产生的数据是假的对数概率。该算法寻求最大化预处理的对数概率，口述的真实图像以及假图像的反转概率的日志。相反，生成器模型搜索最小化来自伪造图像的预测的逆对数概率。因此，GAN模型需要一个损失函数来稳定训练过程并计算模型为了实现更好的优化和加速训练收敛，我们提出了一个包含两部分的感知损失函数：内容损失和对抗损失。3.3.1. 内容损失Q（xk）=1如果Dx>TR0其他（一）内容损失函数旨在提高超分辨率图像的感知质量。在这项工作中，这个损失函数包括三个部分，即，均方误差（MSE）损失，感知VGG损失其中，x表示D（X）（判别器）的值很高的模型化较差的数据。Q xk1表示数据x将被重定向到下一个SR-GAN。此外，tr是具有r的比率的阈值，其被定义为训练GAN模型直到获得满意的输出由于作为下一个SR模型的输入的所选数据的数量较少，并且其初始化权重基于前一个网络，函数以及图像质量（i-q）损失函数，并且被定义为它们的加权和。piX el-方式MSE损失函数计算真实图像和生成图像的每个piXel值之间的差。这种损失是图像超分辨率任务最常用的目标优化，其公式表示为Eq.（3）：增加了训练迭代的大小。因此，它使模型RWRH2不仅要更早地融合，图像.lSR=21∑∑（IHR-GθG（ILR））y=1（三）在我们提出的CESR-GAN模型中采用的三个SR-GAN是基于增强型深度超分辨率（EDSR）网络。EDSR模型受到超分辨率Res-Net（SR-Res-Net）的启发，其中残差块被定制为从块中移除两个批量归一化层[38]。批量归一化层有一些缺点，例如小批量的效率低下，由于归一化特征而使网络不灵活，训练期间的计算开销以及难以估计训练期间输入的平均值和标准差。因此，为了节省大量的GPU，它们被消除了。此外，EDSR网络的缺点之一是调整其大量参数。为了解决这个问题，我们采用聚合的残差变换块，这是最初在参考文献中提出的。[39 ]第39段。因此，在这项研究中，建议的基于EDSR的网络的每个架构，这是相同的，由一些聚合的重新，其中IHR是高分辨率参考图像，并且由θG参数化的生成器G被训练以估计低分辨率图像（ILR）的非线性映射，以通过比例因子r重建超分辨率图像。此外，W和H表示特征图的维度。虽然这种损失函数在解决MSE优化问题时达到了很高的PSNR，但其结果在具有非常微妙和平滑纹理的图像中的感知上并不令人满意。这是因为piX el值相差不大。尽管如此，我们保留它是因为它有利于保持颜色稳定性。此外，我们采用VGG损失，保持感知相似性。这个损失函数是基于预训练的VGG19网络的ReLU激活层定义的[40]。其方程表示为Eq。（四）：φi j IHR）。IHR）x y-φij（Gθ（ILR））（IHR）。IHR）xy-φij（Gθ（ILR））.IHR）。IHR）x y映射，然后是作为上采样层的piXel-shuffler。图2示出了所设计的网络的结构我们所做的核心改变-φi，j。Gθ.ILR））x y第二章（四）原始聚合残差变换块是合成三个不同的路径，不同的内核大小。最后的特征数其中φi，j被证明为通过第j个通过连接这三个路径的结果来获得来自块输出的映射。这种策略使我们能够从图像中获得更多的细节，从而获得良好的性能。作为另一个修改，我们添加了一个批处理规范化层，在EDSR在微调VGG19网络内的第i个最大池化层之前进行卷积，维度为Wi，j和Hi，j。在这项研究中，作为我们的内容损失函数的第三部分，我们提出了一个新的损失函数的启发梯度幅度相似性偏差（GMSD）和相位PC算法。GMSD是一种图像质量评估残余变换块、卷积层以提取特征A. Shahsavari等人医学信息学解锁24（2021）1006285（）=NN=-Ni=1N其中：F（SR）（i）=en，θj（i）&Q（SR）（i）=-qn，θjJ ） +J(IQA)模型，PC是基于频率的算法。它是最流行的图像特征图提取模型之一，也可以用于SR和HR图像之间的同步（SPC）被获得为Eq.（9）：2 PC（SR）㈠。PC（HR）（i）+y1作为图像质量评价度量。开发这种损失函数的动机主要有两个原因：SPC（i）=PC（i）2名以上个人电脑（人力资源）（i）2+y1（九）- 首先，PC计算频率区域中的分量的相位和幅度，而不是在空间上处理图像。PC的基本原理是，当图像被转移到傅立叶域时，图像特征被理解，其中傅立叶域是傅立叶域。ponents处于最大相位。这让我们把PC看作是一个在卷积运算中，产生图像的水平和垂直梯度，沿着水平和垂直方向的Prewitt滤波器分别表示为kx和ky然后，梯度由m（SR）和m（HR）表示的SR的幅度以及HR图像是计算为Eq. 10和11：一种可以精确表达图像特征的方法。因此，我们认为， PC可以用作图像质量确定标准，如果m（SR）（i）=（I（SR）kx）2（i）+。̅I̅(̅S̅R)̅̅⊛̅k̅y)̅2̅ (̅i̅)（十）相位信息被精确地指定。m（i）=（Ik）2（i）+。̅̅I̅̅̅ ̅̅⊛̅̅k̅)̅2̅̅(̅i)（十一）- 其次，为了解决上述关于MSE损失的限制，我们还专注于采用基于参考的指标，包括FSIM，视觉信息保真度（VIF）和GMSD。FSIM其中符号表示卷积运算。因此，在点i处的GMS被计算为Eq.（十二）：基于局部相位控制来测量两幅图像之间的相似性，梯度和梯度大小。VIF，基于共享的GMSi2 m（SR）（i）. m（HR）（i）+y2M2 （i）+m2 （i）+y2（十二）生成的图像和真实图像之间的信息，可以计算SR HR视觉信息保真度虽然VIF和FSIM在预测图像质量方面可能优于它预测的感知图像质量与人的主观评价一致。本文提出的i-q损失函数主要包括四个方面步最初，SR和HR图像为了反映两幅图像之间的质量差异，我们需要测量相似度因此，由SPCM和GMSM使用平均合并策略定义的SPC和GMS的平均（十三）：GMSM=1∑GMS（i），SPCM=1∑SPC（i）（13）i=1通过使用GMS和PC获得。然后，感知质量使用平均池化策略基于PC（PCM）和GMS（GMSM）的平均值计算图像。在下一步中，为了反映整体质量评分，测量了GMSD和PC偏差（PCD）。最后，将它们的加权组合计算为es-这里，N是图像的总像素数此外，GMS和SPC的标准偏差（由GMSD和SPCD表示）用公式表示为Eq. 14和15：√√√̅1̅̅̅̅̅̅∑̅N̅ ̅ ̅2̅评估整体质量得分。在这项工作中，我们采用了Kovesi等人提出的方法[41]. 通过对图像执行卷积运算，其中θ是GMSD=Ni=1（GMS（i）-GMSM）（十四）滤波器的取向角，j是取向数的人类视觉系统（HVS）能够通过正交奇数和偶数对称滤波器来模拟卷积。正交滤波器不意味SPCD√√√̅1̅̅̅̅̅̅∑̅N̅̅̅̅̅̅̅S̅P̅̅̅C̅̅̅̅i̅̅̅̅̅̅̅̅̅̅̅̅S̅P̅̅̅C̅̅̅M̅̅̅̅̅̅2̅i=1（十五）不仅是它们形成了一个奇数和偶数对称对，而且两者都是它们的平均值为零，平方和值相同。我们考虑每个点i的响应集[e，o]，其中e和o是使用基于方向的滤波器操作作为点的输出而生成的复值的两个分量。此外，用于重建的SR图像的局部能量（LE）以及局部幅度（LA）如等式（5）然后，将GMSD和SPCD组合的总体质量得分（Zl）计算为等式（1）。（十六）：Zl=（GMSD）m×（SPCD）n（16）其中m和n分别表示公式中GMSD和SPCD的重要性权重。在本研究中，我们假设m n1。最后，我们提出了i-q损失作为优化组件LE（SR）（i）=E E（R）（R）（R）（R）（R）（R）∑ ∑θjnθjn（五）（六在CESR-GAN训练期间被定义为Eq. （十七）：I（iSR）=ZI（Gθ（I（LR）），I（HR））（17）对于HR和SR图像两者，Zl被应用于RGB的每个通道L A（SR）（i）=0.̅ en,θ(i)2 .̅o̅̅n̅,̅θ̅(̅i))̅2̅（七）然后，通过将所有这些求和来计算总体质量指数三个价值观在一起。PC是0和1之间的实数，计算公式如下：(8) 对于重建的SR图像：∑LE（HR）（i）3.3.2. 对抗性损失除了内容损失，我们还增加了生成或对抗损失，以激励所提出的网络产生有利的结果，（斯洛伐克共和国）（人力资源）（人力资源）X（人力资源）y=N（（）─）on，θjθjθjA. Shahsavari等人医学信息学解锁24（2021）1006286∑.. ））l=-logD G I（18）（斯洛伐克共和国）LA（SR）（i）+εPC（i）=∑ ∑nn，θjJ（八）愚弄了电视网这一损失是根据在所有训练样本上的（18）可以表示为：其中，使用地面实况HR图像的LE、LA和PC值也是通过上述公式测量，并分别缩写为LE（HR）、LA（HR）和PC（HR）。因此，相似性阶段一致-NSR LRGenn=1JθjA. Shahsavari等人医学信息学解锁24（2021）1006287总MSEGenVGG/.-q图三. 用我们提出的CERS-GAN模型重建SR图像的三个样本结果，以及相应的LR和HR图像。表1图中生成的SR图像的定量PSNR、SSIM和FSIM比较。 四、分割方法作为预处理步骤。用于分割语义医学图像的最知名的方法之一是U-Net [42]。它使用非常少的训练样本，这为模型提供了更好的分割操作性能[43]。此外，U-Net的端到端结构使其能够完全处理图像，确保模型保持图像的完整内容，以便产生更好的片段。然后，我们在U-Net结构的下面添加了一个修改的全连接层来执行分类任务。最后，我们比较识别SR或HR图像的分类结果。4. 实验结果本节将说明我们研究中使用的收集的皮肤病变图像，以表示我们提出的CESR-GAN方法的鲁棒性。我们还将详细介绍我们的训练网络和评估指标，以将其实施结果与其他最先进的基于GAN的模型进行比较。4.1. 数据集这项工作中使用的图像来自国际皮肤成像合作组织（ISIC）数据库[44]，该数据库是从众多黑色素瘤诊断挑战中收集的。该数据集共有4668张图像，包括标记为583例基底细胞癌（BCC）、2131例恶性黑色素瘤（MM）、1535例痣和419例脂溢性角化病（SK）的恶性和良性病变。将数据划分为3268个训练集和467个验证集，以监控训练过程。此外，一个测试集，包括933张图像，被认为是评估所提出的CESR-GAN模型的性能。此外，在分类任务中，4668个重建的SR图像及其对应的HR图像被分割以进行训练、验证和测试粗体和下划线表示最佳结果和第二性能-以8：1：1的比例随机分配。2曼，分别。方法ISIC档案pH2SSIMFSIMPSNRSSIMFSIMPSNR[26]第二十六话0.910.94390.870.8935[45]第四十五话0.890.91370.860.9037DC-GAN [46]0.840.87340.850.8635P-GAN [28]0.860.88330.840.8732FSRCNN [18]0.840.86300.820.8531CESR-GAN 0.94 0.98 42这里，DθD（GθG（ILR）是 的 生成 GθG（ILR）图像是自然HR图像。提供了实现更好的收敛的方法， 通过 尽量减少 - 日志记录 D θD（G θG（ILR）而 比. log[1-DθD（GθG（ILR）]因此，考虑到所有提到的损失，本研究（十九）：此外，另一皮肤镜图像数据库（PH）被用作的测试数据，以验证和评估所提出的CESR-GAN方法的性能。PH2数据库共包含200个皮肤病变图像，包括160个痣和40个黑色素瘤。4.2. 培训网络4.2.1. 培训CESR-GAN为了确保公正性和客观性，所有实验都在配备NVIDIA GeForce GTX1070 SLI的工作站上进行，CPU@2.6 GHz，Tensorflow中有20个核心。为了训练我们提出的CESR-GAN，我们将其中一个超参数tr设置为0.6。根据等式（1）如果图像是SR或HR的概率小于0.6，则这意味着生成的图像足够合适。然而，当图像的输出概率大于tr时，数据将被馈送到下一个网络。第一个网络用100个历元执行，第二个和第三个模型用200和300个历元执行，分别 在每次迭代之后，权重被更新;并且在那里-L（SR）=lSR+αlSR+βli j+λl（iSR）（十九）因此，下一个网络更好地拟合输入图像。此外，委员会认为，其中α、β和λd表示调节上述四个成本函数的比率的权重系数3.4. SR和HR图像为了测试生成的SR图像的质量并将其与原始HR图像进行比较，需要训练一个预训练的CNN来对它们进行分类。在区分SR和HR图像之前，我们需要进行由于下一个网络的输入数据较少，因此具有更多迭代的训练过程不会增加计算量。在所提出的CESR-GAN中，网络我们提出的CESR-GAN方法的学习过程的伪代码在算法1中表示。算法1.CESR-GAN学习算法SrA. Shahsavari等人医学信息学解锁24（2021）1006288见图4。通过不同的基于GANs的方法和我们设计的CESR-GAN模型以及相应的LR图像产生SR图像的视觉比较。LR-1和LR-2分别来自PH2和ISIC数据集A. Shahsavari等人医学信息学解锁24（2021）1006289见图4。 （续）。A. Shahsavari等人医学信息学解锁24（2021）10062810图五. 在ISIC存档上的建议CESR-GAN模型的每个阶段中生成具有软组织的图像的SR和LR样本。4.2.2. 培训U-Net对于分类任务，U-Net使用来自ISIC存档的7468张图像进行训练，包括SR和相应的HR图像。在网络的各层中使用U-Net的初始权重;然后对参数进行微调。在训练过程中，934张图像也被认为是一个验证集。然后，其他934个图像，包括来自SR和HR的几乎相同数量的图像，随机选取PH2数据集的200幅图像对 U-Net分类器所有的实验都是在Python中使用Keras库进行的。4.3. 评估指标评估输出图像的质量是图像处理应用程序中不可或缺的一部分。许多以前的研究已经应用基于GAN的模型来生成SR图像，并根据PSNR，SSIM和FSIM指标评估了他们的方法。PSNR是通过重建的ISR和原始地面实况图像IHR的像素之间的误差灵敏度来评估图像质量的最常用方法。它的EQ。（21）表示如下：A. Shahsavari等人医学信息学解锁24（2021）10062810MSE见图6。 验证发生器表2图7.第一次会议。 ISIC和PH2测试数据集上SR和HR图像分类的U-Net模型评估。表3SSIM。FSIM，和PSNR值的CESR-GAN和它的不同的变种ISIC和PH2数据集。粗体值表示最佳结果。方法ISIC档案PH2SSIM FSIM PSNR SSIM FSIM PSNR用于CESR-GAN方法的WilcoX符号秩检验。括号中的值表示tr的变化比率。在该表中，0对应于无统计差异。分布之间的关系此外，1（或-1）对应于非零分布差异的中位数，意味着该方法更优越 （或更糟）与之相比的方法。CESR-GAN（O）0.85 0.88 34 0.84 0.88 32CESR-GANCESR-GANCESR-GANCESR-GANGAN（i-q）（1）CESR-GAN（i-q）（2）CESR-GAN（i-q）（3）0.85 0.89 350.92 0.94 40 0.90 0.93(0.5)CESR-GAN(0.6)CESR-GAN(0.7)CESR-GAN1 0 1 11 - 1 0 11 - 1 - 10CESR-GAN（i-q）（4）CESR-GAN（i-q）（5）0.94 0.98 420.89 0.92 39 0.89 0.90（0.8分）X和Y分别表示为ISR和IHR。MSE是均方误差，W和H是图像的宽度和高度。此外，n是每个pixel中的位数PSNR表示为dB单位的刻度，数值越大，失真越小。MSE1∑∑（X（i，j）-Y（i，j））2（20）此外，SSIM指标被用来计算相似度H=W×Hi=1Wj=1在两个图像之间。它从对比度、结构和亮度三个不同的角度来评估图像的相似性。其配制PSNR =10log10（（2n -1）2）（21）CESR-GAN（TV）0.900.94390.880.9136（0.5分）（0.6）（0.7分）（0.8分）CESR-0.850.88350.860.8836CESR-GAN0-1-1-1A. Shahsavari等人医学信息学解锁24（2021）10062810如等式22和23：A. Shahsavari等人医学信息学解锁24（2021）10062811X YX Y（HR）（HR）∈∑=PC（i）mi∈Ω（）（）（）下一页（）（）（）（）下一页- （-）l（X，Y）=2μXμY+C1 c（X，Y）=2σXσY+C2 s（X，Y）=σXY+C3收敛 早于 的 你好， 而这 因为μ2μ2 +C1σ2σ2 +C2σX σY+C3（二十二）网络此外，图6显示了耗时趋势。一般来说，我们提出的CESR-GAN模型花费23小时，CESR-GAN（O）和CESR-GAN（TV）花费SSIM（X，Y）=I（X，Y）。c（X，Y）。s（X，Y）（23）测量X和Y的平均值和方差，分别表示为μX、μY、σX和σY，以评估图像亮度和对比度。此外，σXY表示X和Y之间的协方差，并计算结构相似性。SSIM由于其在客观图像评价方面的优异性能而被广泛应用于超分辨率图像重建。此外，为了进行更多的验证和评估，FSIM指数也用于生成的SR图像的主观评价FSIM主要采用图像的PC和梯度幅度来确定纹理特征，如等式（1）所示24和25：分别为28 h和34 h此外，我们还比较了U-Net模型和改进的全连接层对图像进行分类，图7描述了两个测试集ISIC和PH2上的混淆矩阵。 如图 7、评价指标低，意味着U-Net模型在区分SR和HR方面表现不佳图像，这导致所提出的CRSR-GAN方法在生成高逼真度SR图像方面的优异性能。6. 讨论建议的CESR-GAN 可以 实现 极高的质量PCm（i）=max（PC（i），PC（i）），SR（i）= [SPC（i）]a× [GMS（i）]bSc（i）=SG（i）×SB（i）（24）FSIM∑我 ΩS R（i）. [S c（i）]c. PCm（i）（二十五）重建SR图像从LR的，由于三个重要的观点：(1) CESR-GAN嵌入了三个SR-GAN的集合，为模型提供了更多的迭代，以处理生成不好的图像。因此，在本发明中，其中PCm i是SR和HR图像的PC值之间的最大值。SR i、SG i和SB i分别表示R、G和B颜色通道中的两个图像之间的特征相似性。我们注意到，SG i和SB i的方程与SR i相同，但在不同的颜色通道中。a和b代表调整GMS和SPC重要性的参数C用于调整色度分量的重要性。 Ω表示整个图像空间域。此外，最常见的监督测量，包括准确度（ACC），精度，召回，和F1分数，这是进行评估分类模型5. 结果对于视觉评估，图3描绘了具有因子8的缩小的LR图像、原始HR图像和重建的SR图像的一些样本。此外，在评估我们提出的CESR-GAN方法的这项工作中，我们将其与一些最先进的深度学习和基于GAN的方法进行了比较：FRCNN，P-GAN，LAP-GAN，SR-GAN和DC-GAN。在训练这些模型时，我们不使用任何初始化，因为大多数预训练模型通常是在不适合医学成像的真实数据集上训练的。因此，他们是从零开始训练的。表1和图4说明了在对我们的测试数据进行测试时的定量和定性比较结果。如表1所示，我们设计的架构在PSNR、SSIM和FSIM指标方面优于其他方法。根据Eq. （2）将生成效果不好的图像传送到下一个网络。图5描绘了我们使用三个不同样本的三个集成网络的输出，以显示生成的图像质量的改善。此外，我们研究了CESR-GAN的三种变体：（1）CESR-GAN（O）是采用SR-GAN原始损失的变体[26]。(2)CESR-GAN（TV）是使用总方差（TV）损失的变量，在参考文献[47]中为图像超分辨率任务引入显式图像稀疏性 并去除噪声，而不是我们提出的I-Q损失。(3)提出的具有i-q损失的CESR-GAN。图6描绘了所提到的CESR-GAN变体的梯度收敛。如图所示，发电机将这些较少的输入图像馈送到下一个网络导致计算量减少。(2)在聚集的残差变换块的架构中采用不同的核大小使得我们从图像中提取更多的细节。(3)提出了一种新的基于PC和GMSD的损失函数，提高了重建图像的质量。如结果部分所述，我们研究了CESR-GAN的三种变体：（1）CESR-GAN（O）[26]（2）CESR-GAN（TV）[47]（3）CESR-GAN（i-q），这是具有所提出的总损失的CESR-GAN变体，其中我们通过将其他损失的权重分配给一个来研究i-q损失的影响。i-q损失的权重在10 - 2 ~ 10 2之间以10的倍数CESR变化GAN iq（1-5）。结果示于表2中。如表2所示，使用i-q损失的模型权重10在SSIM、FSIM和PSNR值方面优于CESR-GAN的其它变体。因此，i-q损失设计在SR图像的重建中为模型提供了更好的性能。CESR-GAN的主要超参数之一是tr，它确定了将模型化较差的图像转移到下一阶段的阈值。然后应用WilcoXon符号秩检验来评估两个最相似的发电机分布之间的方差的中位数等于零的假设。在训练集中随机选择20幅图像，然后使用FSIM度量计算生成的图像与其对应的真实图像之间的相似度。表3中提供了针对不同tr值使用符号秩检验的结果。如表3所示，我们可以得出结论，当将不良生成的图像转移到tr0.6的下一个SR-GAN模型基于GAN的模型的问题之一是其高计算成本。因此，为了解决这一限制，我们构建了一个具有少量迭代的几个网络的集合。在分类任务的未来工作中，向GAN模型添加辅助分类器将更具成本效益。还可以做出一些努力来扩展我们提出的方法，使其在智能手机上使用基于云的系统进行皮肤异常检测。因此，它们可以成为一种有吸引力的医疗个性化工具，以最低的成本持续监测人们A. Shahsavari等人医学信息学解锁24（2021）100628127. 结论本文提出了一种基于GANs的超分辨率皮肤