MRI与条件对抗网络的乳腺肿瘤分割系统在工程科学与技术领域的应用研究

工程科学与技术，国际期刊36（2022）101154BTS-GAN：使用MRI和条件对抗网络的乳腺肿瘤计算机辅助分割系统Imran Ul Haqa，Haider Alia，Hong Yu Wangb，Lei Cuia，Jun Fenga，a西北大学信息科学与技术学院，中国西安b中国西安西安邮电大学计算机科学学院阿提奇莱因福奥文章历史记录：收到2021年2022年3月9日修订2022年4月11日接受2022年5月19日网上发售保留字：生成对抗网络乳腺MRI乳腺肿瘤并行扩张卷积医学图像分割A B S T R A C T乳腺肿块是诊断乳腺癌最突出的指标之一。肿瘤的精确分割对于提高乳腺癌检测的准确性至关重要医生此外，传统的医学分割方法经常需要先验信息或手动特征提取，导致主观诊断。因此，开发自动图像分割方法对于临床应用至关重要。这项工作提出了BTS-GAN，一种在磁共振成像（MRI）扫描中使用条件GAN（cGAN）的自动乳腺肿瘤分割过程。首先，我们使用编码器-解码器深度网络，在编码器和解码器之间跳过生成器的连接，以提高定位效率。其次，我们利用并行扩张卷积（PDC）模块来保留各种大小的肿块的特征，并有效地提取有关肿块的边缘和内部纹理的信息第三，在cGAN的损失函数中包含额外的分类相关约束，以减轻基于分类的图像到图像（I2I）翻译任务中难以收敛的挑战。 我们提出的模型的生成器侧学习检测肿瘤并构建二进制掩码，而生成器侧学习区分地面真实和合成掩码，从而驱动生成器生成尽可能真实的掩码。实验结果表明，我们的BTS-GAN是更有效和可靠的乳腺肿瘤分割和优于其他分割技术方面的IoU和骰子系数的公开可用的RIDER乳腺癌MRI数据集。我们提出的模型实现了平均IoU和骰子得分分别为77%和85%。©2022 Karabuk University. Elsevier B.V.的出版服务。这是CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍乳腺癌是目前女性中最常见的癌症，也是全球女性死亡的主要原因之一于二零一八年，世界卫生组织（二零一九年）记录全球约627，000例因乳腺癌死亡，占女性癌症死亡总数的近15%。此外，乳腺癌的患病率每年都在增长[2]。幸运的是，正如刘、唐等人所述，乳腺癌的死亡率正在下降，这是因为人们为防止疾病进一步恶化，适当和及时的护理将改善*通讯作者。电子邮件地址：imhaq123@yahoo.com（I.U. Haq），alihaider@stumail.nwu.edu.cn（H.阿里），hywang@xput.edu.cn（H.Y.Wang），leicui@nwu.edu.cn（L.崔），冯-jun@nwu.edu.cn（J。Feng）。生存的机会。根据文献，早期发现的存活率几乎为40%[4]。然而，在医学图像分析中，一个基本的挑战是正确分割以识别图像中器官或病变的边界图像数据的分割是放射治疗中形状分析、体积检测和治疗安排的关键步骤由于手动注释对象边界是主观的并且可能是耗时的，因此可靠且准确的自动分割技术是临床和研究应用的要求。乳房X线摄影术（MG）和超声检查（US）是检查乳腺病变的常用方法，因为它们价格实惠，使用方便。然而，这些方法有时缺乏识别所研究的肿瘤所需的基本细节。此外，美国需要高分析专业知识，低图像质量[5]，而由于乳腺密度高，MG不是一个很好的选择。磁共振成像（MRI）是近年来筛查乳腺肿瘤的有效方法https://doi.org/10.1016/j.jestch.2022.1011542215-0986/©2022 Karabuk University.出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程科学与技术国际期刊杂志主页：www.elsevier.com/locate/jestchImran Ul Haq，H. Ali，Hong Yu Wang etal.工程科学与技术，国际期刊36（2022）1011542MRI生成多视图视觉表示和被检查身体部位的高质量图像，特别是对于乳房的软组织，而不是MG和US。此外，MRI支持许多子序列，如动态对比增强MRI（DCE-MRI）。在DCE-MRI检查中，顺磁性造影剂被插入体内，这使得肿瘤区域的图像具有相对高的强度[6]ACE-MRI允许高度精确的乳腺肿瘤随访。Militello等人。[7]提出了一种半自动化的策略，使用模糊空间聚类在乳腺的DCE-MRI上分割肿块，并获得了比其他经典技术更好的结果。在深度学习（DL）发展之前，传统的医学图像（MI）分割方法主要包括基于水平集的方法[8]，分水岭算法[9]，区域生长[10]，马尔可夫随机场[11]，活动轮廓模型[12]及其扩展。然而，这些方法仅在背景和对象区域相差很大时才提供令人满意的结果。局部特征限制和曲率约束通常被添加到模型中以提高分割精度。 然而，当对象和背景区域相同时，这样的解决方案仍然是无效的。因此，利用深度学习算法进行医学图像分割是一个具有重要理论意义和实际应用价值的研究领域。深度学习在医学图像领域的发展对医学图像应用中的疾病诊断工具有着重要的针对医学图像分类[13，14]、检测[15]和分割[16卷积神经网络（CNN）在医学图像分割中取得了很好的效果Piantadosi等人[19]使用在3D MR数据上训练的深度CNN的集合，从周围的空气和胸壁等其他组织中正确分割乳房实质除了使用该领域的最新技术外，他们还使用了U-Net CNN的多平面组合，利用了合适的投影融合策略，允许多协议应用。所提出的方法已被验证使用两个不同的数据集，共包含109个DCE-MRI研究与组织病理学证实的病变和两个采集协议。Wang等人[20]提出了一种2D/3D混合卷积模块，能够在90项DCE-MRI研究中利用相邻切片之间的上下文。提出了一种多尺度上下文提取器模块，用于提取乳腺病变形状和大小多样性所Yousefikamal等人[21]提出了一种使用乳房X线照片扫描进行乳腺肿瘤分割（BTS）的有效NN作者采用模糊方法，结合肿瘤区域分割和分类。CNN用于将图像分类为正常、异常类别，而异常图像被进一步分割为肿瘤。Almajalid等人[22]提出了一种用于超声图像的神经网络，最初是为显微图像分割设计的。该模型显示了良好的效果。在CNN之后，全卷积网络（FCN）[23]和U-Net[24]模型现在经常用于医学图像分割。Moeskops等人[25]提出了一种使用MRI扫描进行乳房胸肌分割的全连接神经网络（FCNN）该数据集共包含34个MR扫描。Antari等人[26]提出了一种使用数字乳房X线照片的BTS三阶段自动CAD方案。作者采用YOLO网络进行肿瘤定位，采用全分辨率卷积网络（FrCN）分离ROI。最后，使用CNN进行分类。U-Net[24]基于FCN的思想。它由特征提取器、编码器和图像重构解码器组成。最近审查了U-Net中为进一步提高性能而进行的若干改进和变化。 Tong等人[27]使用U形网分割肺结节。为了加快训练速度并最大限度地减少过度拟合，U-Net配备了batch normalization[28] layer.为了从剩余的乳房区域中定位乳头区域，Zhuang等人[29]提出了一种自定义U-NET架构，用于从全乳房US图像中分割乳头。为了准确分割乳腺US图像中的恶性肿瘤，Zhuang等人。[30]开发了另一个基于U-Net的模型，称为RADU-Net。对于乳房分割，U-NET++由Jiao，H等人提出，使用高对比度MRI扫描[31]第30段。Dalmis等人[32]采用基于U-Net的分割方法进行乳腺纤维腺体组织（FGT）分割。虽然用于BT分割的U-Net技术是有效的，但是使用U-Net检索的特征不足以识别肿瘤的精细边缘，并且在某些情况下，导致过度分割的结果，如图所示。7 .第一次会议。采用生成对抗网络（GAN）[33]是改进医学图像分割并获得更具体结果的另一种方法。目前这仍然是一个热门的研究课题。GANs通过其出色的合成能力和提取和分发数据的潜力显着提高了医学图像分割的质量。已经发现这种技术可以通过在训练模型期间额外使用对抗性损失来提高语义分割性能[34，35]。生成网络学习检测肿瘤并生成二进制掩码，而对抗网络学习区分实际掩码和合成掩码，迫使生成器构建逼真的二进制掩码。即使使用少量的训练数据，cGAN也表现良好。使用对抗性损失作为额外的全局分割评估预计将成为一般分割模型的有用补充信号，特别是对于在癌症成像数据集中普遍存在的有限大小的数据集[36]与传统的生成模型不同，GAN不需要复杂的概率计算。分布类型不需要指定，深度神经网络直接使用真实数据模拟分布。GAN已被广泛用于为各种目的创建虚拟数据，包括图像合成和数据集生成。基于GAN的解决方案有效地用于医学成像领域[18，37最近，条件生成对抗网络（cGAN）已被用于乳房X线摄影扫描中的BTS和形状分类。使用cGAN获得的结果优于BT分割的其他技术[42]。受GAN上述性能的启发，我们提出了一个新的基于U-Net的乳腺肿瘤分割GAN（BTS-GAN）系统，用于分割全乳腺MRI扫描中的BT区域该系统的生成器由改进的U-Net构成PDC具有扩大感受野的能力，这允许其在不增加可训练参数的情况下捕获不同大小和形状的乳房肿块PDC块可以帮助减少由于连续下采样层而丢失小肿瘤相关特征的问题基线U-Net的能力通过使用跳跃连接和PDC得到增强。增强的U-Net针对补丁DCNN进行训练，用作我们提出的BTS-GAN的扩展，以进一步提高性能。此外，我们通过向cGAN的目标添加分类相关约束来提出修改的目标函数，因为BT分割更像是像素级分类任务而不是回归任务。当升级后的U-Net与具有新目标函数的SVM相比时，分割结果变得更加稳定和精确。本研究的贡献在于：（1）本研究首次将cGAN架构与DCE-MRI图像结合用于乳腺肿瘤分割，（2）PDC模块用于利用图像多尺度和上下文信息，通过以不同的扩张率不断扩展感受野而不降低特征图分辨率，（3）我们将分类相关约束添加到损失函数中，以有效地Imran Ul Haq，H. Ali，Hong Yu Wang etal.工程科学与技术，国际期刊36（2022）1011543GDð ÞcGAN的正则化，使其更有效地解决医学图像的语义分割（SS）任务，（4）我们的分割方法取得了比U-Net更好的性能，并在公共数据集上改进了U-Net。2. 动机和方法2.1. 背景在2014年，Goodfellow等人[33]提出了GAN作为建模图像数据的解决方案，随后用于创建其他图像。GAN包含两个关键模块，(G)和鉴别器（D）。这两个模块都经过了足够的训练，可以解决最小-最大博弈论问题。GAN的目标如下：minmaxLG;DEu~Pdatau½logDu]Ew~Pwz½g1-D Gw] 1D是实数，G代表生成器，u代表实数图像，w是生成器的任意输入，从概率分布Pw中提取，G（w）是G的输出。D（G（w））、D（u）分别是由D判断的生成图像和真实图像的概率。GAN的目标是弄清楚训练数据是如何分布的[17]。首先，噪声被引入到生成器G中以实现该目标。该噪声通过G.在训练过程中，G试图最小化目标函数，并通过生成与原始图像相似的图像来欺骗D，而判别器则学习并试图为真实图像分配高分从而学会通过最大化目标函数来区分实际输入和生成的输入。cGAN是一种GAN修改，使我们能够控制生成的图像，例如，使我们能够生成特定类别的图像。因此，cGAN非常适合I2I转换任务，其中输入图像被调节并创建输出。 cGAN的目标具有以下形式，以保证输出图像与输入图像匹配。用于广泛的I2 I翻译任务[44然而，当涉及到乳腺病变的SS时，我们发现它不能获得非常准确的结果。我们认为背后的原因是，他们的GAN损失技术将I2I转换视为回归问题，而SS本质上是像素级密集分类任务。因此，我们修订了这一问题，包括与分类有关的损失部分，即，交叉熵（CE）损失，在我们的GAN损失的设计中。2.2. 该模型我们提出的BTS-GAN是一种基于cGAN的监督学习方法，需要成对的输入和目标图像数据。假设BTS-GAN因此，BTS-GAN的掩码网络学习所生成的掩码是否与B相同，即，真的假的生成器具有单个图像，作为其输入和输出，而判别器接收来自生成器的生成的输出及其对地面实况作为输入，并尝试对值进行评分。生成器的分数被计算为对抗分数，其提供学习和输出正确分割（二元掩码）的潜力。这两个网络在最小-最大两个玩家博弈理论中相互竞争。我们提出的MRI中BT分割方法的简单概述如图所示。1.一、2.2.1. 损失函数BTS-GAN的损失函数具有以下形式，LBTS-GANG;DLCGANG;Dk ½LL1GLCEG]5其中LcGA N<$G;D<$和LL1<$G <$具有与等式中相同的定义。L CE（G）是与SS任务相关联的CE损失。由于SS是逐像素分类问题，而不是回归任务，LCEG正则化项必须使我们的BTS-GAN能够将该I2 I变换任务构造得更接近分类问题。因此，在针对D的对抗训练期间，我们的G具有额外的项LCE将有利于开发令人满意的分割结果。一般来说，我们的最终损失可以计算为：LcGANG;DE u;v½logDu;v]Eu;w½log 1-Du;Gu;w] 2损失arg minmaxG D G6在Eq。（2），v是目标图像，并且LcGAN被称为adver。最终¼G D LCGAN;Þ þk½LL1ðÞ þLCEð[]痛苦的损失dropout层中的随机变量z有助于产生确定性结果，避免过拟合。由于模型崩溃问题，对抗性损失发生器不仅欺骗了鉴别器，而且还输出了应该与地面实况几乎相似的结果。在图像翻译过程中，G的输入和输出之间共享许多信息;因此，目标损失函数中包含了额外的约束以保证发生器的输入和输出之间的相似性。因此，在最终目标中加入了L1距离损失，以确保输入和输出图像之间具有较大的相似性。G.在数学上，L1被给出为：LL1GEu;v;w½kv-Gu;wk1]3当量（3）是发电机L1损失项。Isola等人[43]将上述两种损失函数结合在他们著名的Pix2Pix算法中用于I2I翻译任务，该算法在该领域取得了巨大成功。Pix2PixLpix2pix¼LcGANG;DkLL1G4由方程式(4)，LcGAN是条件损失，LL1表示假掩模和真掩模之间的L1距离。L1正则化G以产生作为源图像的可接受副本的图像，而LcGAN确定G是否可以在目标域中产生可信图像Lpix2pix成功地估计了映射函数Fig. 1. BTS拟议方法的简单流程图Imran Ul Haq，H. Ali，Hong Yu Wang etal.工程科学与技术，国际期刊36（2022）1011544×××由方程式(6)一个附加的超参数λ（k）加权是生成器平均绝对误差因子。k因子调整对抗性和全局损失[47]。2.2.2. 并行扩张卷积模为了在SS任务中不添加额外参数的情况下扩展卷积核的感受野，必须通过池化或步幅卷积来收缩特征图的分辨率[48，49]。图2示出了扩张卷积的演示图，其避免了通过在卷积核中插入“孔”来降低特征图的分辨率的要求。以扩大感受野并捕获图像中的多尺度语义信息。三个并行卷积分支组成PDC模块。特别是在PDC模块的一个分支中级联了几个具有不同膨胀率的膨胀卷积，提高了不同尺度目标特征图的代表性。然后将每个分支的输出逐个元素相加，实现多尺度特征融合。图3详细示出了PDC模块。在第一个分支中，使用简单的3 x 3卷积实现特征采样。2和3分别在第二和第三分支中级联X3卷积运算。在第二个分支中，一个基本的3 × 3卷积和一个速率为2的扩张卷积依次级联。最后一个分支中的三个3 x 3卷积层分别具有1、2和3的速率。因此，PDC模块保留图像中的多尺度和上下文信息，同时最小化由单个扩张卷积引起的周围像素中的信息损失。2.2.3. 发生器对于生成器，我们使用了U-NET[24]模型架构，并进行了自定义修改。将高分辨率输入网格映射到高分辨率输出网格是I2 I transla-tion问题的定义方面此外，我们考虑的问题的输入和输出都是类似的基本结构的表示因此，输入结构与输出结构密切相关在一般的编码器-解码器网络中，输入经历一系列下采样级别，直到它到达瓶颈层，在该点处过程反转。在这里，信息必须通过所有级别，包括瓶颈。许多图像翻译问题在输入和输出之间共享许多低级信息，并且最好通过网络直接传输这些在编码器-解码器相同大小的层之间插入跳过连接，为G提供了一种绕过与此类数据相关的瓶颈的方法[24]。我们还在编码器和解码器之间引入了PDC[48]实际上，PDC块有助于发生器网络在各种尺度下识别乳腺肿瘤相关特征并扩展滤波器因此，网络对上下文变得更加敏感，而不会增加参数的数量或执行成本 G和D架构如图所示。 四、图二.不同收缩率的扩张卷积图解。图三. PDC模块的体系结构。最初，编码器被馈送有尺寸为256 x 256 x 1的输入乳房MRI扫描。编码器总共有7个卷积层，滤波器大小为4 x 4，随后是用于特征下采样的大小为2的步幅滤波器，α等于0.2的Leaky-ReLu，随后是2维批量归一化（BN），除了第一层（conv 1）。BN大大提高了生成的分段样品的效率、稳定性和卓越性。解码器块与编码器相反，并将潜在变量转换为具有一个通道的大小为256 x 256的体积。在每个上采样层之后，对应编码器层的特征被级联，从而扩展下一解码器层的特征图。解码器有七个反卷积层，具有相同的4 x 4滤波器大小，后跟步长2和alpha为0.2的ReLu。 为了避免过度拟合，仅在前3个上采样层中应用0.02卷积和反卷积的所有层都已使用零均值随机初始化器初始化，标准偏差值为0.02.卷积在解码器中的最后一级之后使用，然后是sigmoid函数来映射输出。2.2.4. Patch-GAN鉴别器BTS-GAN的鉴别器是Isola等人使用的Patch-GAN。[43]对图像进行分类。这种深度CNN将输入图像的N N个补丁分类为假的或真实的，而不是完整的图像。我们在整个图像中卷积地应用该卷积，并对所有响应进行平均，以获得卷积的最终输出。这是有益的，因为较小的Patch-GAN参数数量少，运行速度快，能够处理任何大小的图像。这种类型的递归将输入作为马尔可夫随机场，假设距离大于斑块直径的像素是独立的。由于对抗训练与对抗损失效率密切相关，因此引入BN来规范和加速训练过程。Patch-GAN的输入张量是通过连接由G生成的输入-目标对和输入-输出-输出对来构造的张量，以提供它们看起来有多真实的估计。该网络包含四个二维卷积层，如图4所示。每一个卷积层都使用4的滤波器大小进行卷积4步2步每个上采样层对模型进行BN和Leaky-ReLU。输出被进一步卷积以得到30的概率补丁30.中的每个值概率补丁对应于输入图像的补丁。在最后一层中，使用sigmoid激活函数来产生输入图像是真的（1）或假的（0）的概率分数。3. 实验和结果3.1. 数据集使用RIDER（评价治疗反应的参考图像数据库）乳腺MRI数据集评估患者的性能。Imran Ul Haq，H. Ali，Hong Yu Wang etal.工程科学与技术，国际期刊36（2022）1011545图四、建议的BTS-GAN框架：发电机G（左侧）和BHD（右侧）。我们的方法。该数据集可在癌症成像档案馆（TCIA）访问。该数据集包括不同患者的DCE-MRI扫描和地面真实分割。地面实况分割部分已由领域专家手动标记每次扫描的尺寸为288 x 288数据集以DICOM格式提供，每次扫描60个切片。图5在第一行中呈现了来自RIDER MRI乳腺肿瘤数据集的三个样本，其掩模在第二行中。总共500个具有真实掩模的乳房由于数据集的数量相对较少，因此在该数据集上的实验中采用了五重交叉验证。增加训练分割（通过随机水平和垂直翻转、旋转、改变尺度、伽马校正），将数据集大小增加到3200。数据集已被预处理并重新整形为256 x 256的尺寸。3.2. 评估指标为了确定模型性能，使用以下标准测量来评估图像分割性能。我们使用最常用的评估方法，即，IoU、骰子相似系数（DSC）、真阳性率（TPR）和误分类率（MCR）.这些指标的范围从0到1，它们测量从图五.灰度级的RIDER乳腺MRI肿瘤图像（第1行）及其相应的二进制掩码（第2行）。各种各样的观点。计算这些指标所需的核心值是真阴性（TN）、假阴性（FN）、真阳性（TP）和假阳性（FP）。两个样品之间的重叠由骰子测量这它Imran Ul Haq，H. Ali，Hong Yu Wang etal.工程科学与技术，国际期刊36（2022）1011546ðÞIp;Itð- ð ðÞÞÞ.Ip.ð ÞItjp; t1/4。我[It.ðÞ计算地面实况与生成的分割掩码之间的相似性。DSC越高，生成的结果与地面实况越相似。假设Ip是我们生成的分割图像，并且It表示由专家域分割的地面实况图像。然后DSC指数可以数学地写为：表1应用超参数调整的范围超参数范围epoch数[100，150，200，250]λk[10至120]过滤器尺寸[3，4，5，7]批量[16，24，32]骰子.Σ二、我很抱歉脱落率[0.01，0.02，0.03，0.04]7IoU是地面实况的交集和并集与生成的分割图像的比率。IoU越高，分割越准确。IoU可以在数学上写为：3.4. 消融研究3.4.1. 不同损失函数Jaccard爱你我我是. 我很抱歉pGAN及其变体，尽管有其优点，也具有8我们预测的分割图像和地面真值被限制在[0，1]之间。这两个测量输出值在Ip预测掩模和It基础真值之间存在重叠的情况下为1，并且在没有重叠的情况下为0。我们也可以把它写成混淆矩阵的形式。ods选择将其框定为回归任务，因此将L1和L2分离作为cGAN损失函数的限制[43，51]。当在GAN的优化过程中达到局部最小值时，这些技术为系统进行梯度下降提供粗略的然而，这种指导在有限的情况下有效，例如图像着色，其中目标骰子2TP2019 -05-2910：00：00TP图像被预期由实值像素组成，然而因此，我们建议增加一个额外的分类，Jaccard<$ IoU<$TPFPFNN10其他标准评估措施也用于测量分割误差，例如：.我想这对SS的任务是有利的。为了检查不同损耗的影响，我们使用以下损耗函数的组合来训练我们的生成器和BTS-GAN，并在表2中记录每种情况下实现的DSC和IoU。第一行显示仅使用生成器网络进行分割时的结果。从第二TPF灵敏度MCR 1/4-。Ip\ItI-TPð11Þð12Þ行，DSC和IoU评分显着下降，当LCE从目标损失函数中删除。这表明，当基于分类的任务被公式化为基于回归的任务时，GAN遇到了难以收敛的ItTP当量(11) TPF也称为灵敏度。TPF是检测到的真阳性的分数。生成的输出和地面实况之间至少50%的交集用于计算TPF。 当量(12) 显示了错误分类率（MCR），它以前应用于大脑分割问题[50]。MCR值越低，模型的性能越好3.3.模型训练我们使用[33]中的标准技术来优化我们的网络，使得D上的一个梯度下降步骤之前是G上的一个步骤。而不是训练G最小化log 1 D u;Gu;w ，正如在最初的GAN研究中提出的那样，我们相反地训练它，增加logD u;v.选择最佳参数，在网络中，应用超参数调整。 表1显示了用于模型超参数调整的范围。我们在等式中使用k值1006，这是最好的结果。我们使用Adam优化器，学习率为2× 10- 4，动量参数b1= 0.5 0，b2= 0.99，批处理值为2 4。我们的BTS-GAN从我们提出的模型得到的结果是令人满意的，并使用不同的标准度量在文献中进行了评估第三行显示了在com中使用LCE与LcGAN结合。通过比较第3行和第4行，LL1提供的贡献也可以在表2中看到，因此我们选择使用所有三个的组合。3.4.2. PDC模块表3显示了PDC模块对建议模型的积极影响。第一行是基线U-Net，第二行是具有PDC模块的U-Net，第三行是具有不具有PDC模块的所提出的损失函数的BTS-GAN，最后一行示出了具有PDC模块和完全损失函数的所提出的模型在DC、IoU、TPR和MCR方面的结果。BTS-GAN的DSC比U-Net和改进的U-Net分别提高了10%和5%同样，BTS-GAN的IoU、灵敏度和MCR也高于U-Net和改进的U-Net。3.5. 定量比较在这一节中，我们将我们提出的模型的分割结果与以前的研究工作进行了比较。六个不同的节段-表2使用各种损失函数进行训练的分割结果¼学习率[2× 10- 6~ 2 ×10- 3]¼有一些缺点，其中之一是难以融合。为了克服I2 I翻译任务中的这个问题，一些方法-我们进行了定性和定量分析，以vali-损失函数DSCIOU日期我们的结果。我们的代码是使用TensorFlow发生器仅0.8040.723库，并在配备NVIDIA ®（英伟达）移除LCE的BTS-GAN0.5990.567GeForce GTX 1080 Ti GPU。 将输入图像的大小调整为256×256像素。去除了LL1的BTS-GAN具有LL1+LCE+LcGAN的0.8450.8540.7680.774Imran Ul Haq，H. Ali，Hong Yu Wang etal.工程科学与技术，国际期刊36（2022）1011547表3分割性能使用三种不同的DCNN模型对来自五次交叉验证的测试图像进行测量。模型PDCDSCIOUTPRMCRU-Net没有0.7520.6750.7920.208改进的U-Net是的0.8040.7250.8420.158BTS-GAN没有0.8070.7470.8720.128BTS-GAN是的0.8540.7740.9340.076为此目的特别选择了分离技术。Bouchebbah等人的研究中提到了六分之五。[52]，即改进的自训练（IMPST），模糊C均值（FCM），贝叶斯，K最近邻（KNN）和水平传播方法（LPA）。另外两项研究是Chen等提出的FCM和ALPA。[53]和Bouchebbah等人[54]分别。使用这些方法的决定源于这样一个事实，即它们都是在相同的RIDER MRI数据集上进行评价的，并使用“评价方法”中描述的部分或全部评估指标进行评估。实验结果表明，BTS-GAN产生的分割输出与其他标准技术相当，并且能够有效地用于MRI扫描中的BTS。从先前工作获得的结果和从我们提出的方法获得的结果描绘在表4中。对于BTS-GAN模型，我们获得了0.85的平均DSC，最佳情况为0.91，最差情况为0.77BTS-GAN的平均DSC得分高于ALPA和FCM。TPF最大得分为0.97，平均值为0.93，这是所有方法中最高的TPF平均得分。IoU最大、最小和平均得分分别为0.82、0.69和0.77。此外，BTS-GAN的IoU平均得分为0.77，高于最佳IoU平均得分其他技术。BTS-GAN还具有较低的MCR平均值，0.07. 从表4可以观察到，糖的效率比糖的效率高gested分割模型已经优于其他技术。 所提出的模型所做的改进都是由于我们对原始U-NET和cGAN的修改。结果清楚地表明，将PDC模块添加到基线U-Net模型中，使用具有修改的损失函数的cGAN，使用BN，以及解码器前3层的dropout能够改善肿瘤分割的结果。3.6. 定性比较为了进行定性比较，我们选择了三种DL技术，包括基线U-Net，修改后的U-Net（BTS-GAN的生成器）和用于BT分割的拟议BTS-GAN模型首先，我们比较了原始和修改后的U-Net模型，以证明提高网络的特征检索能力的优势。其次，为了证明对抗训练的优势，建议的模型进行了评估，对修改后的U-网络。图6中可以看到修改的和原始的U形网的比较分割结果。在所示的所有三个病例中，基本的U-Net给出了FP分割，并且不能检测到肿瘤的边缘，但是修改后的U-Net分割得非常好。尽管修改后的U-Net不能正确分割肿瘤边缘的细节，但它的表现比基线U-Net好得多。我们的BTS-GAN和修改后的U-Net之间的分割差异如图7所示。修改后的U-Net和BTS-GAN在测试数据的大多数样本中产生相似的输出。然而，修改后的U-Net分割输出仍然不一致，在某些情况下丢失了乳腺肿瘤的某些小边缘，这些边缘被我们的BTS-GAN模型成功检测到。生成的二进制掩码和地面真实掩码都已在图7中呈现，这表明我们提出的模型生成的二进制掩码在外观上类似于地面真实。图8显示了我们提出的方法与我们改进的U-Net和基线U-Net的箱形图比较。每个框内的线表示中位数;框限包括四分位数范围Q1和Q3;上须和下须为校准值。表4BTS-GAN与RIDER数据集上其他方法的定量比较。方法度量统计骰子IOUTPFMCRMASRG[55]Max––0.990.48是说––0.820.18Min––0.520.01IMPST[56]Max––0.960.62是说––0.790.21Min––0.380.04KNN[57]Max––0.870.58是说––0.730.27Min––0.420.13贝叶斯[58]Max––0.950.70是说––0.760.24Min––0.300.05LPA[52]Max––0.970.85是说––0.900.11Min––0.770.02FCM[53]Max0.770.710.800.35是说0.700.650.720.28Min0.630.600.650.20ALPA[54]Max0.810.750.910.37是说0.740.670.740.26Min0.650.600.630.09BTS-GAN最大值平均值最小值0.91零点八十五分0.770.820点 77分0.690.970：930.780.16零点零七分0.03Imran Ul Haq，H. Ali，Hong Yu Wang etal.工程科学与技术，国际期刊36（2022）1011548见图6。三次MRI扫描的基线和改良U-Net的比较结果（结果缩小以清晰显示）。计算为框上限和框下限之间距离的1.5倍;并且假定须线之外的使用数据集的100个测试样品我们基于cGAN的模型具有较窄的DSC和IoU值范围，而U-Net显示了更宽的值范围。在最先进的U-Net方法的分割结果中存在许多离群值，而所提出的方法没有产生离群值。我们还计算了上述三个模型的推理时间。U-Net，改进的U-Net，以及提出的BTS-GAN分别实现了21.13，22.26，每秒19.84帧。4. 讨论这项研究使用cGAN模型提出了一种利用DCE-MRI分割乳腺癌肿瘤的扫描。我们研究了BTS中基本U-Net架构的局限性，并提出了两步解决方案。首先，通过在编码器和解码器之间增加跳跃连接和PDC模块，改进了U-Net模型，提高了模型的特征提取能力。然后，我们引入了一个修改的损失函数的对抗训练，以提高分割结果的稳定性和准确性。我们建立了一个分类相关的限制优化cGAN，这有助于减少收敛问题的乳腺病变分割。在BTS-GAN的目标函数中加入CE损失项和不加入CE损失项对模型进行了评估，证明了我们提出的损失函数具有最好的精度。所提出的方法已被训练和评估使用标准的分割性能指标。我们发现，通过使用标准增强方法，扩展训练样本的数量可以显着提高训练结果，但添加更多的增强训练样本并不能提高结果。经过训练，该模型在我们的测试数据上提供了令人满意的结果。从建议的模型和以前的标准技术的结果已被描绘，这表明，建议的模型的结果是相当令人满意的RIDER数据集相比，其他方法。我们实现了平均DSC评分为0.85，IoU为0.77，TPF为0.93，MCR为0.07，证实了BTS-GAN的性能优于其他方法。尽管我们的模型在大多数MRI扫描上表现良好，并且在具有挑战性的情况下获得了更好的分割结果，但它仍然给出了一些不令人满意的结果，如图9所示。从第一行可以看出，在这个特定的MRI扫描中，肉眼甚至很难判断红框下的区域是否是肿瘤，而我们的模型检测到了肿瘤。在第二行，我们的模型检测到绿色框内的肿瘤，但无法检测到尖锐边缘。图图6、7和9中所示的图像被缩小以用于演示目的。在我们的研究中探索了几种更深的设计，但没有观察到显著的改善。此外，训练更深层次的设计更具挑战性，特别是对于对抗性网络。在BTS-GAN 中 使用 池化 层 也没 有增 强我 们 的结 果。 因 此， 遵循DCGAN[59]的方法，我们使用步长为2的卷积层来实现特征下采样。与实例归一化相比，该模型在批量归一化方面表现良好，实例归一化不会学习具有少量二进制掩码像素的区域。所提出的模型可以用于其他成像模式，如乳房X线照片和BUS扫描，以执行二进制肿瘤分割的训练模型与各自的成像模式。在未来，我们的目标在其他成像模式下进行实验，将模型转换为多模式分割模型，使其更加鲁棒。见图8。所有供试品的DSC和IoU评分箱形图。见图9。 肿块分割结果不佳的病例。Imran Ul Haq，H. Ali，Hong Yu Wang etal.工程科学与技术，国际期刊36（2022）1011549见图7。修改后的U-Net和BTS-GAN在三次MRI扫描上的比较结果（为了清晰显示，结果被缩小）。5. 结论自动和精确的肿瘤分割乳腺MRI扫描是本文的主题我们提供了一个基于cGAN的解决方案（BTS-GAN）来应对这一挑战，通过在我们的生成器网络中添加PDC模块并为我们的模型使用修改后的目标函数来创建接近地面真实掩模的肿瘤掩模我们用我们的BTS-GAN进行了不同的实验，并提出了定性和定量的措施。总体而言，该网络表现非常好，平均DSC得分为85%，IoU为77%，优于其他方法。在未来，我们的目标是实验模型与其他成像模式，转换模型的多模态分割模型，并使其鲁棒。数据可用性在我们的实验中，使用评价治疗反应的参考图像数据库（RIDER）乳腺MRI数据集来评估所建议方法的效率。这些数据可在癌症成像档案馆（TCIA）公开获得。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。确认本 工 作 得 到 了 国 家 自 然 科 学 基 金 项 目 （ NSFC 批 准 号 ：200000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000062073260）。引用[1] F. Bray，J. Ferlay，I. Soerjomataram，R.L.洛杉矶西格尔Torre，A. Jemal，2018年全球癌症统计数据：Globocan估计全球癌症发病率和死亡率185个国家的36种癌症，CA：临床医生癌症杂志68（6）（2018）394-424。[2] M. Amin，美国癌症协会，AJCC癌症分期手册，第八版/主编，Mahul B. Amin，MD，FCAP..[3] M.刘世兴Tang，J.Y.曾耀君施耀斌Ni，B.K.法律，M。Gary，Core needlebiopsy asa alternative towhole section in ihc4score assessment for breastcancerprestication，Journal of clinical pathology 71（12）（2018）1084- 1089.[4]