乳腺图像分类方法的特征融合和Enhancement学习

沙特国王大学学报基于特征融合和Enhancement学习的CNN乳腺图像分类Imran Ul Haqa，Haider Alia，Hong Yu Wangb，Cui Leia，Zhang，Hazrat Alic，Zhanga西北大学信息科学与技术学院bXi邮电大学计算机学院c巴基斯坦阿伯塔巴德阿伯塔巴德校区伊斯兰堡COMSATS大学电气和计算机工程系阿提奇莱因福奥文章历史记录：2021年11月29日收到2022年2月26日修订2022年3月24日接受2022年4月19日网上发售保留字：乳腺癌计算机辅助诊断（CAD）特征融合包围学习乳腺X线片分类A B S T R A C T近年来，世界面临着乳腺癌患者令人担忧的情况。这种致命疾病的早期诊断可以使治疗更容易和实用。在这方面，计算机辅助诊断（CAD）系统可以帮助放射科医师区分正常和异常组织并诊断病理阶段。由于噪声和低对比度乳房X线照片图像、肿瘤的形状和位置变化以及正常和肿瘤感兴趣区域（ROI）之间的高度相似性，分类任务 在CAD系统 中具 有挑战 性我们 提出 了一种 新的基 于特 征融合 和集成 学习 策略的 深度卷 积神 经网络（DCNN）方法，以改善乳腺X线摄影扫描中异常的检测和分类。特征融合有助于正确地检测类别之间的区分特征，而最后一个块中的集成学习更好地分类正常和肿瘤ROI，以获得更多的认证结果。此外，研究了空间丢弃和深度可分离卷积在乳腺X线照片分类中的作用，以更好地处理医学图像中的过拟合和小数据集问题。在MIAS和BCDR两个公开数据集上对所提出的模型进行了评估，在MIAS数据集上分别获得了0.995、0.994和0.994的高灵敏度、特异性和准确性©2022由Elsevier B.V.代表沙特国王大学出版。这是一篇开放获取的文章，CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍乳腺癌被认为是导致全世界妇女死亡的主要癌症之一。它是23%的癌症病例的来源，导致14%的女性死亡（Whang等人，2013年）。根据一个领先的乳腺癌意识组织（Hudson，2019）进行的研究，大约12%的女性，这意味着八分之一的女性可能在其生命的任何时间段内患有乳腺癌。根据美国癌症协会（ACS）2022年的一项研究，预计将有287，850名女性新诊断的浸润性乳腺癌患者，2，710名男性患者和51，400名导管癌患者*通讯作者。电子邮件地址：alihaider@stumail.nwu.edu.cn（H.阿里），hywang@xupt.edu.cn（H.Y.Wang），leicui@nwu.edu.cn（C. Lei），hazratali@cuiatd.edu.pk（H. Ali）。沙特国王大学负责同行审查制作和主办：Elsevier女性坏疽性口炎原位检测（Siegel等人，2022年）。继肺癌之后，乳腺癌是美国女性癌症死亡率的下一个最高原因，据估计，2022年将导致约43，250名女性和530名男性死亡（Siegel et al.，2022年）。这些统计数据清楚地表明，需要一种有效的模型来早期发现这种致命的疾病。根据医学研究，乳腺癌的早期诊断可以在患者的快速康复和降低死亡率方面发挥重要作用（Oeffinger等人，2015年）。因此，研究人员正在提出早期诊断的新技术，特别是在医学和计算智能方面。乳腺X线扫描通常用作早期检测的来源（Olsen和Gøtzsche，2001）。尽管许多成像技术被用于乳腺癌的诊断，其可以包括计算机断层扫描（CT）成像（Shi等人， 2019）、超声检查（US）（Jalalian等人， 2013）和磁共振成像（MRI）（Mann等人，2008年），乳房X光检查显示出显着的效果，以帮助降低乳腺癌的风险。它们极大地使年龄在40至49岁之间的女性患者受益（Smart等人， 1995年）。在筛查过程中，由放射科医生检查乳房X线照片图像。为了确保该过程保持无差错，放射科医生必须是该领域的专家，并且仍然有一个https://doi.org/10.1016/j.jksuci.2022.03.0231319-1578/©2022由Elsevier B. V.出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comImran Ul Haq，H. Ali，Hong Yu Wang etal.沙特国王大学学报3311人为错误的可能性。乳房X线照片图像的手动检查是一项耗费精力的工作，并且微小的人为错误可能导致错误的诊断，从而导致无法治愈的癌症患者。在这方面，CAD可以发挥其作用，帮助放射科医生区分正常和异常扫描，以更好地诊断。此外，CAD可以提供快速的结果，不会容易出现人为错误。然而，CAD系统推荐的结果也可以由放射科医生重新检查以进行交叉检查。CAD系统包括乳房X线照片图像必须经历以获得预测的不同阶段。典型的阶段可以包括预处理输入图像、提取感兴趣区域（ROI）、特征提取和分类。这个过程是艰巨的，因为噪音在乳房X光片;不同的纹理和形状的细节肿块。血管和肌肉纤维进一步阻碍了准确的检测。由于这些限制，发现有效的模式是相当具有挑战性的。在文献中已经提出了许多包含传统机器学习（ML）和深度神经网络的系统来处理这些问题。传统的ML技术使用手工制作的特征进行分类（Tang等人，2009;Wei等人，2005; Wei等人， 2005年）。Oli-ver等人（2012）提出了一种模型，使用一组高通滤波器提取局部特征，并选择最有效的特征来训练AdaBoost SVM，用于将ROI分类为肿瘤和正常。在Khan等人（2016）提出的另一项工作中，作者提出了一个Gabor滤波器组来优化字母组合中乳腺癌的检测所提出的工作是支持添加剂聚类算法和粒子群优化（PSO）。在粒子群算法中，采用高斯核函数作为支持向量机的适应度函数。在从可用的在线数据集中获取的大量乳腺图像上测试了所提出的工作，为了评估，使用统计参数，如总分类准确性、曲线下面积（AUC ）、灵敏度和特异性。 Arevalo 等人（2016）利用学习和手工制作的ROI表示来训练混合分类模型。类似地，Jiao等人（2016）提出了一种由学习特征和基于强度的特征组成的特征向量。Moayedi等人（2010）提出了一种诊断分类系统，其中从轮廓波系数和遗传算法获得特征向量，以促进提取特征的分类最后，使用SVM进行最终分类。在基于ML的技术中，支持向量机（SVM）和随机森林（RF）被认为是用于乳房X线摄影分类的最有影响力的分类器。但在基于ML的实践中，最繁琐的工作是提取有效的特征向量来训练模型。近年来，由于深度学习算法的原因，人工智能取得了很大的发展（Rehman和Chong，2020）。深度神经网络（DNN）最好的部分是它自己提取特征;因此，我们不需要尝试最佳特征提取器（ur Einman等人，2018年）。基于深度学习的技术解决了通过密集学习从输入数据中获取更多信息的问题，并具有提取和学习高级特征的能力。在DNN模型中，更高的准确度作为迭代过程来实现，其中特征向量集合连同权重是最佳的以最佳拟合。此外，任何DNN模型中的dropout层都将弱特征从最佳特征向量集中排除。深度学习模型在很多领域都表现出了显著的效果（D'Angelo）和帕尔米耶里，二零二一年;D'Angelo和帕尔米耶里，2020），包括医学成像（Cai，2021; Guo和Razmjooy，癌症，并取得了良好的业绩。Agarwal等人提出了一种CAD系统。（2019），其中在模型中利用迁移学习技术来进行预测。作者提出了一种鲁棒的方法，用于准确地将乳腺细胞分为正常和异常两类。Huynh等人（2016）研究了使用深度学习框架检索乳腺肿瘤特征的情况，发现在对分析检索特征进行评价时，它们表现良好。Li等人（Wang等人， 2016）使用CNN将乳腺扫描中的异常分类为恶性或良性，并获得了高灵敏度。 Cai等人（2019）提出了一种用于诊断乳腺微钙化的CNN模型。为了充分利用经典特征Lévy和Jain（1612）使用CNN将样本乳腺肿瘤分类为恶性或良性，并获得了良好的结果。Zhu等人（2017）开发了一种多实例深度学习模型，用于使用全乳腺X线摄影扫描进行肿块我们提出的CAD系统使用定制的CNN模型来分类从乳房X光片收集的肿瘤和正常ROI。该模型首先对输入的原始图像进行预处理，以去除噪声，提高图像质量。第二步提取正常类和异常类的感兴趣区域。接下来，CNN模型使用特征融合从收集到的ROI中提取特征，并将其提供给三个不同的分类器，以使用多数投票来决定ROI的类别。该模型优于现有的CNN模型用于分类，并达到了99.4%的准确率为公开可用的MIAS数据集。本研究的主要贡献是：1）研究两种不同的特征融合方法（Fusion-1 Fusion-2）用于有效的特征提取，2）研究在CNN的最后一块中使用三种不同分类器的集成学习的效果，3）在乳腺摄影分类网络中嵌入可分离卷积和空间丢弃层以研究其性能影响，4)提出了一个端到端的CAD系统，用于对乳房X线照片进行有效分类，该系统在公共数据集上提供了比现有技术更高的性能。剩余的研究论文组织如下：第2详细介绍了所提出的方法，第3节显示了实验和取得的结果，第4节总结了研究。2. 方法图1示出了所提出的用于乳腺癌的CAD系统的一般流程图。肿瘤识别的主要过程包括预处理、ROI提取、特征提取和分类，所有这些都在下面讨论。2.1. 预处理预处理原始乳房X线照片图像很重要，以便在即将到来的过程中不会遗漏ROI。为此，采用图像增强算法来提高乳腺X线图像的质量。在原始乳房X线照片中，图像边缘非常重要，因为它们将用于提取ROI。为此，采用了反锐化掩模技术。反锐化掩模技术增强了图像的边缘;因此，创建了一个掩模来模糊图像。模糊核定义为，1.一、X-m2019;Liu，2020; Razmjooy等人，2020年; Mr.Wang等人（2016）开发了一种堆叠式去噪自动编码器Blur¼2ps2exp-2s2ð1Þ用于乳腺肿块和微钙化的联合评估该模型基于深度学习来诊断乳腺癌模糊核与输入图像进行卷积，从而产生模糊的乳房X线照片。这个模糊的图像从Imran Ul Haq，H. Ali，Hong Yu Wang etal.沙特国王大学学报3312×Fig. 1. CAD系统总体流程图。原始乳房X线照片图像，其生成掩模。然后将掩模添加到原始图像以实现边缘增强图像。这可以用数字表示为，vyqx-y2其中p和q的值在1和（2l +1）之间。以下表达式计算强度梯度幅度和角度，G<$qG2G2其中，x是输入乳房X线照片图像，y是p q的输出应用于乳房X线照片图像的低过滤器。与此同时，是应该是真实的和正的增益，因为它充当缩放因子。该过程如图1所示的流程图所示。 二、2.2. ROI提取我们有一个边缘增强的图像作为预处理模块的输出。本研究提出的感兴趣区域提取算法使用Canny边缘检测器检测乳房X线照片图像的边缘。首先将高斯滤波器应用于Canny边缘检测器的增强图像，并找到强度梯度。高斯滤波器使用的方程如下：1.一、-hatan2Gp;Gq在此过程之后，应用非最大值抑制以细化图像的边缘。在此之后，施加双阈值以获得电势和连接边缘。最后，对图像的最终边缘进行滞后边缘跟踪。从这些边缘中，连接的边缘被分离并被视为潜在的ROI。提取的正常ROI和肿瘤ROI的样本可以在图1中看到。3.第三章。2.3. 提出的CNN架构提出的CNN架构起着特征提取和分类的双重作用。拟议中的CNN由Gp; q¼2pr2 exp-2R2ð3Þ四个主要区块，三个在红色矩形A内，在图6中的矩形B内。A中的每个块都由卷积层、最大池化层和dropout层组成，用于特征提取，而B中的平坦层与三个不同的块（sigmoid、SVM、RF）相连。A和B中的单个块的组合将被视为子网络。这样，我们有三个子网络，每个子网络的最后一个块是不同的。 第一子网络由两个完全连接的层组成，用于分类的S形层。第二个子网络由支持向量机（SVM）组成，而第三个子网络包含随机森林（RF）作为分类器。所有子网络的第一块由四层组成，其中两层是与64个大小为7的滤波器的卷积7，接着是最大池化层和空间丢弃层。第二个块同样由四层组成，但这次引入了深度卷积层。第三个块由五个层组成，其中一个深度卷积层与两个简单卷积层（最大池化层和空间丢弃层）一起使用。最后一个块由一个扁平化和分类层组成，其中每个子网络由不同的分类器组成我们研究了两种不同的特征融合方法。图6示出了Fusion-1架构的细节。每个块的最大池层包含深度数据的特定“细节”。局部图案由浅层捕获，而全局图案由深层捕获。融合所有三个层（L1-L3）将通过丰富输入数据的定义特征来增强分类模型的区分能力。具体的策略是对每个块执行全局平均池化（GAP），然后在GAP层中连接结果GAP层进一步与批处理标准化（BN）层链接，然后是最终的类-图二.预处理算法。分解块Imran Ul Haq，H. Ali，Hong Yu Wang etal.沙特国王大学学报3313×××X¼图三. 提取的ROI样本。见图4。 一般卷积与非一般卷积的比较。来自各个通道的数据将是强相关的，并且11卷积（Lin等人，2013; Szegedy等人，2015）将结合跨渠道信息。因此，我们开发了第二个深度融合模型（Fusion-2）。L1-L3分支的BN和“11 conv”层的特定参数设置如图所示。7.第一次会议。来自“11 conv”层中的每一个的GAP细节从这里开始，数据被提供给最后一个块，如Fusion-1中所示。此外，所提出的架构使用深度卷积（图4）层以及空间丢弃层（图5），这对系统性能有很大的贡献。使用depressive卷积层可以帮助我们减少参数，图五.标准层和空间dropout层的可视化。比一般的卷积层，导致过拟合的机会更小。此外，在参数数量较少的情况下，反向传播中的权重分配可以更有效地完成，因为不需要的参数将被绕过。与一般卷积相比，进一步的深度卷积是更快和更便宜的过程。空间dropout层以比标准dropout层更好的方式提高了泛化性能（Wavelman等人，2021年）。空间丢弃层丢弃完整的特征图而不是单个元素，仅允许最佳特征图成为用于分类目的的最终特征向量的一部分。为了检查集成方法增加的价值，我们单独使用了所有三个分类器，制作了三个子网络，并共同进行最终预测。投票被应用于从各个子网络获得的预测，以获得关于最终模型所考虑的ROI的最终预测。分类器讨论如下。2.3.1. 密层分级机在第一个子网中使用了两个大小为512的密集层和一个sigmoid层。损失函数采用分类交叉熵. 交叉熵损失的方程如下，LCEtj log f pj4J其中p是SoftMax层的输入，f（p）j定义为，Imran Ul Haq，H. Ali，Hong Yu Wang etal.沙特国王大学学报3314JJ2 fg图六、在Fusion-1中，每个块的输出都通过GAP层。然后，深度特征被连接到一个更大的GAP层，前面是BN、Flatten层和三个输出分类器，以投票支持预测。图7.第一次会议。Fusion-2型号。每个块的输出通过BN、1x 1 Conv和GAP层。然后，深度特征被连接到一个更大的GAP层，前面是BN、Flatten层和三个输出分类器，以投票支持预测。fð5Þ这里c和h表示要计算的偏移和权重，jPLexp2.3.2. SVMSVM是一种解决分类困难的监测ML技术。来自特征空间的每第n个特征被绘制为n维空间中的一个点，每个特征的值是SVM算法中某个坐标的值。然后通过定位明确区分两类的超平面来完成分类。将“u i”视为其中u是2Rd;其中“d”是输入图像的维度。每个图像都被分配了类标签z i1; 1： The这里的目标是创建一个超平面，实例，使得来自特定类别的像素出现在超平面的单个面上。该超平面的方程如下所示：hA^·ui满足Eq.（六）、 如果数据存在一个超平面，则该数据被认为是线性可分的。我们可以改变'h'和'c'，使超平面与最近数据点之间的距离为1/||H||. 使用Eq. （七）、兹岛hA^·uic≥1;7在可能用于上述等式的所有超平面中，最佳分离超平面是距离最近数据位置最远的平面。保证金限制为1/||H||这意味着我们必须找到一个||H||2forEq. （七）、2.3.3. 随机森林（RF）RF通过整合多个决策树输出的影响，利用集成学习方法进行回归和分类。RF使用投票方法对测试数据进行分类;具有最多投票的类被视为训练数据类。Imran Ul Haq，H. Ali，Hong Yu Wang etal.沙特国王大学学报33152.X×--×.ðÞ¼对于决策树训练，RF使用bootstrap聚合或bagging方法。RF是使用随机选择的训练数据构建的一组随机分类树。随机选取不同树节点的特征子集，并从中选择最佳参数。RF利用以下技术开发决策树。1. 假设RF被给予用于训练的N维数据首先，RF将随机选择具有替换的样本;此信息将用于制作引导样本，用于形成决策树。2. M表示原始特征向量的大小，K（1，M）是静态参数。对于每个节点，从其特征集的随机集合中选择最佳配置。3. 这种做法可以让树达到其充分的程度，而无需修剪。2.3.4. 多数表决在分类器的单独分类之后，通过对所有三个分类输出应用多数表决来获得最准确的结果。下面的等式描述了多数表决的部署。3 fk输出1/4圆形3k¼1k表示不同的分类器（k = 1、2、3分别表示密集分类器、SVM和RF）。f是分类器的决定。f的值可以是1或1，1表示正常ROI，1表示肿瘤ROI。在计算所有三个分类器的f之后，最终结论由多数投票决定。如果输出>0，则ROI被认为是正常的，并且如果输出0，则ROI被认为是肿瘤。<3. 实验和结果3.1. 数据库乳腺X线摄影为鉴别乳腺肿块的异常提供了极好的机会（Johns和Yaffe，1987）。在医学领域中，存在两种主要类别的乳房X线照片图像，称为屏幕胶片乳房X线照片（SFM）和全视野数字乳房X线照片（FFDM）（Mustra等人， 2016年）。 该研究使用了一个公开可 用 的数 据 集 ，称 为 乳 房 X 线 照 片 图 像 分 析 协 会 （ MIAS ）（Suckling等人， 2015）FFDM图像。它是用于研究目的的最广泛使用的数据集之一它提供了关于乳房X线摄影的Meta数据，这些数据在该领域的专家对其在1024 - 1024的MIAS数据集中有322幅数字正常和异常图像的数量分别为208和114。由于所提出的模型基于深度神经网络，因此使用数据增强来增加数据集大小。增加训练分割（通过随机水平和垂直翻转、旋转、改变尺度、伽马校正），以将训练数据集大小增加到4500。我们研究中使用的第二个数据集是乳腺癌数字库（BCDR）数据集。BCDR-D 02包含162例患者的230个活检证实的病变，而BCDR-DN 01包含48例患者的200个正常乳腺X线照片。为了在BCDR数据集上验证我们的模型，我们选择了70张乳房X线照片图像，其中包含35张正常图像和35张异常图像。3.2. 度量拟议的工作使用三个指标来评估我们的模型：灵敏度，特异性和准确性。这些度量的范围从0到1，从各种角度衡量分类的性能。视角计算这些指标所需的核心值是真阴性（TN）、假阴性（FN）、真阳性（TP）和假阳性（FP）。将肿瘤ROI确定为肿瘤ROI的能力将被称为灵敏度。它是肿瘤ROI将被检测为肿瘤ROI的概率或机会。以下是用于计算灵敏度的公式Sensitivity¼TP=TPFN特异性测量正常ROI图像被检测为正常ROI的概率或机会。与正常ROI的检测相关的术语称为特异性。专属性<$TN=<$TN <$ FP<$该技术的准确性取决于灵敏度和特异性。其公式如下：准确度：<$TP<$ TN<$= <$TP<$TN <$FP<$FN3.3. 模型训练如前所述，MIAS数据集用于训练模型，其中包含322张图像。在将数据分成训练集、验证集和测试集之后，将数据增强应用于120 120ROI。70%的数据用于训练，10%作为验证集。其余20%的数据用于测试。在将数据划分为不同的集合之后，应用数据增强来增加训练数据集的大小。稍后应用数据增强，以便可以在完全看不见的数据集上测试训练模型。此外，我们还在应用预处理和ROI提取后，对来自BCDR数据集的70（35 + 35）张乳房X线照片图像进行了评估。为了选择最优的网络参数，超参数调整被应用。该模型使用Adam优化器，学习率为0.0001，b1为0.9，b2为0.99，最终实验的批量大小为24基于验证损失使用提前停止早期停止有助于解决过拟合问题，并且它成功地为给定模型提供了最佳的时期数。此外，所有卷积层和密集层都采用指数线性单位（eLu）激活函数。eLu激活函数的条件如下，f xx;ifx≥0一个expxxxx-1;否则为3.4. 消融研究为了理解所提出的Fusion-1、Fusion-2、集成学习、深度可分离卷积和空间丢弃层所做的贡献，我们进行了不同的实验。表1表明，总体准确率随着融合分支数量的增加而增加。从理论上讲，整合额外的信息将改善分类结果。Fusion- 1（1-3）在所有评估指标中得分良好。1x1 conv层将揭示深层的跨通道信息。L1将探索本地跨渠道功能，而L2和L3将专注于更“复杂”的跨渠道功能。Fusion-2比Fusion-1具有更高的灵敏度和准确度，这可以很好地验证跨通道特征，从而提高分类结果。因此，对于进一步的实验，我们将考虑我们的Fusion-2方法。两种融合模型的ROC曲线和AUC如图所示。8.第八条。接下来，我们定量地比较了可分离卷积与简单卷积和空间丢弃！Imran Ul Haq，H. Ali，Hong Yu Wang etal.沙特国王大学学报3316表1使用集成学习方法对MIAS数据集进行分类的两种模型的性能比较。型号融合分支灵敏度特异性准确度Fusion-12,30.8810.8980.8771,2,30.9070.8640.929Fusion-22,30.9810.9850.9841,2,30.9950.9940.994一个简单的dropout层。我们尝试了几种组合，以进行强有力的比较。表2显示了不同组合的细节。结合深度卷积和空间丢弃的性能具有最佳性能。为了从CAD系统中获得最优化的结果和良好的性能，作者提出在所提出的模型中使用空间丢弃层和深度卷积层。深度卷积具有更少的参数，导致过拟合的可能性更小。此外，反向传播中的权重分配更有效地完成，并且将绕过不需要的参数。空间丢弃层提高了泛化性能，如果整个特征图对提高系统性能没有贡献，则丢弃整个特征图3.5. 与其他方法提取的ROI用于分类目的。我们使用迁移学习并训练了VGG（Simonyan和Zisserman，2014）和AlexNet（Krizhevsky等人，2017年）在MIAS数据集上进行比较。在对两种最先进的（SOTA）方法进行适当的训练后，还使用VGGNet和AlexNet对ROI进行分类表3显示了分类结果分别使用所提出的模型的三个子网络，所提出的集成学习方法，VGGNet和AlexNet。如表3所示，所提出的集成学习方法具有比单独的子网络1、2和3更好的结果。值得注意的是，我们的三个子网络在两个数据集上都获得了比AlexNet和VGGNet更好的结果，这揭示了最终分类的卷积层中的特征融合，深度卷积和空间丢弃的效率。由于肿瘤和正常ROI之间的高相似性指数，乳腺癌检测中的分类过程起着至关重要的作用。该模型能够有效区分正常和肿瘤ROI，在MIAS数据集上的准确度为0.994，特异度为0.994，灵敏度为0.995;在BCDR测试集上的准确度为0.985，特异度为0.984，灵敏度为0.988。此外，重要的是要指出，VGGNet的可学习参数（138 M）几乎是所提出模型（69 M）的两倍，这使得VGGNet成为这个特定研究问题的较慢评估器。与VGGNet和AlexNet相比，建议技术的ROC曲线如图9所示。从图中可以明显看出，我们建议的分类方法优于其他技术。实验结果表明，该方法可以解决小数据集问题，类间相似度较高。与VGG和AlexNet相比，该模型具有更好的性能。这可能表明，当模型深入时，会出现过拟合问题，并且乳房X线照片分类任务的泛化能力可能会下降。接下来，局部模式可以在该特定分类任务中发挥更重要的作用。这可以解释为什么更深层次的模型VGG和AlexNet在这项任务中表现不佳。见图8。 Fusion-1（1-3）和Fusion-2（1-3）的ROC曲线和AUC结果表2Fusion-2模型的简单丢弃、空间丢弃、简单卷积和深度卷积的不同组合的结果组合MIAsBCDR灵敏度特异性精度灵敏度特异性精度Conv +脱落0.9360.9480.9420.9050.9010.895Dethwise-Conv +脱落0.9720.9780.9750.9220.9150.919Dethwise-Conv +空间丢弃0.9950.9940.9940.9880.9840.985Conv +空间丢弃0.9570.9510.9540.9380.9420.944Imran Ul Haq，H. Ali，Hong Yu Wang etal.沙特国王大学学报3317图9.第九条。使用AUC和ROC曲线对所提出的模型、3个子网络、VGG和AlexNet进行比较分析表3该模型与SOTA VGGNet和AlexNet的性能比较模型MIAsBCDR灵敏度特异性精度灵敏度特异性精度AlexNet0.6240.7540.7210.6040.7390.715VGGNet0.8270.8620.8920.8060.8140.851子网10.9730.9810.9760.9680.9750.974子网20.9570.9640.9610.9490.9580.955子网30.9760.9680.9730.9690.9610.966提出0.9950.9940.9940.9880.9840.985表4所提出的模型与现有技术的性能比较参考CAD方案灵敏度特异性精度Mabrouk等人（2019年）SVM0.6500.9000.750Mabrouk等人（2019年）KNN0.6500.8000.770Mabrouk等人（2019年）人工神经网络（自动）0.9800.9400.960电影Duraisamy and Emperumal（2017）DL-CNN + FRCN0.9871.000.981Rampun等人（2018年）LQP + SVM0.7670.8570.869Bajaj et al. （2019年）BEMD特征1.000.9290.950提出0.9950.9940.994表4显示了所提出的模型与文献中现有技术的性能比较。如表4所示，先前提出的技术在特异性和灵敏度方面具有高度差异，这表明模型偏向于一个类别。然而，所提出的模型有一个微小的差异，这意味着所提出的模型平等地对待这两个类。最高的灵敏度是通过二维经验模式分解（BEMD）特征实现的。尽管如此，不幸的是，该方案未能实现高特异性，这导致比所提出的模型更低的准确性。与SVM一起使用的局部五元模式（LQP）特征导致灵敏度和特异性的高差异。4. 结论和今后的工作乳腺癌如果在早期发现是可以治愈的诊断这种致命疾病的传统系统是时间-对无意的错误很敏感。本文提出了一个端到端的CAD系统，乳腺癌的乳腺X线图像分类，包括图像预处理，感兴趣区域提取，分类步骤。CAD模型中最重要的部分是特征提取和分类，该模型采用基于特征融合和集成学习的DCNN。特征融合用于从感兴趣区域中提取有用特征，集成学习用于对感兴趣区域进行分类以进行最终预测。此外，该模型使用空间丢弃，深度卷积层和数据扩充来克服过拟合和数据稀缺的问题。该模型在MIAS数据集上的准确性为0.994，特异性为0.994，灵敏度为0.995，在BCDR测试集上的准确性，特异性和灵敏度分别为0.985，0.984和0.988。在未来，我们希望研究深度融合学习来识别不同分支的贡献我们假定Imran Ul Haq，H. Ali，Hong Yu Wang etal.沙特国王大学学报3318合并具有不同权重的特定模式层可能会提高模型的鲁棒性。声明利益冲突作者希望确认他们没有利益冲突、财务冲突或其他冲突。数据可用性在我们的实验中，Mammogram Image Analysis Society（MIAS）数据集和Breast Cancer DIGITAL REPOSITORY（BCDR）数 据 集 被 用 来 评 估 所 建 议 的 方 法 的 效 率 。 MIAS 数 据 集 可 在https://peipa.es-sex.ac.uk/pix/mias/all-mias.tar.gz 上 公 开 获 取 ， 而BCDR数据集可从https://bcdr.eu/information/downloads免费下载，用于研究目的。引用阿加瓦尔河例如，2019.使用深度卷积神经网络在乳房X线照片中进行自动肿块检测。医学成像杂志6（3），031409。Arevalo，J.等人，2016.用卷积神经网络进行乳腺摄影肿块病变分类的表示学习。Comput.方法程序生物医学。127，248-257.Bajaj，V.等人，2019.二维经验模态分解在乳腺癌计算机辅助诊断中的应用。神经元计算31（8），3307-3315。蔡氏H.例如，2019.使用深度卷积神经网络从数字乳腺X线照片中诊断乳腺微钙化。Comput.数学方法医学2019。Cai，X.例如，2021.卷积神经网络和先进热交换优化算法诊断乳腺癌。Comput. 数学 方法Med. 2021年D'Angelo，G.，Palmieri，F.，2020.基于遗传规划的关键航天系统无损检测知识获取。下一代计算机系统102，633-642。D'Angelo，G.，Palmieri，F.，2021.使用深度卷积递归自编码器神经网络进行时空特征提取的网络流量分类。J.网络计算申请173，102890。Duraisamy，S.，Emperumal，S.，2017.使用深度学习卷积全复值松弛神经网络分类器的计算机辅助乳腺X线诊断系统。IET计算Vision 11（8），656-662.Guo，G.，Razmjooy，N.，2019年。一种新的用于乳腺X线摄影图像边缘检测和乳腺癌区域确定的区间微分方程。系统科学控制工程7（1），346-356。Hudson，J.，乳腺癌筛查的部分可观测马尔可夫决策过程。2019年。Huynh，B.Q.，Li，H.，Giger，M. L.，2016.使用深度卷积神经网络的迁移学习进行数字乳腺摄影肿瘤分类。 J. Med. 成像3（3）.Jalalian，A.例如，2013.乳腺X线摄影和超声中乳腺癌的计算机辅助检测/诊断：综述。临床影像学37（3），420-426。焦，Z.例如，2016年。基于深层特征的乳腺肿块分类框架神经计算197，221约翰，P.C.，Yaffe，M.J.，一九八七年 正常和肿瘤性乳腺组织的X线特征。Phys. Med.Biol. 32（6），675-695。汗，S。例如，2016.优化的Gabor特征用于乳腺摄影中的肿块分类。应用软件计算44，267-280.克里热夫斯基，A.，萨茨克弗岛，巴西-地辛顿，通用电气，2017.使用深度卷积神经网络进行ImageNet分类。Commun. ACM 60（6），84-90.Lévy，D.，A. Jain，使用深度卷积神经网络从乳房X光片进行乳房肿块分类。arXiv预印本arXiv：1612.00542，2016年。Lin，M.，Q. Chen，S.燕，网络中的网络arXiv预印本arXiv：1312.4400，2013年。刘 ， 智 - 地 例 如 ， 2020. 基 于 图 像 分 割 和 区 间 分 析 的 计 算 机 辅 助 乳 腺 癌 诊 断 。Automatika 61（3），496-506.Mabrouk，M.S.，Afify，H.M.，Marzouk，S.Y.，2019.基于改进的乳腺摄影图像技术的微钙化癌全自动计算机辅助诊断系统。艾因夏姆斯工程公司 J. 10（3），517-527.Mann，R.M. 例如，2008年 乳腺MRI：欧洲乳腺成像学会指南。EUR. Radiol.18（7），1307-1318。Moayedi，F. 例如，2010年。使用SVM系列的基于Contourlet的乳腺X射线摄影肿块分类。Comput. Biol.Med.40（4），373-383.Mustra，M.，Grgic，M.，Rangayyan，R.M.，2016.乳腺X线照片中乳腺边界和胸肌分割的最新进展。医学生物工程大学54（7），1003-1024。Oeffinger，K.C.例如，2015.平均风险女性的乳腺癌筛查：美国癌症协会2015年指南更新。JAMA 314（15），1599- 1614。Oliver，A. 例如，2012年。 用于数字化和数字化乳腺X线照片的自动微钙化和聚类检测。知道了。- Based Syst. 28，68-75.奥尔森，O.，Gøtzsche，P.C.，2001年乳腺X线摄影筛查乳腺癌的Cochrane综述。柳叶刀358（9290），1340-1342。Rampun，A.例如，2018.使用具有各种邻域拓扑的局部五元模式的乳腺密度分类。J. Imaging4（1），14.Razmjooy，N.，Estrela，V.V.，Loschi，H.J.，2020.基于熵的数字乳腺X线照片乳腺癌检测。国际J.蜂群情报。Res.（IJSIR）11（3），1-18.密歇根大学，科尔曼。例如，2021. m6 A-NeuralTool：卷积神经工具，用于不同物种的RNA N6-甲基腺苷位点识别。 IEEE Access 9，17779- 17786。密歇根大学，科尔曼。例如，2021年BrainSeg-Net：通过增强的编码器-解码器网络进行脑肿瘤MR图像分割。诊断学11（2），169。密歇根大学，Chong，K.T.，2020. DNA 6 mA-MINT：DNA-6 mA修饰识别神经工具。Genes 11（8），898.Shi，P.等人，2019.从小数据集进行深度学习，用于乳腺X射线摄影图像的BI-RADS密度分类。2019年第10届医学和教育信息技术国际会议（ITME）。美国电气与电子工程师协会。Siegel，R.L. 例如，2022. 癌症统计，2022年。 CA A Cancer JClinicians.Simonyan ， K. 和 A. Zisserman ， Very Deep Convolutional Networks for LargeScale Image Recognition。arXiv预印本arXiv：1409.1556，2014年。聪明C.R. 例如，一九九五年乳腺X线摄影筛查对40至49岁女性的益处。来自随机对照试验的现有证据 癌症75（7），1619- 1626。Suckling，J.等人，2015.乳腺摄影图像分析学会（乳腺摄影）数据库v1，21。塞格迪角例如，2015.更深的回旋。IEEE计算机视觉与模式识别会议论文集。Tang，J.等人，2009.计算机辅助检测和诊断乳腺癌与乳腺X线摄影：最新进展。IEEETrans. Inf Technol. Biomed. 13（2），236- 251。乌尔·巴特曼，M.例如，2018.分割与卷积神经网络相结合的皮肤病变分类。2018第二届国际工程创新大会（ICEI）美 国 电气与电子工程师协会。Wang，J.等