基于多级阈值深度CNN的乳腺肿块快速检测系统

沙特国王大学学报多层阈值法检测乳腺肿块Xiang Yu，Shui-Hua Wang，Yu-DongZhang莱斯特大学计算与数学科学学院，英国莱斯特LE1 7RH阿提奇莱因福奥文章历史记录：2022年4月25日收到2022年11月6日修订2022年11月12日接受2022年11月23日在线提供保留字：质量检测多级阈值深度CNNA B S T R A C T乳腺肿块的检测在乳腺癌的诊断中起着非常重要的作用。为了更快地检测乳腺肿块引起的乳腺癌，我们开发了一种新的和有效的基于块的乳腺肿块检测系统的乳腺X射线摄影图像。该框架由三个模块组成，包括预处理、多层乳腺组织分割和最终乳腺肿块检测。在预处理中部署了一个用于胸肌去除的改进的Deeplabv3+模型。然后提出了一种多阈值分割方法对乳腺肿块进行分割，得到连通分量（ConC），并提取每个ConC对应的图像块进行肿块检测。在最后的检测阶段，每个图像块通过训练的深度学习模型被分类为乳腺肿块和乳腺组织背景。被分类为乳腺肿块的补丁，然后作为乳腺肿块的候选人。为了降低检测结果中的误报率，采用非最大值抑制算法对重叠检测结果进行合并。一旦图像块被认为是乳房肿块，然后可以从分割图像中的对应ConC中检索准确的检测结果。此外，粗分割结果可以在检测之后被同时检索。与最先进的方法相比，所提出的方法取得了相当的性能。在CBIS-DDSM上，所提出的方法在2.86 FPI（每幅图像的假阳性率）下实现了0.87的检测灵敏度，而在INbreast上灵敏度达到0.96，FPI仅为1.29。©2022作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY许可下的文章（http://creativecommons.org/licenses/by/4.0/）。1. 介绍医学图像分析在现代医疗系统中发挥着关键作用。通过部署早期筛查，可以在早期阶段检测癌症或疾病，并且可以降低发病率和死亡率（Siegel et al.，2021年）。对于乳腺癌，严重性肛门-*通讯作者。电子邮件地址：xy144@leicester.ac.uk（X.Yu），shuihuawang@ieee.org（S.-H.Wang），yudongzhang@ieee.org（Y.- D. 张）。q本文部分由英国皇家学会国际交易所成本份额奖支持（RP 202 G 0230）;英国医学研究委员会概念信心奖（MC PC 17171）;英国癌症研究希望基金会（RM 60 G 0680）;英国心脏基金会加速器奖，英国（AA/18/3/34220）;中英工业基金，英国（RP 202 G 0289）;全球挑战研究基金（GCRF），英国（P202 PF 11）;数据科学增强基金，英国（P202 RE237）; LIAS先锋合作伙伴奖，英国（P202 ED 10）。沙特国王大学负责同行审查可以通过诸如活组织检查的侵入性方法来实现溶解然而，患者必须经历一系列痛苦的组织提取程序，并等待相当长的时间才能完成分析。为了以更有效的方式促进疾病无痛诊断，计算机科学专家已经开发了有用的计算机辅助检测（CAD）系统。这些系统可以分为传统的和基于深度学习的系统。传统的CAD系统通常由模块组成，包括预处理、分割、特征提取（如果需要，还包括特征选择）和分类。然而，人为干预通常是确保这些系统成功的不可或缺的一部分。相反，基于深度学习的系统可以极大地减少人工干预，因为深度学习为许多关键领域的发展带来了巨大的好处，例如自动驾驶，网络安全和医学成像（Grigorescu et al.，2020; Berman等人，2019; Xiang等人，2021;Yolcu等人，2020;Oztel等人，2018年）。与传统CAD系统相比，基于深度学习的CAD系统在性能和鲁棒性方面此外，传统CAD系统中的各个模块，包括特征提取、选择和分类，可以集成到单个深度https://doi.org/10.1016/j.jksuci.2022.11.0061319-1578/©2022作者。由Elsevier B.V.代表沙特国王大学出版。这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comX. 余，S.-H. Wang和Y.-D. 张沙特国王大学学报116学习架构，这间接提高了基于深度学习的系统的鲁棒性。然而，基于深度学习的CAD系统仍然存在一些缺点。一个是这些系统的可改进的鲁棒性。 虽然基于深度学习的CAD系统在有限数据集上的性能很有希望，但这些系统在不同成像设备或具有不同设置的相同设备收集的图像上的性能仍然非常差。另一个问题主要来自可用资源的大小，包括数据集和计算设备。基于深度学习的CAD系统的最终性能在很大程度上取决于可用数据集和注释的大小。虽然有许多尝试来缓解这种情况（Bria等人，2020; Taghanaki等人，2021年），数据集的原始大小仍然是影响基于深度学习的CAD系统性能的主要因素。特别地，注释数据集是昂贵的过程，由于提供准确注释的挑战，其需要大量的金钱用于手动费用和大量的时间。此外，众所周知，大规模深度学习模型的训练需要大量的计算资源，如GPU。因此，可用的计算资源和这些模型的部署也是阻碍基于深度学习的CAD系统传播的潜在因素。乳腺癌，一种常见的顶级癌症，如肺癌，前列腺癌，已被公认为对妇女健康的主要威胁之一。虽然乳腺癌的符合率增加，但由于早期筛查过程，死亡率下降（Siegel et al.，2021年）。考虑到成本和效率等因素，社区放射科医生建议将X线乳腺摄影作为早期发现乳腺异常的主要工具。鉴于乳房X线摄影的手动解释是一项耗时且具有挑战性的任务，在过去的几十年中，已经开发了许多用于乳房X线摄影图像的CAD系统来帮助社区中的放射科医生与其他乳房异常相比，如钙化、变形和乳房肿块是乳腺癌最显著的症状。然而，由于乳腺肿块本身的复杂性和形状的多样性，使得乳腺肿块的检测和分割成为一项具有挑战性的任务。此外，乳腺X线摄影图像的低信号比间接损害了手工制作的基于特征的CAD系统的性能。成功检测乳腺肿块的另一个挑战是乳腺组织的密度变化当存在致密乳腺组织时，这些组织的像素强度接近于真实乳腺肿块，并且还可能与乳腺肿块重叠因此，识别和分割真实的乳腺肿块乳腺组织通常更具挑战性。在本文中，我们开发了一种新的乳腺肿块检测系统，TEM用于具有不同乳房密度的乳房X线摄影图像。检测系统带来的附带好处是，一旦检测完成，就可以同时实现粗分割。在所开发的系统中，通常 在内 外斜（ MLO ）视 图中 显示的 乳房 胸肌首 先通 过改进 的Deeplabv3+分割模块（Yu等人，2022年）。然后，我们提出了一种多层次阈值的方法来执行粗分割的乳腺肿块。本文提出的多阈值分割方法首先根据乳腺组织的平均像素灰度值对乳腺组织进行分割。在分析分割图像中的连通分量（ConCs）的区域属性之后，基于所选像素的平均像素强度，选择具有大面积的ConCs和乳房图像中的对应像素用于进一步的细粒度分割。只有当在分割的图像中没有找到足够大的ConC时，分割过程才停止。 不同阈值分割的分割结果是然 后 组 合 以 形 成 最 终 分 割 结 果 。 为 了 抑 制 分 割 图 像 中 的 噪 声ConCs，应用了区域开放在最终分割的图像中，然后提取每个单独的ConC将分类为乳腺肿块的图像块和相应的ConC块应用非最大值抑制（NMS）算法，通过抑制低得分的块来细化结果。然后将所有阶段存活的图像块作为真实的乳腺肿块，然后可以获得块级检测结果。此外，分割结果可以从ConC块检索，而准确的检测结果可以通过ConC块的边界框来细化本文的主要贡献可以归纳如下：1. 我们提出了一种新的基于补丁的CAD系统，有效的乳腺肿块检测在乳腺摄影。我们没有部署深度学习对象检测框架，而是将检测问题转换为单个分类任务，从而节省了整体计算成本。与针对常见对象的检测框架相比，所提出的框架对于训练更友好，因为只引入了深度分类器。在两个公共数据集上的实验结果表明，性能与基准相当。2. 所提出的系统具有很高的鲁棒性，可以应用于不同乳腺密度的乳腺X射线摄影图像在含有致密乳腺组织的乳腺X线图像中，如何检测出乳腺肿块是一个具有当乳房X线摄影的乳房密度从一个图像变化到另一个图像时，情况更加复杂。然而，我们提出的多级阈值化方法可以很容易地应付不同的乳腺密度与一些预定义的参数。因此，该算法具有很高的通用性和灵活性。3. 我们尝试在实现乳腺肿块检测的同时进行粗略的乳腺肿块分割。 通过引入多层阈值分割方法，一旦将乳腺肿块候选块确定为乳腺肿块，就可以获得乳腺肿块的粗分割。虽然分割可以细化，但它可能会导致同时进行乳腺肿块检测和分割的新策略。本文其余部分安排如下。在第二节中，我们将简要回顾近年来的相关工作。然后，我们将在第3节中介绍拟议的流水线，然后在第4节中介绍实验，我们将介绍本研究中使用的数据集的详细信息，实验的设置和结果。然后，我们将在第5节中讨论与实验中的问题有关的一些问题。最后，我们在第6节中总结了本文的结论和未来的工作。2. 相关作品乳腺肿块检测是乳腺X线分析系统中的一个重要模块，它为进一步的分析提供了感兴趣区域（ROI）。鉴于乳腺肿块检测的重要性，从传统和基于深度学习的方法的角度来看，有许多有意义的尝试（Wang etal.，2018;Cao等人，2021年; Sun等人，2021年）。在工作中（Wanget al.，2018），Wang et al. 建议将完形心理学融入乳房X. 余，S.-H. Wang和Y.-D. 张沙特国王大学学报117质量检测任务。所提出的框架是由感觉集成，语义集成和验证。所提出的方法报告了在FPI为2.21时在用于筛查乳房X射线摄影术的数字数据库（DDSM）上的93.84%的检测灵敏度（Heath等人，1998年）。然而，假阳性率可以进一步减少。在另一种基于深度学习的方法（Caoet al.，2021年），开发了无锚建筑。在该模型中，乳腺肿块与周围组织之间的对比度是基于自适应直方图均衡增强。然后，作者转移了一个称为FSAF的单阶段检测网络，这是一个无锚模型，用于这里的检测任务（Zhu et al.，2019年）。作者报告召回率为0.943假阳性率为0.599。 在另一项工作中（Aly等人，2021年），Aly等人提议在IN乳房X线摄影中部署You Only Look Once（YOLO）用于乳房肿块检测和分类。为了进行比较，作者还部署了ResNet和Inception作为特征提取器，以提高对YOLO的分类性能。报告的结果表明，INbreast中89.4%的肿块可以被检测到，而良性和恶性肿块分类的平均精度分别为89.4%和94.2%。在另一项最近的工作中（Sun等人，2021年），Sun等人提出将传统的模板匹配与深度学习相结合。在所提出的方法中，通过从上到下然后从左到右扫描乳房X线摄影图像来确定ROI，该方法可以将较亮的区域转换为圆形区域。然后训练深度卷积神经网络（CNN）以将ROI分类为乳房肿块和乳房背景组织。DDSM的敏感性为86.82%，FPI为0.53。然而，所提出的方法的鲁棒性差，因为乳腺摄影图像中的微小变化（诸如强度）将导致检测失败。分割还可以帮助乳腺癌检测和诊断，通过引入额外的信息进行诊断（Min等人， 2020; Yan等人，2021; Su等人，2022年）。在工作中（Min等人，2020），通过引入一种称为Mask R-CNN的新型深度CNN模型来实现同时的肿块检测和分割，该模型可以同时检测和分割图像中的感兴趣对象。两阶段质量检测和分割框架可以在（Yan et al.，2021），其中通过基于多尺度融合的方法检测乳腺肿块，然后通过UNet的改进版本进行分割。在工作中引入了另一个基于transformer的YOLO框架（Su et al.，2022），显示CBIS-DDSM对乳腺肿块检测的真阳性率为95.7%。也有一些有意义的尝试来减少医学图像分析的计算成本（Mukherjee等人，2019; Zamzmi等人，2021年）。在工作中（Mukherjee et al.，2019），作者提出了一种用于早产儿脑白质损伤自动检测的无分割方法。首先提出了一种有效的线性最大稳定极值区域算法，将心室检测为斑点。通过脑-背景边界和与斑点等距的参考轮廓来识别与斑点相邻的组织。假设这些组织遵循灰度值强度的正常分布，然后将异常强度标记为潜在的白质损伤，并通过以下分析进行确认。所提出的方法是非常鼓舞人心的，因为它可以被转移到类似的情况下，如乳腺肿块检测，其中线性最大稳定极值区域算法可能有助于区分乳腺肿块从乳腺组织。在结论，的探索的同步显影乳房肿块检测仍然非常有限，而一些提出的方法严重依赖于用于分割的计算资源第10节因此，我们提出了一个新的框架，这两个任务。在自动搜索用于分割的适当阈值之后，首先分割乳房图像。然后，我们提取关于分割图像中的ConC的乳腺组织块，用于乳腺肿块和背景分类。 然后通过引入非最大值抑制（NMS）来细化分类结果。该框架的优点包括高性能和高鲁棒性，我们评估了该框架在两个公共数据集上取得了可喜的成果。3. 方法在本节中，我们将介绍所提出的框架中的每个模块，包括预处理、多级分割和乳腺肿块检测，其中乳腺肿块检测可以进一步分为乳腺肿块块提取、乳腺肿块分类和假阳性减少。在预处理模块中，我们主要是去除乳房胸肌和增强乳房图像的然后，对去除胸肌并增强对比度的图像进行多级应用变化的阈值来将乳房区域二值化为不同的ConC，其中提取对应的乳房组织块用于肿块检测。在乳房肿块检测阶段，深度学习模型被转移并重新训练用于乳房肿块和组织分类。为了进一步减少分类后的假阳性，我们应用NMS算法，并将所有阶段存活的乳腺肿块块拟议的框架的概述可以在图中看到。1 .一、3.1. 预处理预处理在降低计算成本和提高图像质量方面起着关键作用在乳房X线照片中，乳房仅出现在有限的区域中，因此仅乳房区域提取就可以通过缩小图像大小来极大地受益于以下模块在本文中，我们建议删除乳房胸肌，并增强所得到的图像，原因如下一个是乳房胸肌将影响我们的基于强度的分割方法，因为肌肉的强度与真实乳房肿块的强度具有高度相似性此外，一旦我们去除胸肌，乳房区域的大小可以进一步缩小医学图像对比度低、强度不均匀是造成图像对比度降低的主要原因。因此，图像对比度增强将大大缓解这种情况。乳 房 X 线 照 片 必 须 属 于 四 个 视 图 之 一 ， 包 括 左 侧 内 外 斜 位（LMLO）、左侧头尾位（LCC）、右侧内外斜位（RMLO）和右侧头尾位（RCC）。然而，胸肌通常出现在MLO视图中，而在CC视图中很少显示或不显示胸肌。 对于胸肌去除，我们在工作中部署了一种称为PeMNet的新型深度分割模型（Yu et al.，2022年）。在去除胸部后，MLO视图中的仅乳房图像然后通过称为对比度限制自适应直方图均衡化的经典方法增强。然而，CC视图中的乳房X线照片图2中给出了一个预处理示例。如图所示，胸肌已被成功分割和移除。 相比于图在图2a中，乳房区域中感兴趣的像素的数量已经大大减少。然后，我们执行了一个经典的对比度增强方法，称为对比度限制X. 余，S.-H. Wang和Y.-D. 张沙特国王大学学报1182Fig. 1.概述了所提出的框架，其中包括预处理，多级阈值，和乳腺肿块检测，其中乳腺肿块检测是由路径提取，分类和假阳性减少。仅乳房图像上的自适应直方图增强（CLAHE）。在对胸肌进行分割后，只需将与乳房像素对应的像素设置为1，就可以从分割结果中得到乳房从图2中可以看出，胸肌已被成功去除，同时所得图像的对比度已得到改善。因此，我们相信我们的预处理程序是有效的，有助于降低整体计算成本，同时提高乳腺图像的质量。3.2. 多级阈值分割胸肌切除后，如果乳房X线片中存在任何乳房肿块，则乳房肿块是强度最高的区域基于这一假设，我们部署了一个多层次的纹理分割算法，它可以分为粗粒度和细粒度的分割。给定预处理的乳房图像I2RH×W×3，其中H和W代表图像的高度和宽度。相应的，如前所述，我们可以拥有美胸面膜BMaskRH×W对于乳房区域，其用1而非乳房区域为0。我们首先计算的平均强度的乳房区域和分割的乳房图像的基础上获得的值。因此，获得粗分割结果，然后将其标记为不同的ConC。对于每个过大的ConC，进行细粒度分割。为了确定ConC是否过大，我们预先定义了一个固定值Area，如果ConC的面积大于Area，则认为ConC过大。当分割的图像中仍然存在过大的ConC最后，将所有分割结果聚合形成最终分割结果。详细算法如算法1所示。分割过程的详细中间结果可以在图3中找到。请注意，我们分析了分割结果中ConC的区域属性，然后去除了噪声ConC，例如片段状和小点状ConC，如图11所示。 3 C.X. 余，S.-H. Wang和Y.-D. 张沙特国王大学学报119算法1. 多层次阈值分割3.3. 乳腺肿块检测乳腺肿块检测可以分为三个步骤，包括图像块提取，分类和假阳性减少。基于分割结果，可以关于边界框从经处理的仅乳房图像中提取对应的块。我们提取了方形图像块，因为深度学习模型通常将方形图像作为输入。详细的补丁提取过程可以在算法2中看到。算法2.图像块提取。自适应之前和之后的深度学习模型的架构可以在图4中看到。 我们部署了最先进的深度学习模型，这些模型在ImageNet数据集上针对乳腺肿块和组织进行了预训练（Simonyan和Zisserman，2014; He等人，2016年; Huang等人，2017; Szegedy等人，2017年）。与其他方法相比，这些深度学习模型在1,000个分类类别上取得了主导性的表现，如图4a所示。在深度学习模型中，编码层负责将输入图像的大小调整到输入大小要求。深度学习模型中的主要组件是深度块，X. 余，S.-H. Wang和Y.-D. 张沙特国王大学学报120图二、预处理。（a）原始乳房X线照片。（b）分段胸肌。（c）仅乳房图像。（d）CLAHE的对比度增强的仅乳房图像，限幅为0.02. (e)获得乳房面具。图3.第三章。多级阈值。（a）原始乳房X线照片。（b）乳腺肿块的像素级地面实况（c）通过多级阈值分割的分割结果由于剩余的胸肌，分割结果中存在一些分段卷积层、归一化层和激活层，即ReLU层，图4a顶部的池化层。从深度卷积块生成的特征被馈送到一个全连接层，该层负责将学习的特征映射到目标空间中以进行分类任务。为了高效部署，我们通过引入最小的更改将这些模型转移到我们的分类任务中。有两种最直接的方法可以使这些深度学习模型适应我们这里的分类任务。第一种是简单地用预期的全连接层替换原始的全连接层（Ali et al.，2021年），显示在图4b中，我们在这里针对两类分类任务，因此，我们用两个神经元的全连接层代替了原始的全连接层。第二个是如图4c所示，在最终完全连接层之后的更多层用于期望的分类任务。为了防止显著的信息丢失，类似于（Xiang et al.，2020年; Yu等人，2021），我们添加了一个新的全连接层，具有256维输出。此外，我们增加了一个辍学层在辍学率为0.5.在乳房肿块分类后，许多重叠的图像块将被预测为肿块。为了解决这个问题并减少误报，我们引入了NMS算法，可以在算法3中看到。例如，图五.可以看出，在图5b中仅保留了包含乳房肿块的块，其中存在多个检测结果。通过执行建议的NMS，检测结果合并为一个单一的检测结果，而FPI降低的同时。X. 余，S.-H. Wang和Y.-D. 张沙特国王大学学报121算法3.非最大抑制。基于分割结果提取测试集中的块考虑到这一点，当在乳房X线照片中没有块被分类为乳房肿块时，我们将具有排名最高的分数的t个当真实边界框和预测边界框之间的重叠率不小于0.2时，我们认为它是成功的乳腺肿块检测4. 实验在本节中，我们将简要介绍本研究所涉及的数据集随后，我们将介绍实验中的参数设置所提出的框架的关键部分是乳腺肿块分类模型的性能。因此，我们将先介绍适应的深度学习模型的性能，然后再讨论两个公共数据集上的检测结果。然后我们以方法比较结束本节，在这里我们将比较我们的方法与最先进的方法。4.1. 数据集在这项研究中，我们在两个公共数据集上进行了实验，即，CBIS-DDSM和INbreast（Lee等人，2017; Moreira等人，2012），两者都提供像素级注释的地面实况。更重要的是，来自两个数据集的所有乳房X线照片可能具有不同的乳房密度，这可能导致乳房肿块检测失败。来自两个数据集的乳房X线照片的高度和宽度通常分别大于4000像素和2000像素。我们使用CBIS-DDSM的训练集进行模型训练，并使用测试集进行评估，同时我们直接在INbreast数据集上评估了所提出的框架的性能，而没有任何进一步的调整。在训练模型时，我们手动提取肿块和乳腺组织来自CBIS-DDSM的训练集，其中乳房组织块与乳房肿块没有重叠。我们通过滑动窗口技术获得乳房组织块，3.4. 模型训练和推理在训练阶段，补丁分类是唯一需要训练的模块当训练深度CNN模型时，训练集中的乳房肿块块被直接提取关于边界框，并被馈送到CNN模型。经过训练的深度CNN倾向于识别之前出现在训练集中的乳房肿块块在训练集上对检测框架进行整体评价相反，测试集的整体评估依赖于一些预定义的参数，其中检测框架的性能可能会因这些参数而略有变化。因此，我们将在模型推理阶段探索这些参数的可能组合，而不是在训练阶段固定它们当推断时，关于提取乳房区域并去除胸肌的预处理模块对测试集中的完整乳房X线照片进行预处理。然后采用多阈值分割方法对乳腺肿块进行分割根据分割结果中ConC的位置信息，提取乳腺斑块，然后通过训练的深度CNN进行分类。将归类为乳腺肿块的斑块聚合，以通过NMS减少假阳性然而，由于从训练集和测试集中提取的块的差异以及乳房X线照片的复杂性，一些乳房X线照片中的块可能无法被分类为乳房肿块。注意，训练集中的乳房肿块块是关于真实位置信息提取的，而直接关于给定的注释提取乳房肿块块。只有当发现的乳腺肿块块之间没有交集时才提取乳腺组织块，这样，乳腺组织块的数量大大超过了乳腺肿块块的数量。然后，我们将数据增强应用于乳房肿块块，同时随机选择相同数量的乳房组织块。应用的数据增强方法包括上下翻转、从左向右翻转、上下翻转然后从左向右翻转、CLAHE对比度增强（限幅为0.02）、随机缩放（从1到1.2）、顺时针旋转90度和逆时针旋转90度。通过聚合训练集中所有增强图像和原始图像，增强训练集被缩放到原始大小的八倍同样，我们从测试集中提取了乳房肿块和组织块，以同样的方式评估深度学习模型同样，在测试集中，乳腺组织贴片的数量大大因此，我们创建了一个仅用于评估深度学习模型的增强测试集深度学习模型训练数据集的详细组成见表1。请注意，对于整体检测性能评估，我们将建议的补丁提取方法应用于测试集。一些提取的乳房肿块块和组织如图6所示。如图所示，乳房肿块块的大小、形状和位置可能不同。在INbreast数据集中，总共有410张图像，而只有107幅图像得到质量确认，称为验证X. 余，S.-H. Wang和Y.-D. 张沙特国王大学学报122见图4。深度学习模型的架构。(a)原始的深度学习模型。(b)通过简单地替换最后一个完全连接的层来适应深度学习模型。(c)通过添加额外的层来适应深度学习模型。FCX代表具有X维输出的全连接层。引入dropout层是为了防止过拟合问题，而引入FC 256是为了防止从FC 1000到FC 2的大量信息丢失图五、补丁分类和非最大值抑制。（a）公布分类结果。（b）ConC对应于被深度学习模型分类为乳腺肿块的斑块。（三）检测结果。蓝色边界框表示图像中的补丁位置，而红色边界框表示精确检测结果的细化边界框X. 余，S.-H. Wang和Y.-D. 张沙特国王大学学报123××表1CBIS-DDSM数据集组成。表2预定义参数。数据集肿块斑块负图像块总参数位于定义原始训练集1,23024,17125,401一算法1缩放阈值的因子调整后的训练集9,8409,84019,680粗分割原始测试集35314,10314,457CS区算法1噪音抑制阈值。调整测试集2,8242,8245,648区域算法1确定的阈值一个大面积的conc。宽度算法2提取的图像补丁的大小。在这项研究中。因此，我们直接在这些乳房X线照片上执行所提出的框架以进行模型评估。速率算法3控制交叉非最大抑制的灵敏度。4.2. 实验设置t推理阶段当乳腺肿块分类失败时，所选的贴片数。所提出的框架的整体性能由一些预定义的关键参数和用于乳腺肿块分类的分类器确定。预定义的参数，这是不可学习的，间接地决定了检测的性能。这些参数的详细描述见表2。当a的值大于1时，则平均强度为按比例放大，因此在分割结果中仅保留具有较高强度的像素，这将损害检测能力。因此，我们将a的值默认设置为0.8，以避免在第一阶段将乳腺肿块分割到背景中。细分AreaCS和Area的值决定了分割期间ConC的数量。更大的面积CS倾向于消除分割结果中更多的噪声ConC。 然而，真正的具有小面积的团块也可能被去除。考虑在这里，我们将面积CS设置为200。相反，Area的选择更容易，因为大的值就足够了。默认情况下，我们将其设置为50，000。宽度控制提取面片时要考虑的面片大小。小的宽度可能提供具有更多假阳性的更多局部化检测结果，而较大的宽度可能有助于更高的检测灵敏度，因为每个图像块具有更大的范围。宽度值与检测性能之间的相关性仍有待探索，这将在实验的后面部分显示率是另一个该参数将影响框架的检测灵敏度和假阳性率。实验将揭示率与检测灵敏度的关系。对于t，我们根据经验将其设置为10，因为它不是将显著影响检测灵敏度的关键参数。总之，我们将在后面的章节中通过实验确定参数，包括宽度和速率相反，分类器的性能直接决定了检测的性能在这项工作中，使用的 深 度 学 习 模 型 是 VGG19 ， ResNet50 ， InceptionV3 ，DenseNet201 ， InceptionResnetv2 和 EfficientNet （ Tan 和 Le ，2019），因为它们是最具代表性的最先进的深度CNN模型。表3中列出了这些模型的一些细节，其中术语FLOP代表浮点运算。如前所述，我们在预训练的深度学习模型的顶部引入了两个全连接层和一个dropout层因此，引入的参数的数量为1000 256 + 256 2 = 256，512.因此，适配的深度学习模型的数量是参数的原始数量和256、512的总和。在莱斯特大学的SPECTRE高性能计算设施训练参数可以在表4中看到，其中SGDM代表具有动量的随机梯度下降见图6。从训练集中手动提取补丁。(a)形状光滑的良性肿块。(b)靠近乳腺边界的良性肿块。(c)边界不清的恶性肿块。（d）不规则恶性肿块。（e）至（h）指正常乳房组织实例。X. 余，S.-H. Wang和Y.-D. 张沙特国王大学学报表3124深度学习模型的参数总数106表4设置超参数。参数值最大训练时间9初始学习率10-4小批量60学习率下降期3学习率下降率0.1优化方法SGDM列车集的洗牌每个时期动量0.94.3. 斑块提取我们的目的是通过提出的补丁提取方法提取所有的图像补丁包含乳腺肿块。因此，在我们直接移动到乳房肿块检测之前，我们评估了所提出的块提取方法在具有不同参数（诸如a和宽度）的乳房肿块提取上的性能。较大的a意味着较高的阈值，使得将生成较少的ConC和图像块。然而，较高的阈值表5CBIS-DDSM上的斑块提取性能成功提取率（%）宽度一1291561992242562990.888.7092.9497.4698.3198.5998.590.988.1493.2296.6198.3198.5999.511.084.7590.9697.1898.0298.8799.441.185.3191.2497.1898.5999.151001.280.7987.8595.4898.0298.8799.44见图7。深度学习模型在调整后的测试集上的性能。(a)使用原始训练集训练的深度学习模型的ROC。(b)引入新层的深度学习模型的ROC（c）深度学习模型的ROC，仅替换了最终的全连接层（b）和（c）中的深度学习模型是用调整后的训练集训练的表6使用原始训练集训练的深度学习模型的性能，同时在调整后的测试集上进行评估粗体表示最好的模型灵敏度特异性精密度F1评分准确度AUC（95%置信区间）Vgg 19 0. 83 0. 91 0. 90 0. 87 0. 87 0. 9376~ 0. 9466粤ICP备05018888号-1初始值V3 0.76 0.89 0.87 0.81 0.82 0.8900~ 0.9020粤ICP备05018888号-1InceptionResNetv2 0.76 0.89 0.88 0.81 0.83 0.9090~ 0.9198有效净流量0 0.53 0.64 0.59 0.56 0.58 0.6062~ 0.6268名字数量的参数原始型号（百万）新添加的FC层FC层神经元参数总数（百万）浮点数（千兆位）VGG19143.681000256 2143.68+256× 1000磅256 ×2 = 143.9419.80ResNet5025.561000256 225.824.25InceptionV324.111000256 224.376.13DenseNet20120.021000256 220.284.37InceptionResNetv256.111000256 256.376.64EfficientNetb05.301000256 25.560.02X. 余，S.-H. Wang和Y.-D. 张沙特国王大学学报表7125¼ ð Þ使用调整后的训练集训练的不同深度学习模型的分类性能，同时在调整后的测试集上进行评估模型灵敏度特异性精密度F1评分准确度AUC（95%置信区间）Vgg 19 0. 90 0. 94 0. 94 0. 92 0. 92 0. 9735~ 0. 9793粤ICP备 05016888号-1初始值V3 0.89 0.97 0.97 0.93 0.93 0.9790~ 0.9841粤ICP备05011888号-1InceptionResNetv2 0.88 0.97 0.97 0.92 0.93 0.9758~ 0.9813网络效率0 0.83 0.95 0.94 0.88 0.89 0.9520~ 0.9598也可能错误地将具有低强度的乳房肿块分割到背景中。因此，应仔细选择a的值。宽度决定了提取的图像块的大小，因此较大的宽度值似乎比较小的宽度值更有利。请注意，深度学习模型通常需要固定大小的输入，因此必须调整图像块的大小以满足输入要求。然而，过大的图像块可能遭受重大的信息丢失时，他们被调整到一个小得多的大小。这给深度学习模型带来了具有挑战性的分类情况。考虑到这一点，宽度的值也应该仔细微调。然后，我们改变α和宽度的值，并在表5中的CBIS-DDSM上记录成功提取。所谓成功的提取，我们的意思是提取的补丁包含至少一半的乳房肿块。可以看出，当a固定时，成功提取率随着宽度增加。此外，当宽度较小时，成功提取率随着宽度的增加而降低。当宽度增加时，情况得到缓解，而最高成功提取率是实现当宽度：299，a1/4： 1。因此，我们认为宽度越大越有利，而α的值应该在确定之后进行微调的宽度。请注意，大多数配对的a和Width可以生成100%成功的提取，因此我们跳过INbreast上的斑块提取验证，而是直接检测。4.4. 用于乳腺肿块分类的模型消融为了探索深度学习模型对乳腺肿块分类的最佳配置，我们随后比较了在不同配置下训练的深度学习模型的性能对于性能评估，我们使用了指标，包括灵敏度;特异性;精密度;F1评分 和准确度，峰受试者工作特征曲线（AUC）。给定预测结果，可以将结论描述为真阳性（TP）、真阴性（TN）、假阳性（FP）和假阴性（FN）。灵敏度，其指示分类器发现真实乳房肿块的能力，可以表示为：灵敏度TP9TPFFN特异性、精密度、F1评分和准确度可表示为：见图8。ResNet50的学习曲线。(a)ResNet 50在调整后的数据集上的学习曲线;注意，由于大量参数，模型在9个时期内收敛，并在调整后的测试集上达到93.73%的准确率。(b)ResNet50在调整后的数据集上的损失曲线，其中最终的训练损失和测试损失分别达到0.07和0.09。表8最终完全连接层被替换的深度学习模型的性能粗体表示最好的模型灵敏度特异性精密度F1评分准确度AUC（95%置信区间）Vgg 19 0. 91 0. 95 0. 95 0. 93 0. 93 0. 9757~ 0. 9811粤ICP备05016888号-1初始值V3 0.87 0.97 0.97 0.91 0.92 0.9736~ 0.9792粤ICP备05011888号-1InceptionResNetv2 0.80 0.94 0.93 0.86 0.87 0.9398~ 0.9486网络效率0 0.75 0.91 0.90 0.82 0.83 0.9061~ 0.9172X. 余，S.-H. Wang和Y.-D. 张沙特国王大学学报126¼¼¼¼¼---表9在宽度、速率分别固定为299和0.3的情况下改变a的检测性能。一灵敏度（%）p-v值SenFPIp-v值FPI0.582.200.701.440.970.683.33-1.44-0.780.510.341.420.840.881.640.571.390.570.977.120.041.520.371.077.970.081.510.421.178.250.091.460.84表明DenseNet201具有最强大的分类能力。尽管如此，由于增强训练集中图像的多样性和数量的增加，所有网络都获得了显着的性能增益。图8中的图8a和图8b分别指示了ResNet 50在调整后的训练集和调整后的测试集上的学习曲线和损失曲线。为了验证引入新层的必要性，我们简单地将最终的全连接层替换为只有两个节点，如图4b所示。我们用调整后的训练集训练这些适应模型，然后在调整后的测试集上验证它们。分类结果如表8所示，ROC曲线如图7c所示。VGG19在整体精度和灵敏度方面是最好的。相比专属性TN公司简介精密TP公司简介ð10Þð11Þ对于引入了新层的模型，替换了最终全连接层的模型的性能略有下降，这表明引入新层的好处。最后，我们选择部署ResNet50，它通过引入新层进行调整，并在调整后的训练集上进行训练，作为乳腺肿块分类任务的分类器，F1 2精密度×灵敏度模型尺寸和性能。12分数¼×精密度传感器4.5. CBIS-DDSM检测结果准确度TP公司简介ð13Þ在本节中，我们将探讨预定义为了验证数据增强方法的有效性，我们首先在原始训练集上训练了不同的深度学习模型，并在调整后的测试集上测试了训练后的模型。这里的深度学习模型是引入了几个新层的模型，如图所示。 4杯结果如表6所示，ROC曲线如图7a所示。从表6和图7a中可以看出，Vgg 19是最佳模型，在调整后的测试集上实现了0.87的总体准确度，同时获得了0.94的AUC。然后，我们用调整后的训练集训练这些模型，并在调整后的测试集上验证它们。结果如表7所示，ROC曲线如图7所示。 7 b.与在原始训练集上训练的深度模型相比，在增强后的训练集上训练的深度模型的性能有了很大的提高，验证了数据增强的有效性。从表7中可以看出，ResNet50在灵敏度和整体准确性方面在所有网络中实现了最佳性能。ROC曲线表10当a和Rate为0.6和0.3时，具有不同宽度的检测性能。宽度灵敏度（%）p-值SenFPIp-值FPI12970.060：054.770：05169 75.71 0.01 3.72 0： 05199 77.68 0.06 2.94 0： 05224 77