基于多尺度双重注意力的乳腺病变分割网络MDA-Net

沙特国王大学学报MDA-Net：基于多尺度双重注意力的网络，用于使用超声图像的Ahmed IqbalMohammed，Muhammad Sharif巴基斯坦伊斯兰堡COMSATS大学Wah校区计算机科学系阿提奇莱因福奥文章历史记录：收到2021年2021年10月9日修订2021年10月9日接受2021年10月21日在线提供保留字：乳腺病变分割多尺度融合双重注意机制编码器-解码器架构A B S T R A C T准确的乳腺病变分割在乳腺癌治疗计划的初始阶段有很大的帮助。超声波被认为是乳房筛查过程中安全和最便宜的方法。然而，超声图像固有地包含斑点噪声、不清晰的边界和复杂的形状，使得自动分割方法更具挑战性。本文提出了一种多尺度双注意力网络（MDA-Net）用于乳腺病变图像的并行分割。多尺度融合（MF）模块的引入，解决了经典的固定感受野问题，并有助于提取更多的语义特征，旨在实现更多的特征多样性。还提出了双注意力（dual-attention，dA），其是基于通道的注意力（channel-based attention，cA）和病变注意力（lesion attention，IA）块的混合，其提高了特征表示能力并且自适应地学习高级特征的区分性表示。因此，两个注意力模块的组合有助于拟议的网络集中于目标的更相关的视野。MDA-Net在自我收集的私人数据集和两个公共UDIAT，BUSIS数据集上进行了广泛的测试。此外，我们的方法也在MRI数据集上进行了评估，以观察我们的方法在不同成像模式中的广泛适用性MDA-Net在UDIAT、BUSIS、Private和RIDER乳腺MRI数据集上实现了87.68%、91.85%、90.41%和83.47%的DSC（配对t检验的p值我们的MDA-Net实现代码和预训练模型在GitHub上发布：https://github.com/ahmedeqbal/MDA-Net。版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍乳腺癌被认为是一种致命的疾病，在世界范围内最常见于女性。根据美国癌症协会的报告，估计2021年将有43，600名女性和530名男性死亡（美国癌症协会，亚特兰大，2021年）。在西方国家，乳房X光检查被广泛用于乳房病变筛查过程和早期癌症检测。乳房X线照相术对于孕妇来说不是理想的成像方式，因为重复的过程还可能由于辐射暴露而增加另一种癌症风险（Skaane等人，2019年）的报告。此外，乳房X线照相术上的致密乳房组织检查也是降低诊断灵敏度的问题，*通讯作者。电子邮件地址：ahmedeqbal@gmail.com（A. Iqbal）。沙特国王大学负责同行审查这被认为是具有乳腺癌潜在风险的女性的极大关注（Replika等人，2012年）。在大多数情况下，超声是评估各种人体器官异常的最佳选择。超声波被认为是医院和诊所乳腺筛查过程中安全和最便宜的成像方式。由于这种成像模式是手动操作的，因此高度专业的放射科医生依赖于图像采集和解释。准确的乳腺病变分割是研究界的另一个公开挑战，有 助 于医 学 专 家早 期 诊 断 乳腺 癌 （Gubern-Merida et al. ， 2015;Kallenberg等人，2016; Yap等人，2018年）。计算机辅助诊断系统（CAD）被证明是更有助于帮助医学专家在治疗和手术计划的乳腺癌治疗。然而，开发用于乳腺癌的有效CAD系统是另一个具有挑战性的过程，这是由于病变尺寸、纹理、形状的不同变化和病变的模糊边界以及超声图像中的低信号与随机噪声（Zhou等人， 2021），如图所示。1 .一、通常，用于乳房筛查的CAD系统取决于图像（i）预处理、（ii）肿瘤分割、（iii）特征提取和（iv）分类（Huang等人， 2019年）的报告。https://doi.org/10.1016/j.jksuci.2021.10.0021319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comA. Iqbal和M. 谢里夫沙特国王大学学报7284图1.一、超声 样本图 像中的 乳腺癌病变实例（Yap等人， 2018; Xian等人， 2018年）。绿色轮廓代表病变的原始边界(a) 由于非病变背景的相似性，模糊的乳腺病变边界。(b) 病变形态不规则。（c）具有极高亮度的超声图像的高增益。乳腺病变区域的分割是区分病变区域和背景区域的另一个关键步骤。近年来，乳腺病变分割得到了不同研究者的广泛研究。以前，基于活动轮廓 的 方 法 （ Yu-LenHuang 和 Dar-Ren Chen ， 2005; Rodtook 和Makhanov，2013）、基于阈值的方法（Shan等人， 2008; Chang等人，2005; Ikedo等人，2007; Yap等人，2008; Xian等人，2015;Aja-Fernández等人，2015; Joo等人，2004）基于聚类的方法（Shan等人，2012 a; Lo等人，2014）、基于图的方法（Huang等人，2012），基于流域的方法（Gu等人，2016）被提议作为自动分割方法。很少有其他研究（Ashton和Parker，1995; Yezzi等人，1997; Boukerroui等人，1998; Chen等人，2002; Guofang Xiao等人，2002;Madabhushi和Metaxas等人，未注明; Madabhushi和Metaxas，2003年; Shan等人，2012 b; Huang等人，2020），其通常基于手工制作的特征。由于特征图表示的局限性，导致在复杂的环境下，对乳腺病变的准确识别存在一定的困难.最近，深度学习模型的进步在乳腺病变分割任务中取得了令人印象深刻的进展。编码器-解码器架构在生物医学成像分割任务中被广泛接受。在过去的几年里，经典的UNet已经被修改，不同的研究。因此，已经引入了不同的基于UNet的编码器-解码器架构（Oktay等人，2018;Poudel等人，2017年）。经典的UNet模型具有固定的感受野，卷积大小为3x3滤波器。在经典的UNet变体中，卷积滤波器的感受野是固定，所以功能多样性消失了。卷积滤波器的不同大小的感受野可能会影响网络在卷积滤波器的感受野较小的情况下，从输入中提取冗余特征卷积滤波器的较大接收场导致目标忽略，这也是不可接受的。特征图信息的损失可以通过在上采样和下采样路径的操作中使用具有多个大小的接收字段的卷积核来减少（Luo等人，2017 a; Shen等人，2019年; Peng等人， 2017年）。因此，UNet网络的特征学习能力通过多个卷积序列增强（He等人，2015年）。人类的视觉快速扫描需要更多注意的目标区域将更多的焦点投入到特定区域以获得更多有意义的信息，并抑制不必要的背景信息注意力在深度学习网络中扮演着类似的角色，深度学习网络在视觉上关注的是比背景需要更多注意力的区域研究人员（Mnih等人，2014年）引入了第一个注意力机制，将注意力嵌入RNN模型，以解决更多的图像描述问题。如今，注意力机制广泛研究计算机视觉和深度学习问题的各个领域，以捕获更多有用的信息。主要优点是它确实需要大量的计算开销和参数优化。注意力机制的不同变体与深度学习模型一起使用，例如对图像的大多数特定区域进行空间注意Qin等人， 2018年利用注意力机制来管理各种感受野的不同并行分支，以准确分割脑肿瘤任务，以及类似的Wang et al.，使用基于超声的图像进行了2019年前列腺癌分割实验。然而，这些研究仅限于证明基于空间或通道的注意机制对分割任务的有效性。我们认为，仍然需要更详细的实验演示，以进一步提高基于深度学习的模型中的分割结果。拟议研究的贡献描述在四个折叠：1. 首先，使用CLAHE算法来提高基于超声的图像的对比度，并且在数据扩展过程中增加数据多样性。2. 其次，MDA-Net提出了一个多尺度融合（MF）块，由1x 1，3x3和5x 5组成的卷积序列与多个感受野，以克服固定的感受野问题，并提取语义特征映射，以实现更多的特征多样性。3. 第三，引入双注意力（dual attention，dA）机制，优化的基于通道的注意力（channel-based attention，cA）和基于病变的注意力（lesion-based attention，IA）块的混合，其提高了特征表示能力并且自适应地学习高级特征的区分性表示。此外，双注意（dualattention，dA）利用高级别的功能，以指导低级别的功能，以更好地响应改进的功能地图和更准确地突出感兴趣的区域。在消融研究期间验证了双重注意（dA）机制的有效性。4. 最后，在收集的私有数据集和三个公共数据集上进行了多个实验;结果表明，我们的MDA-Net在乳腺病变分割任务上优于竞争对手。此外，我们提出的MDA-Net与非深度学习方法进行了对比测试，结果验证了我们的方法能力。此外，我们的方法也测试了乳腺磁共振成像（MRI）数据集上，以验证不同的模态网络的意义。A. Iqbal和M. 谢里夫沙特国王大学学报72855. 我们提出的方法实现源代码是乳腺病变分割的新研究人员很少免费提供的代码之一论文的其余部分安排如下：我们的第2节介绍了相关的工作。第3节详细介绍了所提出的方法，并给出了详细的数学解释和可视化表示。第4款.分享实验设置和结果。最后，第5节和第6节给出了全面的讨论和结论。2. 相关作品文献中已经存在几种乳腺病变分割技术。为了详细理解的目的，用于分割乳腺病变的各种技术和方法被进一步分成六个子部分。2.1. 主动轮廓法在（Yu-LenHuang和Dar-Ren Chen，2005）中，该研究提出了一种有效的超声检查中乳腺病变的自动轮廓绘制方法。分割模型综合了无监督分水岭变换和主动轮廓法的优点。在临床诊断中，形状信息和表面测量是有用的。这种自动化的方法节省了大量的时间，精确地绘制轮廓。在论文（Rodtook和Makhanov，2013）中，第一模块将扩散执行为边缘图的强度的多项式函数。第二模块是对矢量场进行定向评分。与先前提出的标准方法相比，所提出的方法产生更好的精度结果。2.2. 基于数据的方法研究人员（Joo等人， 2004）研究提出了一种CAD系统，使用基于人工神经网络的不同超声特征来识别乳腺结节恶性肿瘤。这些特征取自超声图像，以确定乳腺结节与恶性病变或良性病变有关该CAD系统提高了乳腺病变超声分割的特异性。同样，Chang等人， 2005年提出了一种CAD系统，该系统可以为筛查恶性和良性乳腺病变提供可靠和准确的诊断。利用六种不同的形态学特征来识别感兴趣区域，并利用支持向量机对良恶性病变进行分类在研究中（Ikedo等人，2007）引入了使用超声图像进行较大体积病变分割的CAD，以升级筛选过程。此外，边缘检测方法被证明有助于定位超声图像中的肿瘤肿块。在一项研究中（Shan等人，2008）设计了一种全自动区域生长乳房分割，其支持鲁棒的自动种子点选择机制。提取了图像的同质纹理特征和空间特征，定量结果表明了种子选择的鲁棒性。此外，Yap等人，2008年，提出了基于超声的CAD系统来对乳房病变体积中的感兴趣区域进行分类。所介绍的系统取得了优越的效果与以前的基准系统相比。在一项研究中（Xian等人，2015），设计了代价函数，其是具有全局最优的图形表示的，并且基于频域和空域中的病变边界区域细节。在BUS数据库上对分割方法进行了评估，并在面积和边界误差度量方面对结果进行了分析。在研究中（Aja-Fernández等人，2015）使用模糊集将像素分配给各种类通过模糊综合函数。通过软指派，改变了经典的硬指派，并遵循基本的模糊集理论。2.3. 基于加密的方法在研究中（Shan等人， 2012a），该新方法由自动ROI生成、对比度增强、斑点噪声减少和NLM聚类方法组成。在这里，NLM用于乳腺图像分割，结果证明了优越性。实验结果也表明，该方法具有较强的鲁棒性，即使对于复杂的图像和低对比度的图像，也能找到正确的病灶边界。Lo等人，2014年提出了一种模糊c均值聚类方法，用于从超声图像中检测乳腺肿瘤。此后，可以使用线性逻辑回归来近似这些分类图像的肿瘤相似性。Huang等人，2020提出了一种使用分类和合并多个补丁来分割乳腺肿瘤超声图像的方法。在初始步骤中，从感兴趣区域中裁剪出两个对角点，然后利用直方图均衡化、金字塔均值在第二步中，裁剪后的图像进一步划分为超像素，采用线性迭代聚类方法。最后，从超像素中提取特征，并使用kNN算法执行特征袋和重新分类所得方法的结果与其他传统方法进行了比较。2.4. 基于图的方法提出的（Huang et al.，2012）方法构造了一个图形，并对邻域进行了改进，实现了乳腺病变的精确分割。提出了一种对噪声不敏感的成对区域比较方法，用于确定两个相邻子区域的合并。实验结果表明，与基准方法相比，该方法提高了分割精度。2.5. 基于流域的方法Gu等人，2016提出了一种3D分割方法，可分离乳腺超声检查体积中的不同组织类型。该方法还有助于校正超声体积、图像解释、脉冲回波诊断和声音成像速度。此外，所提出的方法支持乳房成像报告系统，其提供乳房肿块、密度、形状、回波模式、边缘和超声特征中的后肿块的细节。2.6. 深度学习方法在研究中（Su等人， 2021），提出了对经典UNet模型的修改，用多尺度块代替卷积块。利用多尺度卷积序列得到特征图的多样性该模型分别针对超声、皮肤镜、显微镜五个不同的数据集进行了验证该研究（Gao等人， 2021）介绍了一种多尺度融合网络，使用附加通道-空间注意机制乳腺病变分割任务。该方法对于类别不平衡的分割是有效的，并且相对通过引入焦点加权Tversky损失函数来改善精度和召回率的平衡，实验结果表明，本文提出的MSF-ACSA方法比以往的语义分割模型具有更好的分割效果。Xue等人，2021提出GG-Net使用全局引导模块压缩多层上下文细节以确定空间和信道域的长期非局部特征。附加乳房A. Iqbal和M. 谢里夫沙特国王大学学报7286U2xU2YzXXzy利用肿瘤边界图提高分割精度。此外，网络应用程序也验证了对前列腺分割数据集，结果反映了优越性的模型相比，以前介绍的方法。Zhou等人，2021）联合执行了乳腺病变分割和分类任务，以增强这两项任务的结果。该框架由用于分割任务的编码器-解码器网络和用于分类乳腺肿瘤任务的采用迭代训练方案获得更精细的特征图，并利用概率图获得先前的迭代。Lei等人，2020提出了一个框架，该框架由自我注意模块组成，以克服整个乳房分割的挑战。注意力块是压缩的基于通道的注意力和基于空间的注意力子模块，并在编码器块中与ResNeXt合并。加权上采样模块嵌入在扩展块中，以获得类特定的上采样效果。基准测试结果表明，引入的框架优于以前的深度学习框架。上下文信息感知GAN（Singh等人，2020）模型提出了一个有效的乳腺肿瘤分割任务。提出了atrous卷积块来解决用多个atrous速率增加感受野总线分割框架是通过增加通道atten，除了与通道加权块更强大。将结构相似性指数度量和损失函数与对抗训练相结合，以捕获更多周围肿瘤中的局部上下文信息Lee等人，2020提出了一种具有基于通道的注意力块的网络，该网络具有用于乳腺病变分割任务的基于多尺度网格的平均池。新的注意力块使得能够使用局部和全局空间信息。本模型提供了更好的结果相比，竞争对手的基于通道的注意力块和注意力块与全球平均池。该模型可以与CAD系统集成，用于使用超声图像进行准确的乳腺病变分割在这项研究中（Shareef等人， 2020a），ESTAN命名网络被引入用于乳腺超声肿瘤分割任务。该模型基于编码器和解码器部分，在多个层次上捕获和融合超声图像的上下文信息应用行-列式滤波器以更精确地获得乳腺病变信息此外，该网络对较小尺寸的肿瘤敏感，以最低的假阳性率准确地分割较小尺寸的肿瘤。所提出的方法对三个公开的乳腺肿瘤段进行了验证两个3x3滤波器的卷积层经过ReLU运算后，形成网络稀疏性，降低了各个参数之间的相互依赖性，防止过拟合。然后，通过两次卷积和最大池化的ReLU运算提取主要特征图，缩小特征图的规模跳过连接部分将编码路径桥接到网络的解码路径，传播有用的信息，并澄清结果。在经典的UNet架构中，唯一的聚合用于与编码层和解码层相同规模的不同特征映射。由于感受野的限制，经典结构在特征提取和恢复过程中表现不佳为了解决感受野限制问题，MF块被嵌入作为所提出的工作的编码器路径中的替换。提出的网络编码器路径由四个下采样步骤组成，用于高级语义特征提取。编码器的每个块分别利用[64，128，256，512]个通道。之后，病变注意，通道注意，和双注意（DA）块的介绍，专注于更有意义的信息的区域感兴趣的乳腺病变图像。此外，病变注意和通道注意块的目的是使用两点特征之间的关联来相互增强它们的接受特征的表达在损伤注意 （ lA ） 和 基 于 通 道 注 意 （ cA ） 的 联 合 阻 断 中 引 入 了 双 注 意（dualattention类似地，我们的解码器路径采用四个上采样步骤来将特征图恢复为原始形状。此外，恢复特征映射还解释编码器的捕获特征以预测目标分割掩码。3.1. 多尺度融合块传统的基于编码器-解码器的架构限于固定的感受野，这必然会错过具有不同形状和大小的乳腺病变的空间信息（De Brabandere等人，2016年）。受（Luo et al.，2017 a; Shen等人，2019; Su等人，2021; Byra等人， 2020）的研究人员，我们引入了一个多尺度融合（MF）块，如图所示。 3.，其具有使用多尺度卷积和融合特征图机制的动态感受野，以有效地解决各种各样的乳房病变此外，MF块还使我们提出的方法能够灵活地检测缩放和变换，并提供更好的乳腺病变分割的辅助效果。站数据集。Chen等人，2016年提出多领域定期-深度学习模型，以减少由于f1×1的初始三个卷积s1 ，f3×3s1 得双曲正弦值.Uz2f5×5分别应用于输入Cx、Cy和Cz哪里医学数据集的有限可用性此外，一个完全（S1基于卷积网络的框架被用于端到端学习，其改进了超声图像的检测和分割。在解剖结构检测超声数据集上进行了大量的实验，结果表明，该方法优于其他方法。3. 该方法由于其在生物医学分割任务中的出色基准结果，编码器-解码器架构被用作乳腺病变分割的主干。拟议的MDA-NetU）符号表示卷积，（s）表示步幅值，（f）分别表示等于U，1x1，U，3x3和U，5x5的各种内核大小。描述了完整的数学方程在当量（1）、2,和3,分别Where（*）表示卷积运算，WT2RFx×Fint;WT2RFy×Fint;W T2RFz×Fint是卷积层的权重，wx，wy和wz 是偏差因素。这里显示了批处理规范化作为（），ReLU表示为（r）符号，它是预定义的因为r（x）= max（o，x）。C x0¼rx.X.Uxω。Cx：WTwx1C y01ry.y.Uyω。Cy：WTw2架构展示在图。 2，其中多尺度融合（MF）yy块中添加了双注意（dualattention， DA）块，以获得注意力经典UNet模型也基于基于编码器-解码器的架构，并且包括三个不同的部分：（i）编码器路径，（ii）解码器路径，（iii）跳过连接以连接两个路径。经典的UNet包括Cz0¼rz.z.Uzω。Cz：WTwz3三个单独的感受野被提取为C x0、Cy0和C z0。特征融合过程是用函数A. Iqbal和M. 谢里夫沙特国王大学学报7287bb b bb b bihibbb b b bXX1s1HxxWxi！1你好！1.- 是 的..ΣΣΣM1/1b¼每个通道的特征通过以下方式放大或缩小：图二. MDA-Net覆盖乳腺超声图像的示意图。整个架构由一个基于编码器-解码器的机制组成，几乎没有修改。编码器和解码器路径分为四个不同的尺度。多尺度融合（MF）块和双注意力（DA）块在所提出的架构中的增加，提高了感受野，并提取更详细的信息，使用不同的卷积操作。图三.多尺度融合块的语义描述，以提取更丰富和多样化的特征：（1）使用多个1x1，3x3和5x5卷积操作从乳腺病变图像中捕获相关特征。(2)使用函数f融合所有三个卷积特征。(3)使用1x1卷积操作对融合特征执行模糊性降低。fCAT，如等式中所述。（四）、在这里，（.）符号表示三个不同感受野之间的协调操作f0¼fCATCx0：Cy0：Cz0量程4量程见图4。所提出的通道注意力（CA）块的结构，其中Fg和Fx表示低级和高级输入特征。Fx¼UxωFx7其中Ug21×1×m×t和Ux21×1×n×t表示它们的U，1x1卷积，（*）表示卷积运算.Subse-接下来，使用基于平均值的池化和最大池化来产生通道级特征向量，如下所示Zg1;Zg2;Zg3：：;Zgt和Zx1;Zx2;Zx3：;Zxt。这里，第k个元素表示如下，并且对每个通道映射执行空间挤压操作H：gW：g对三个不同感受野的乘积f '进行Uf02f1 ×1卷积，得到最终的特征图数学方程见Eq.（五）：Zbgk<$Hg ×Wg我！1你好！1H：xW：xb、F、g、k、i、j、2008年f00 1/4Uf 0ω。f0ð5ÞZbxk¼1XXbFxki;j93.2. 通道注意块在我们的基于通道的注意力（cA）块中，编码器路径的特征通道由图像的低级细节组成，解码器路径由图像的更多语义细节组成。因此，通道注意力增加了显着的重要性，我们的乳腺病变分割任务。此外，最有用的特征通道，利用自动引入通道注意指出重要的特征通道和抑制不重要的通道。 通道注意（c A）块如图所示。 四、我们正在考虑cA块F1/4的输入其中，Fgk=i;j+和Fxk=i;j+表示特征图Fgk和Fgk中特定位置（i和j）处的像素值，分别平均极化和最大池化空间信息被存储到向量zx和g。此后，将两个向量变换为V（Fx，F），其表示每个通道令W1和W2表示两个U，1x1卷积层的权重。相应的操作可以定义如下：F c¼V F g;F x 1/4dW2rW1 z gzx 10其中，Leaky ReLU和sigmoid可以被描述为f（x）= max（x，leak×x），并且ffgigi¼1 和Fx¼ffxignG作为渠道的组合，exp通过将注意系数乘以原始输入Fx'来F g2RHg×Wg 和F x2RHx×Wx 分别表示。最初，U，1x 1 convo-对Fg和Fx进行 求解 ，得到 bFg¼GIXXiacFcF0x11nfcotbFnfcot分别 数学歌剧-通过下面的等式来表示。（6）和（7）。cFg<$Ugω。Fg2016年6月使用权重的归一化这个渠道的过程有助于揭示高度特征性的特征并抑制较不特征性的特征。B1/11/1A. Iqbal和M. 谢里夫沙特国王大学学报7288ebø× ×××一GLCGX我我我G我GFl¼dgirgi BGI UgiωWg0FgWi0FiwgiLBb3.3. 损伤注意阻滞病变注意块用于减少特征响应和抑制不相关的背景区域。其主要目的是降低较小形状目标的误检率，提高形状的可变性。在网络中使用四个病变注意块来提取四种不同的分辨率信息。所提出的病变注意（IA）块如图1B所示。 五、IA模块的输入信号由三部分组成：Fg代表低电平和高电平信号Fi，Fx是MF模块的输入信号。这在数学上可以表示为：高级特征表示为Fx。此外，所提出的dA模块的左侧是基于通道的注意机制的一部分，并且该模块的右侧参考基于损伤的注意机制。参考方程式（16）和（17），Fc和F分别是cA块和lA块的当前输出。MC表示注意提取在通道退出中的操作。输出集的大小为1x1 t。是病灶注意力提取 输出为H D 1。应该注意的是，和参考分别是元素和通道乘法。eFc¼Mc.Fg;FxF0x16F g0¼bg.Ugω。WTFgwg12Fb¼M。eF;Fð17ÞF i0½b.Uiω。WTFi13综上所述，cA块和lA块是相辅相成的通过促进特征提取过程。同样，dA其中Wg2RFg×Fint;Wi2RFi×Fint表示线性变换w，w表示偏置项。这里，U21×1×m×t，块通过突出显示相关信息并抑制不重要的信息来提高特征表示能力信息.Ug21×1×n×t 表示1x1卷积核，批量归一化bg和bi。随后，为了捕获特殊信息，F g0和F i0通过等式（1）级联在一起。其中，rgi对应于泄漏ReLU函数f（x）= max（x，leak×x），并且dgisigmoid函数用于归一化特征地图与dx11x4. 实验和结果本节描述了实验和结果，在不同的乳腺病变超声和MRI数据集上进行，以验证我们的方法B..exp..T0T0ΣΣΣð14Þ4.1. BUS数据集最后，对Fx进行Ux21×1×n×t卷积，并与F相乘。注意力系数矩阵a作为原始输入图像被未采样到原始大小。al¼bFlbxUxωFx00wx153.4. 双重注意阻滞双重注意力块是分别表示为IA和CA块的病变和通道注意力块的混合。c A和l A区组已在3.2、3.3节中介绍，并在图3中表示。 四、 和图五、混合注意力提高了特征表示能力，自适应学习高级特征的区分表示。双重注意还使用高级别特征来修剪病变注意和通道注意中的低级别特征的响应。更有用的注意系数与显著系数相乘，以自适应地聚焦于不同的病灶注意和通道注意内容。该块可以区分通道能力和学习相邻像素之间的高度相关性，突出特征图中的感兴趣区域并抑制不需要的背景信息。所提出的d-A块在图中以图形表示。 六、低级特征的输入表示为Fg，并且图5.病变注意（IA）块的示意图细节，其中Fg、Fi和Fx表示低级别和高级别输入特征。为了观察我们的MDA-Net的有用性，我们在四个乳腺病变数据集上对其进行了评估和测试。所有数据集都是在不同的采集时间用不同的乳腺超声成像设备采集的。在我们的实验中使用的这些数据集在下面的部分中简要地详细描述。UDIAT数据集-该数据集由西班牙Sabadell的UDIAT诊断中心共享（Yap等人，2018年）。超声图像由Siemens ACUSON SequoiaC512系统17L5 HD线阵换能器（8.5 MHz）采集，其中109个患者超声图像属于良性肿瘤，54个图像属于恶性乳腺肿瘤。ROI的所有真实图像都由经验丰富的放射科医生标记，并以二进制掩码的形式提供。超声图像和地面真实掩模的平均分辨率为760 570像素。BUSIS数据集-该数据集超声图像由哈尔滨医科大学医院、青岛大学医院和河北医科大学医院提供（Xian等人，2018年）。用于拍摄这些图像的设备是LOGIQ E9、Hitachi EUB-6500、GE VIVID 7、Philips iU 22和西门子ACUSON S2000。数据集大小为562张超声图像，分辨率为550x457像素。放射科专家手动注释数据集，但数据集未在良性和恶性病变之间分类。私有数据集-数据集从UltrasoundCases获取。所有乳房超声图像均由SonoSkills和Hitachi Medical Systems Europe拍摄。我们收集的超声图像数据集包含811张图像，358张良性病变图像和453张恶性病变图像。提供的超声图像没有地面实况图像，这对于模型的训练目的是必不可少的。经验丰富的资深放射科医生对这些超声乳腺病变图像进行手动注释。RIDER乳腺MRI数据集-该数据集是由健康（无病变）和健康（有病变）MRI扫描组成的图像集合该数据集归美国所有●●●●BA. Iqbal和M. 谢里夫沙特国王大学学报7289fbeð Þ ð Þ ð Þ ð Þ图六、双注意（dA）模块的原理图细节，其中Fg和Fx表示低电平和高电平输入特性。 Mc（F）是表示逐通道注意机制的子部分，并且病变注意子部分被表示为Ml（F）。通道式和损伤式注意力的输出分别表示为Fc和Fa。国家癌症研究所，和MRI扫描从国家生物医学成像网站（癌症成像档案，2015）下载。该数据集由5名患者的1500张扫描图像组成，并提供了一个分段掩模作为数据集中的标签。原始DICOM格式图像转换为PNG格式。对于我们的研究目的，只有90不健康（病变）的图像和他们各自的面具被选中进行详细的实验。4.2. 数据集扩展深度卷积神经网络模型需要足够数量的标签数据集用于网络的训练过程。我们的BUS数据集包含几百张图像，这是为了满足CNN模型的训练要求。标记医学数据对于放射科专家来说是一项非常耗时且费力的任务。因此，手动执行数据扩展以增加标记的数据集大小。数据集通过旋转（90 °，180 °，270 °），转置和缩放方法扩展，而不会丢失医疗特征。然而，这些传统方法对于所有分割任务不是很有效（Havaei等人，2017年）。CLAHE算法用于减少图像背景信息的丢失，提高图像对比度。CLAHE算法将传统的增广方法与CLAHE算法相结合，将数据集规模扩大了5倍，实现了训练数据集的多样性。4.3. 对比度受限自适应直方图均衡直方图表示图像像素值的分布，直方图的均衡化表示图像像素的重新分布。此外，直方图均衡展开图像像素的不同强度范围或拉伸图像的最频繁强度以增加所提供的图像的对比度。主要是输入图像的图7.第一次会议。直方图分布：CLAHE前后步骤中，图像被分割为不重叠的恒定区域，每个区域窗口大小设置为4x 4。得到每个区域的直方图，并使用阈值对图像的直方图进行裁剪。变换函数的斜率通过计算累积分布函数Eq. （十八）、假设某些图像的灰度范围为{0，m-1}，灰度级为M. 设pr（ri）为灰度像素概率，k = 0，1，.m- 1表示第k个灰度级。K K在拉伸图像的强度值的情况下改变的G<$C rk<$Xpri<$Xmi;其中06G61 18提出了一种自适应直方图均衡化算法（AHE），将输入图像分割成小块，并对每个小块R1/4i½0m瓷砖计算。同时，它对应于输入图像的各个部分，并为每个标题导出 强 度 重 映 射 函 数 。 由 于 这 种 方 法 的 过 度 放 大 CLAHE 方 法（Zuiderveld，1994）是AHE方法的改进版本，通常用于灰度图像的对比度增强任务。CLAHE方法的工作原理类似于AHE，但它使用插值来加速直方图，并在计算累积分布函数之前以特定强度裁剪直方图以处理放大。上重新定位像素值，并分布同样低于直方图。该算法对输入图像的各个区域进行局部直方图均衡化，并采用线性插值进行像素重建。设某点P的灰度值为S，执行线性插值后的像素为S。相邻Pn的灰度级映射S分别为GP1S、GP2S、GP3S、：GnS对于角点像素，新的灰度值类似于S地区。如Eq.（十九）、A. Iqbal和M. 谢里夫沙特国王大学学报7290¼×Peeeeð··Þei¼1p：1/1eeejGPjeel骰子1/4-i/41在阈值（w> 0.5）处计算的结果。 这些分割e;1/1我也就是我们建议的注意力块，它结合了cA和lA，S¼GP1S19对于图像的边缘像素，最新的灰度值是精密度¼TpTp00 Fp0ð24Þ相邻区域的两个样本的S的灰度映射的插值如等式（20）.eS¼1-aGP1SaGP2S20召回率表示被正确识别为预测掩码的像素数量与互联网的实际区域像素其可以定义为：对于图像的中心像素，最新的灰度值为相邻四个样本的S灰度映射插值无聊的地区如Eq. （21）下文：召回Tp0Tp0μFn0ð25ÞeS 1-b。1-aGP2Sb.1-að21Þ关于点P1，这里，a和b是归一化距离。Hausdorff距离（HD）计算预测和地面距离真理在度量空间中彼此分离。数学表示由以下等式表示：（二十六）HD¼ma x.H.Gei;Peii;H.Pei;Gei;图7示出了在实施之前和之后的输出结果，CLAHE算法4.4. 实现细节其中H.Gei;PeiMaxe2@Gif2@ePi2016年12月26日所有实验都使用PyTorch库进行，模型在第10代英特尔i5处理器、16 GB RAM和带有8 GB专用内存的单个NVIDIA RTX 2060Supper图形卡上进行训练和测试在优化过程中，采用了Adam优化器，动量比为0.9。我们设置了一个1 e-2的开始学习率，并以5个epoch的耐心动态地降低它。超声和MRI数据集的批量大小分别设置为8和4所有四个数据集都从零开始训练了100个epoch。所有数据集都是从多个来源收集的，并且由不同的分辨率大小组成。输入图像和地面实况图像被重新采样为128 × 128分辨率，图像像素值在[0 1]之间归一化。采用五重交叉验证方案进行实验，分析训练模型的性能。每个折叠训练和验证数据分为五个子集。模型的训练和验证过程采用[4：1]的统计比4.5. 评估指标其中，Gi表示图像的二进制地面真值，Pi显示预测结果。 其中@ G i是Gi;d;是两个不同点之间的欧几里得距离。接近1的结果表示最佳预测结果，并反映预测的分割输出更接近于提供的地面实况图像。4.6. 损失函数通常，乳房病变像素在关于健康组织像素的超声图像中保持较小的感兴趣区域，并且产生类别不平衡问题。网络是用不平衡的数据集训练的，学习可能会陷入局部最小值。训练后的网络的预测结果强烈偏向于大多数类。最终，感兴趣的病变区域被遗漏或部分检测到。通常，骰子损失是直接优化评估指标的函数。因此，减少了类不平衡的负面影响，以引入骰子损失函数，表示为等式（27）。这里，求和运行N个pixels over predicts probabilistic map p i 2个P 和Ground Truth掩模gi2G。 这里P<$fpi2<$0;1<$gNanedG¼fgigN是输出在本研究中，采用各种指标来评估每个网络的有效性分割结果与提供的地面实况图像进行比较。我们用骰子最终的逐像素S形模型和二进制地面真值。1 ×2PN1/1我咿呀咿呀在我们的研究中，精确-召回和Hausdorff距离（HD），1个PN ep2PN G2指标是被广泛采用的评价结果的度量标准生物医学成像中的分割模型（Polak等人，2009年）。值得注意的是，在我们的研究中，DSC和F1-score是等价的，被认为是精确-回忆的调和手段。此外，DSC表示用于计算预测结果和地面实况的相似性的集合相似性测量函数，其可以定义为：4.7. 消融实验在本节中，在我们提出的MDA-Net上进行消融实验。采用不同注意机制组合的逐步比较法，分别证明通道注意、病灶注意和双注意阻滞的总体有效性。所获得的结果显示在.2jGei\Peij我我2TP0表1-4. 其中（bl）意指基线，（IA）意指病变关注，DSC Ge;Pe1/4FP02TP0FN022（cA）表示信道注意，（dA）表示双注意块，Jaccard也被称为交集，它定义了一个两组预测掩模和地面实况图像的交集的比率，其表示为：个街区.最佳结果（以平均值±标准差表示）以粗体显示，并且第二好的结果以下划线表示所有这些值代表五重交叉验证结果。JS C.Ge;PejGei\PeijTP0我我ð23Þ4.7.1. 基线的影响在这个比较中，我们介绍了MDA-Net没有任何atten-jG[P] j精度或真阳性率表示正确分类的像素与所有预测掩码中的像素数量的比率，可以定义为：测试我们注意力机制的有效性-nism。可以很容易地观察到，在表1中，基线方法在UDIAT数据集上获得了第二好的性能，Jaccard、Dice和AUC分别为0.7739、0.8647和0.8647。e相似系数（DSC），Jaccard相似系数（JSC），ð27ÞTp0Fn0Fp0.minA. Iqbal和M. 谢里夫沙特国王大学学报7291表1在UDIAT数据集上对基线（bl）网络和各种注意力块（lA