计算机辅助诊断（CAD）：乳腺癌多尺度特征融合深度学习模型的研究

沙特国王大学学报MultiNet：通过多尺度特征融合Saikat Islam Khana，Ashef Shahriora，Razaul Karima，Mahmodul Hasana，Anichur Rahmanba部。孟加拉国坦盖尔Mawlana Bhashani科技大学计算机科学与工程系b部 孟加拉国达卡萨瓦尔国家纺织工程研究所计算机科学与工程系阿提奇莱因福奥文章历史记录：2021年3月25日收到2021年7月12日修订2021年8月2日接受2021年8月17日网上发售关键词：乳腺癌CADDenseNet-201NasNetMobileVGG16特征融合A B S T R A C T由病理学家手动进行的活检组织图像的乳腺癌诊断是昂贵的，耗时的，并且专家之间存在分歧。随着计算机辅助诊断（CAD）系统的发展，病理学家可以更可靠、更快速地识别乳腺癌，因此，基于CAD的深度学习模型受到了越来越多的关注。在这项研究中，我们提出了一个所提出的在所提出的框架中，使用三个众所周知的预训练模型，包括DenseNet-201，NasNetMobile和VGG 16，从显微图像中提取特征。然后将提取的特征馈送到级联层，从而形成鲁棒的混合模型。建议的框架产生99%的整体分类准确率在两个类别进行分类它还实现了98%的分类准确率分类四类。这些有希望的结果将提供使用“MultiNet”框架作为诊所和医疗保健诊断模型的机会版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY许可下的文章（http://creativecommons.org/licenses/by/4.0/）。1. 介绍乳腺癌是全世界20至59岁年龄组女性癌症相关死亡的最主要原因（Bray et al.，2018年）。恶性（癌）细胞在组织内聚集成组，形成一种称为肿块的异常，然后这些细胞扩散到全身，进入血管。这些癌细胞通过在体内迁移，损害其他组织和器官。在最近的研究中，已经发现在女性中所有新诊断的癌症病例中有29%预计是乳腺癌（Siegel等人，2012年）。即使是男性也有患乳腺癌的风险。据估计，*通讯作者。电子邮件地址：gmail.com（S.I.Khan），ashahrior.cse. mbstu@gmail.com（A.Shahrior），razaulce15004@gmail.com（R.Karim），mahmo-dul. gmail.com（M.Hasan），anis_cse@niter.edu.bd（A. Rahman）。沙特国王大学负责同行审查到2020年，美国将有大约2,620名男性被诊断出患有乳腺癌，大约520例可能是致命的（乳腺癌事实，2021）。如果在早期诊断出乳腺癌，预计其存活率将提高到80%（W.H. Organizationet al.，2014年）。乳房X线照相术和活组织检查是用于乳腺癌检测的两种常见诊断方法，其中放射科医生和病理科医生检查乳房图像和感染的组织样本，以通过肿瘤识别和分类来检测乳腺癌的早期症状（Chetlen等人，2016年; Bhargava和Madabhushi，2016年）。组织病理学，即组织结构的研究，是一个繁琐的过程，需要非常有经验的病理学家使用显微镜手动检查组织样本以确定疾病。病理学家通过活组织检查对病变进行二分类：良性和恶性。通过组织学，区分正常、良性和恶性病变的复杂且具有挑战性的识别成为可能，从而能够进行预后评估（López等人，2012;Pöllänen等人， 2014年）。通过组织病理学图像的基于颜色和纹理的特征执行分割和分类任务（Szczypi n'ski等人， 201 4）。在组织病理学图像分析中，不同的病理学家之间感知到不同的解释https://doi.org/10.1016/j.jksuci.2021.08.0041319-1578/©2021作者。由Elsevier B.V.代表沙特国王大学出版。这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comSaikat Islam Khan，A.沙赫里奥尔河Karim等人沙特国王大学学报6218（Robbins等人， 1995年，产生了矛盾的结果。人工评估WSI的困难为计算机辅助诊断（CAD）方法奠定了基础（Komura和Ishikawa，2018）。用于组织病理学图像的算法在医学图像分析中迅速发展，但是为了获得有效和高度准确的结果，具有自动化方法仍然是至关重要的（Irshad等人，2013; Veta等人，2014; McCann等人， 2014年）。传统的和经典的机器学习模型被用于各种问题领域。已经进行了不同的挽救生命的研究，包括医学脑MRI图像处理以识别阿尔茨海默病（Karim等人， 2021）和水质测量（Khan et al.，2021年）。但是，在用于分析数字组织病理学图像的经典机器学习方法中，诸如预处理、分割、特征提取等任务的动态性质已经引入了深度学习框架，以通过以完全端到端的方式自动执行提取任务来解决传统机器学习技术的问题，并从低到高级别学习输入图像的整体特征以用于分类过程（LeCun等人， 2015年）。 深度学习方法最近在各种领域取得了显着的成就，例如图像分析（协作，2018），信号处理（Yildirim等人，2019），语音识别（Aytar等人，2016）、人脸识别（Liu等人， 2015）、脑MRI（Pereira等人， 2016）和肺和肝脏疾病的CT图像诊断（Gao等人，2018年）。基于深度迁移学习的组织病理学成像应用在多项任务中表现出色（Talo，2019）。在这项工作中，我们提出了一个自动化的乳腺癌分类系统，使用该框架用于对二元（良性和恶性）和多类（良性、原位、侵入性和正常）乳腺显微镜图像进行分类。我们使用三个CNN预训练模型，包括DenseNet-201，NasNet-Mobile和VGG 16，用于从显微镜图像中提取特征。之后，我们使用连接层将所有功能组合在一起。然后使用两个密集层、两个批量归一化层和两个dropout层对融合特征进行微调，其中具有softmax激活函数的最终密集层用于分类任务。钥匙本-本工作的成果总结如下：“MultiNet”框架提供了无需分割的特征提取技术，相对于传统的机器学习方法，该技术该框架在良性图像上实现了显著的性能，并且不会对任何恶性图像进行错误分类。The ‘‘MultiNet” framework performance is evaluated on bothlarge 结果表明，我们的框架是胜任在这两种情况下实现高性能。组织：论文的其余部分形成如下：在第2节中，我们讨论了文献综述。之后，在第3节中详细解释了拟议的实验装置和结果在第4节中详细介绍。第5节显示了比较结果分析和未来方向最后，在第6节中得出结论。2. 相关作品关于组织病理学的自动检测和分类，已有大量的文献发表图像来检测多种类型的乳腺癌。这些作品中的许多提出了图像处理和机器学习技术，探索了许多特征，如色调、图案或形态纹理。不同方法的效果因所采用的模式和计划的培训战略而大不相同。在本节中，对这些作品进行了简要的讨论。Nadia等人提出了一种深度学习技术，用于检测乳腺组织学图像中最常见的乳腺癌亚型浸润性导管癌（IDC）和淋巴瘤亚型的分类在这两种情况下，他们都应用了残差CNN，并将其与UNet和ResNet架构进行了比较。他们提出了一种基于残差CNN和softmax分类器的SEF方法，以解决避免手工制作病理特征的两种情况，最终获得了97.06%的准确率（Brancati例如，2019年）的报告。在另一项相关工作中，Yusuf等人提出了一种使用深度迁移学习器策略的IDC方法的自动检测，该方法具有两个CNN预训练模型，包括来自公共组织病理学数据集的277，524个图像块上的ResNet-50和DenseNet-161（Celik等人，2020年）。在这里，DenseNet-161和ResNet-50分别达到了91.57%和90.96%的准确率，只有模型的最后一层用于训练。在另一项关于新CNN架构的工作中，所提出的模型包括15个卷积层和两个全连接层，并对六个不同的激活函数进行了比较分析（Kandel和Castelli，2020）。所使用的数据集PatchCamelyon包含220，000张用于训练的注释图像和57，000张用于测试的未注释图像在本研究中，所开发的除了Araujo et al.将苏木精和伊红染色的乳腺活检图像分类为四类，例如正常组织、良性组织、原位癌、浸润性癌，以及使用CNN和支持向量机分类器提取的特征的癌和非癌的另一种二元分类（Arauo等人，2017年）。四类分类的准确率为77.8%，二分类的准确率为Talo等人，在他提出的方法-病理学中，应用了两个CNN预训练模型，包括灰度和彩色组织病理学图像上的ResNet-50和DenseNet-161（Talo，2019）。DenseNet-161在灰度级图像上表现良好，准确率为97.89%。另一方面，ResNet-50对彩色图像显示出最好的结果，最高分类准确率为98.87%。此外，Khan等人利用迁移学习的概念来接近深度学习框架（Khan等人，2019年）的报告。在这里，使用CNN预训练架构（如GoogLeNet，VGGNet和ResNet）从乳腺细胞学图像中提取的特征使用迁移学习方法进行组合集成架构产生了更好的结果比每个架构单独与97.52%的准确性他们还应用了不同的数据增强技术来增加数据集大小并解决过拟合问题。在Motlagh et al. （2018），比较了几种ResNet模型的性能，其中ResNet-V1-152模型在3000 个epoch的情况下获得了99.6%的总体准确率的最佳结果。Wang等人 Wang等人（2018）通过应用具有分层损失和全局池化的深度学习方法，对组织病理学图像中的四种类型的乳腺癌进行分类。在这里，他们使用了400张测试图像的数据集，其中VGG-16和VGG-19模型被用作深度学习结构，并达到了92%的平均准确率。Dimitropoulos等人提出了一种方法，他们通过将组织病理学图像编码为Grass-mann流形上的VLAD来 他们用自己的数据集和BreakHis数据集获得的实验分类率分别为95.8%和91.38%（Dimitropoulos et al.，2017年）。Karthiga等人在他们利用k均值聚类执行分割的工作中，应用DWT（离散小波变换）来执行分类，●●●Saikat Islam Khan，A.沙赫里奥尔河Karim等人沙特国王大学学报6219××提取的子带。他们在Break- His数据集上实施的方法在线性SVM中的准确率为93.3%，在二次SVM中为92.7%，在精细高斯SVM中为91.3%（Karthiga和Narasimhan，2018）。Nahid等人提出了一种新 的 DNN 技 术 ， 包 括 卷 积 神 经 网 络 （ CNN ） 、 长 短 期 记 忆（LSTM）以及CNN和LSTM的组合，用于使用BreakHis数据集进行乳腺癌图像分类。利用Softmax和支持向量机（SVM）的决策提取的特征通过该实验获得的最佳结果如下-在200个数据集上的准确度为91%，在40个数据集上的精确度为96%（Nahid等人， 2018 年 ） 。Alzubaidi等人 在他们的工作中，采用迁移学习来解决和优化训练数据缺乏的挑战，并将苏木精-伊红染色的乳腺活检图像分类为四类：显微镜ICIAR-2018数据集的测试集上的浸润性癌、原位癌、良性肿瘤和正常组织，图像分类准确度为96.1%（Alzubaidi等人， 2020年）。Roy等人提出了一种基于块的分类器（PBC），使用CNN和两种不同的模式：OPOD和APOD。他们使用了ICIAR 2018乳腺组织学图像数据集，其中包括4种不同的类别-正常、良性、原位和浸润性癌。在ICIAR-2018的隐藏数据集上，他们的总体准确率为87%（Roy等人，2019年）的报告。Yao等人在他们提出的深度学习模型中使用了两种不同类型的神经网络-CNN该模型使用三种不同类型的数 据 集 进 行 了 测 试 -BACH 2018 ， Bioimaging 2015 和 ExtendedBioimaging 2015。该实验产生了97.25%的准确度（Yao等人， 2019年）的报告。3. 拟议方法本节说明了如何通过集成不同的多尺度迁移学习模型来对显微乳腺图像进行分类。 图1展示了在此分类中使用的建议的这个框架从提取图像和从数据集中加载标签开始。在分割数据集之前，需要进行一些预处理. 之后，执行广泛的数据增强技术以增加数据集大小。最后，我们分别在Break- His和ICIAR数据集上训练模型，并评估所提出的方法。“MultiNet”框架使用测试图像。 与拟议框架有关的各块的细节见以下各小节。3.1. 数据集在这项工作中，我们使用两个公开的数据集来评估乳腺癌检测中提出 的 “MultiNet” 框 架 。 第 一 个 来 自 乳 腺 癌 组 织 病 理 学 数 据 库（BreakHis），可在线获得（乳腺癌组织病理学数据库，2021）。该数据集包括7909个显微乳腺肿瘤图像，其中2480个图像是良性的，并且其他5429个图像是恶性的。良性肿瘤包括腺病、纤维腺瘤、叶状腺瘤和管状腺瘤4种。本数据集中使用的恶性肿瘤为癌、小叶癌、粘液癌和乳头状癌。采用40、100、200、400倍放大倍数对82例患者进行了显微镜图像分析。所有显微镜图像都是按患者而不是按图像选择的，因此来自相同患者的图像不会分布在训练集和测试集中。这种分布将有助于避免信息泄漏问题，并使预测更加有效。第二个数据集是ICIAR 2018Grand Challenge数据集，也可以在线获得（Iciar，2018）。该数据集由400张HE染色的乳腺组织学显微图像组成。ICIAR数据集分为四个主要组，包括正常、原位癌、良性和浸润性癌，其中每组包含100个乳腺显微镜图像。图2显示了从两个数据集中提取的图像样本。表1分别列出了BreakHis和ICAIAR数据集的其他详细信息。3.2. 数据预处理阶段在将图像馈送到微调的多尺度迁移学习模型之前，已经采用了几个预处理步骤（见图3）。BreakHis数据集中的所有显微图像都是.png格式，具有三通道RGB，其中每个通道的深度为8位。这些图像有700 460像素，我们根据迁移学习概念减少了224 224像素。我们将所有图像转换为Numpy数组，以便模型Fig. 1. 提出了用于显微乳腺图像分类的Saikat Islam Khan，A.沙赫里奥尔河Karim等人沙特国王大学学报6220×××图二. 来自BreakHis和ICIAR数据集的样本图像。可以更快地训练，占用更少的内存空间。之后，我们对图像进行了洗牌，以便模型可以在一些无序数据上进行训练。该数据集分为三个步骤，分别包括训练、测试和验证。在这项工作中，70%的数据用于训练，另外30%的数据用于验证和测试目的。几种数据增强技术出于不同的原因而执行，包括增加数据集大小、解决过拟合问题以及使模型更鲁棒（Wong等人，2016年）。在执行数据扩充策略后，该数据集从7909增加到54403。数据扩充策略的更多详情见表3。另一方面，ICIAR数据集中的所有显微图像都是.tiff格式，我们已经将其转换为. jpeg格式。我们从1536年开始缩小图像的维度2048像素到224 224像素，根据迁移学习概念。在此之后，我们遵循与使用BreakHis数据集相同的方法。ICIAR数据集中的图像数量从400到2560之间的数据。 表2显示了数据执行增强技术后数据集的其他详细信息。3.3. 建立多尺度迁移学习模型多尺度迁移学习模型是通过结合三个著名的CNN预训练模型构建的，分别包括DenseNet-201，NASNetMobile和VGG 16。那些模型分别从乳房显微图像中提取低级特征，然后使用完全连接的层将它们组合起来用于分类任务，如图3所示。集成的特征表示高级功能，诸如显微图像的锐化、模糊、纹理和梯度方向（Khan等人，2021年）。在结合了所有功能之后，所提出的“MultiNet”框架具有37，767，702个参数，分别是DenseNet- 201、NASNetMobile和VGG 16架构的3倍、9倍和3倍。每个采用的CNN预训练模型的基本结构和微调过程在以下小节中描述3.3.1. 密集卷积网络（DenseNet）DenseNet预训练模型最早由Huanget al.（2017）开发，该模型在2017年的CIFAR- 10、CIFAR-100和ImageNet数据集上具有最佳的分类精度。该模型的开发类似于ResNet架构，其中每一层都被前馈到其他层。这种连接使网络能够在模型中共享重要信息，这将使网络训练更有效，并提高网络性能（Hao和Zhang，2019）。在这项工作中，我们使用DenseNet-201预训练模型作为我们的第一个特征提取器。该模型由总共201个深度CNN层组成，其中每个层都以这样的方式排列，以便在处理小数据集时可以解决过拟合问题。此外，DenseNet-201模型通过解决梯度下降问题（Lumini和Nanni，2019）为ImageNet数据库提供了显着增强。与AlexNet、GoogLeNet和ResNet架构相比，DenseNet-201预训练模型将获得更复杂和更重要的特征，因为该架构中包含更深的CNN层3.3.2. NasNetMobile谷歌机器学习小组首先通过在Imagenet数据集上的一百多万张图像上训练它来开发NasNet-Mobile预训练模型（Zoph等人，2018年）。该模型在CIFAR-10数据集上通过引入一种名为ScheduledDropPath的新正则化技术获得了2.4%的错误率。NasNetMobile在224 224像素的输入图像上训练，其中使用了大约530万个训练参数。它是一个优化的网络，由强化学习优化的基本构建单元组成。这样的单元由不同的卷积、池化和可分离卷积操作组成，使模型更可靠（Saxen等人， 2019年）的报告。3.3.3. 可视化几何组网络VGGNet预训练模型首先由Simonyan和Zisserman等人开发在2014年ILSVRC竞赛中获得了图像定位的第一名和图像分类的第二名（Simonyan和Zisserman，2014）。与AlexNet架构相比，VGGNet架构表现出出色的性能，错误率为8.1%。在这项工作中，我们使用VGG16作为我们的特征提取器。VGG16预训练模型由13个卷积层组成，后面是三个完全连接的层。所有的卷积层都有一个3 ×3的表1数据扩充之前有关两个数据集的其他信息数据集乳腺癌类型培训验证测试BreakHis良性192448175恶性4274107085ICIAR正常702010原位癌702010良性702010浸润癌702010Saikat Islam Khan，A.沙赫里奥尔河Karim等人沙特国王大学学报6221×X图三.微调表2数据扩充后有关两个数据集的其他信息。数据集乳腺癌类型培训验证测试BreakHis良性13468336775恶性29918749085ICIAR正常49014010原位癌49014010良性49014010浸润癌49014010表3具有参数值的数据扩充策略。Number数据扩充技术参数值1变焦范围22旋转范围903剪切范围.54宽度移动范围.45高度偏移范围.46水平翻转真7垂直翻转真窗口大小，过滤器大小范围从64到512。预训练的VGG16架构被划分为五个块，其中前四个卷积层驻留在前两个块中，并且其他九个卷积层驻留在接下来的三个块中。最大池化层也跟随每个块。最大池化层具有2× 2的窗口大小，其将从变换的特征图中提取最主要的特征（Scherer等人，2010年）。在所有卷积层中，都使用ReLU激活函数。3.4. 微调过程图3展示了多个迁移学习模型如何整合以使用不同的完全一致性对乳腺癌类别进行连接层。 在单独提取特征之后，过度拟合是深度神经网络中的一个大问题，当模型在训练数据上过 度 训练并 对 测 试 数 据 产生负面影响时，就会发生过度拟合（Srivastava et al.， 2014年）。为了解决过拟合问题，我们使用两个dropout 层。第一个 dropout 层将排除 40% 的数据，第二个dropout层将排除20%的数据。此外，这种操作极大地有助于加速训练过程（Srivastava等人， 2014年）。此外，我们使用了两个批量归一化层，这在我们的分类模型中起着至关重要的作用。批处理规范化层将重新缩放所有数据，以便我们可以规范化。重新缩放的数据将有助于加速训练阶段，并提高对网络初始化的敏感性。密集层是完全连接的层，其中前一层和当前层中的所有神经元都是密集连接的。这些层对输入数据进行操作并返回输出。在我们的工作中，我们使用两个密集层，最后一个密集层用于分类任务，然后是softmax激活函数。该层将获取预测类的长度并进行预测。softmax激活函数采用结果的概率，并确定哪些特征与特定的预测类别最相关。结果值在softmax activa- tion函数中介于0和1之间，导致神经元触发。它定义为以下表达式：预训练模型同时softmax最大值zjð1Þ用于通过计算每个输入通道的平均值将所有层平坦化为向量然后，使用连接层将所有单独的向量之后，为了微调我们的分类任务的集成功能，总共使用了六个层，然后是softmax activation函数。以下是每一层的描述。JLexpxkk¼1表4显示了不同迁移学习模型和全连接层之间的集成结果。此表是在构建“MultiNet”框架时提取的Saikat Islam Khan，A.沙赫里奥尔河Karim等人沙特国王大学学报6222←×¼ ð Þ¼¼- 四分之一¼表4“MultiNet”架构的详细信息层（类型）输出形状参数编号连接到input_1（输入层）(None，224，224，3）0densenet201（功能）(None（1920年7月7日）18321984联系我们[0][0]NASNet（功能）(None，7，7，1056）4269716联系我们[0][0]VGG16（功能）(None，7，7，512）14714688联系我们[0][0]global_average_pooling2d（全局）(None（1920年）0densenet201 [0][0]global_average_pooling2d_1（全局）(None，1056）0[0][0][0]global_average_pooling2d_2（全局）(None，512）0VGG16 [0][0]concatenate_4（连接）(None，3488）0global_average_pooling2d [0][0] global_average_pooling2d [0][0]辍学(None，3488）0global_average_pooling2d_2 [0][0]联系我们[0][0]batch_normalization（批量归一化）(None，3488）13952[0]第二届中国国际汽车工业展览会密集（密集）(None，128）446592batch_normalization [0][0]dropout_1（脱落）(None，128）0密[0][0]batch_normalization_1（批量归一化）(None，128）512下载中心[0][0]dense_1（密集）(None（2）258batch_normalization_1 [0][0]总参数：37，767，702可训练参数：37，494，676不可训练参数：273，026二进制分类。这就是为什么最后一个完全连接的层有两个神经元。然而，在处理多类分类时，我们使用四个神经元作为最后一个密集层。所提出的“MultiNet”框架的其他结构4.1. 实验装置建议的我们执行模型的所有训练和测试使用Google Colab，这是一种免费的在线云服务，算法1自动乳腺癌检测和分类。1：输入：乳腺癌训练集d1、验证集d2和测试集d3。a←学习率。b←纪元。l←批量大小。c←一个批量大小中覆盖的图像数量。输出：xCNN预训练模型的权重。开始：2：将训练集中的每个显微镜图像转换为224 224。3：执行数据扩充策略以增加数据集大小。4：使用DenseNet-201、NasNetMobile和VGG 16 CNN预训练模型从显微图像中提取特征。5：使用连接层组合提取的特征6：设置微调层CNN密集，CNN bathchnormalization，CNNdropout，CNNsoftmax。7：初始化CNN预训练模型参数：a、b、l、c。8：训练“MultiNet”框架并确定初始权重。9：对于b1到b做10：为训练集d1选择一个最小批量大小（大小：c）特斯拉K80 GPU与12 GB的GDDR5 RAM，英特尔至强处理器与两个核心@2.2 GHz，和总共13 GB的RAM。4.2. 性能度量不同的统计参数，包括精度，召回率，假阳性率（FPR），真阴性率（TNR），F1分数，马修斯相关系数（MCC）和Kappa统计被用来评估所提出的框架的性能。这些参数取决于混淆矩阵的结果，包括真阳性（TP）、真阴性（TN）、假阳性（FP）和假阴性（FN）。TP：是指提出的“MultiNet”框架正确识别阳性乳腺癌类型的结果TN：是指所提出的框架正确识别阴性乳腺癌类型的结果。FP：是指所提出的框架不正确地识别出阳性乳腺癌类型的结果FN：是指所提出的框架不正确地鉴定出阴性乳腺癌类型的结果所有统计参数表示如下：精密TP2公司简介11：前向传播并确定损失函数。12：反向传播并更新权重x。13：结束召回TPTPFFNFPð3ÞFPR/FP双极晶体管4. 实验设置、性能指标和结果分析本节演示了实验设置、实验中使用的超参数以及使用“MultiNet”框架从BreakHis和ICIAR数据集获得的结果。还深入讨论了所提出的方法与单个CNN预训练架构TNRTN公司简介F1评分2Pr×RePrReKappa总准确度-随机准确度1-随机精度ð5Þð6Þð7ÞSaikat Islam Khan，A.沙赫里奥尔河Karim等人沙特国王大学学报6223MCC¼×-×TPTNFPFNPTPFPTPFNT NFPTNFNNFN4.3. 训练和参数优化ð8Þ表5在训练过程中在“MultiNet”框架中使用的参数值数据集参数值BreakHis优化器adam学习率.0001损失函数二进制_交叉熵计算精度对于BreakHis数据集，图4反映了在训练所提出的“MultiNet”框架期间的模拟结果用于训练框架的超参数值如表5所示。训练模型的关键超参数之一是优化器函数和梯度下降的损失函数。我们选择adam作为优化器函数，因为它结合了AdaGrad和RMSProp优化器的关键属性，可以处理大型数据集上的稀疏梯度。我们选择二进制交叉熵作为损失函数，因为我们的工作是基于BreakHis数据集中的二进制分类。为了降低损失函数，我们需要一个最佳的学习率值。然而，选择学习率是具有挑战性的，因为如果学习率相当大，则会产生不期望的行为。如果学习率很小，模型需要更多的时间进行训练，并对权重进行微小的更新。在这项工作中，我们选择了0.0001的学习率，这将限制此类问题。此外，使用了32个小批量，这表明模型具有适当的泛化能力。所提出的框架训练了50个时期。然而，在训练了第29个epoch之后，该模型成功地实现了超过97%的训练准确率和98%的验证准确率。从图4（a）中，我们还可以观察到在训练模型期间不存在过度拟合问题。而在图4（b）的损失函数曲线中，很明显，曲线开始急剧下降损失值。然而，由于32张图像的有限批量大小，出现了一些波动。对于ICIAR数据集，图5显示了准确性进展，在训练过程中的损失提出的“多网络”框架。用于训练框架的超参数值如表5所示。由于我们的工作是基于多类分类的，所以我们选择类别交叉熵作为损失函数在ICIAR数据集中。在这个数据集中，由于图像数量有限，所提出的模型需要进一步训练。MultiNet框架训练了第200个epoch，在第166个epoch之后，训练准确率达到了95%。因此，在验证阶段达到的总体验证准确度为94.4%。而在图5（b）的损失函数曲线中，很明显，损失值几乎为零，没有波动批量32时代50ICIAR优化器adam学习率.0001损失函数分类_交叉熵预测准确性批量32时代200在训练和验证模型时出现。从图5（a）中，还清楚的是，不存在过拟合问题4.4. 结果分析图6中给出了使用“MultiNet”框架的BreakHis数据集的混淆矩阵和受试者工作特征（ROC）曲线该框架结合了三个著名的迁移学习模型，包括DenseNet-201，NasNetMobile和VGG 16，然后使用融合特征来分类乳腺组织是良性还是恶性。从图6（a）中可以观察到，总共74和85个显微图像分别被正确分类为良性和恶性乳腺癌。同时，只有一个良性的显微图像是错误的分类所提出的框架。最重要的好处是该框架还实现了0.993的面积值（见图6（b）），这表明模型的一致性和稳定性。此外，所有迁移学习模型也都是在BreakHis数据集上单独执行的，以更好地理解表6是“MultiNet”框架和其他七个迁移学习模型之间的比较研究。从表6中可以清楚地看到，图四、BreakHis数据集的训练进度：（a）训练和验证准确性（越高越好），以及（b）训练和验证损失（越低越好）。Saikat Islam Khan，A.沙赫里奥尔河Karim等人沙特国王大学学报6224图五、ICIAR数据集的训练进度：（a）训练和验证准确性（越高越好），以及（b）训练和验证损失（越低越好）。见图6。‘‘MultiNet” performance on BeakHis dataset a) confusion matrix b) ROC埃 尔 。 FNR 几 乎 为 0 ， TNR 接 近 1 ， 表 明 模 型 有 效 。 然 而 ，DenseNet-201和Xception模型也表现良好，平均f1得分为0.95 and.97.其他三个模型，包括VGG16，VGG19和NasNetMobile，在检测二元乳腺癌类别方面具有几乎相似的性能。图7给出了使用“MultiNet”框架的ICIAR数据集的混淆矩阵和ROC曲线在该数据集中，提出的框架确定了多类乳腺癌类别，包括良性、原位、侵入性和正常。从图7（a）可以观察到，总共9、10、10和10个显微图像分别被正确地分类为良性、原位、侵袭性和正常乳腺癌类别。然而，只有一个良性的显微图像被错误分类的“多网络”框架。该框架实现了0.956的面积值（见图7（b）），表明模型的一致性和通用性。表7中还提供了比较分析，其中显示“MultiNet”框架实现了0.98的平均精度、0.98的召回率、0.98的f1分数、0.97的kappa和0.97的MCC。从表7中还可以清楚地看出，与其他七种最先进的模型相比，所提出的框架在检测乳腺癌类别方面实现了高性能。在七个迁移学习模型中，DenseNet-201、ResNet 50和Xception预训练模型仅能够达到80%以上的分类准确率。然而，其他四个模型在检测多类乳腺癌类别方面表现不佳。5. 讨论本文提出了一种方法，通过应用“MultiNet”框架的显微镜图像的二进制和多类乳腺癌分类。我们使用两个单独的数据集来评估“MultiNet”框架。与使用具有不同结构、参数和深度大小的相同数据集的现有文献相比，从表8中可以清楚地看出，与以前的文献相比，所提出的框架在识别二元和多类通过正确整合所有预训练模型，我们分别获得了BeakHis和ICIAR数据集的平均99%和98%的分类准确率图8呈现了由所呈现的框架预测的一些显微镜图像。然而，与文献中发现的现有方法相比，还有一些其他优点。例如，一些先前的研究利用不同的特征提取器方法，这是耗时的并且可能Saikat Islam Khan，A.沙赫里奥尔河Karim等人沙特国王大学学报表62256225使用“MultiNet”架构和BreakHis数据集上的七个独立迁移学习模型获得的结果度量模型乳腺癌分类TPTNFPFN精度召回FPRTNRF1得分KappaMCCBreakHis数据集DenseNet-201良性728143.95.96.05.95.95.91.91恶性817234.96.95.04.96.96.91.91平均分.95.95.04.96.95.91.91NasNetMobile良性668329.97.88.02.98.92.86.86恶性836692.90.98.12.88.94.86.86平均分.93.93.07.93.93.86.86VGG-16良性717784.90.95.09.91.92.85.85恶性777148.95.91.05.95.93.85.85平均分.92.93.07.93.93.85.85VGG-19良性698146.95.92.04.96.93.87.87恶性816964.93.95.08.92.94.87.87平均分.94.94.06.94.94.87.87MobileNet良性4077835.83.53.09.91.65.45.48恶性7740358.69.91.46.54.78.45.48平均分.76.72.28.72.73.45.48ResNet-50良性4781428.92.63.05.95.75.59.62恶性8147284.74.95.37.63.84.59.62平均分.83.79.21.79.80.59.62Xception良性758050.941.0.06.94.97.94.94恶性8075051.0.9401.0.97.94.94平均分.97.97.03.97.97.94.94该方法良性7485011.0.9901.0.99.99.99恶性857410.991.0.01.99.99.99.99平均分.99.99.01.99.99.99.99图7.第一次会议。在处理大量图像时是无效的（Dimitropoulos等人，2017; Karthiga和Narasimhan，2018;Song等人，2017; Nahid等人，2018年）。建议的框架提供了一个分割免费的方法，不需要任何手工制作的功能。在Mehra（2018）中，作者在乳腺癌组织学图像分类中执行了三种众所周知的预训练模型，包括VGG16、VGG19和ResNet50。此外，他们使用逻辑回归作为分类器，在二进制分类中表现良好。然而，逻辑回归在解决非线性问题时可能会引起麻烦，因为它具有线性决策表面。Logistic回归在处理高维数据集时也会导致模型过拟合。尽管大多数作者已经付出了相当大的努力来训练网络，但是在使用不同的架构之后获得了较差的结果（Song等人，2017;Saxena等人，2020; Golatkar等人，2018;Roy等人， 2019;Ferreira等人，2018年）。此外，在Saini和Susan（2020）中，作者采用深度卷积生成对抗网络（DCGAN）来解决数据不平衡问题，BreakHis数据集。他们只对少数类的数据增强由于少数类中只有少数样本可用，因此DCGAN训练的分布无法很好地泛化，也不会产生高质量的样本图像（Saini和Susan，2020）。在另一项研究中，Alzubaidi et al. 已经提出了一种用于多类乳腺癌分类的由74层组成的混合CNN模型（Alzubaidi等人，2020年）。这种深度CNN模型需要更多的计算能力，这是昂贵和耗时的。文献中发现的所有方法都对恶性乳腺癌图像进行了错