医学信息学解锁27（2021）100794卷积神经网络在急性心肌梗死诊断中的淋巴细胞白血病的显微镜图像Chayan Mondala，d，1，Md. Kamrul Hasana，Mohiuddin Ahmada，Md. AbdulAwalc，Md. Tasnim Jawada，Aishwariya Duttab，Md.Rabiul Islama，MohammadAli Monie，a孟加拉国库尔纳工程技术大学电气和电子工程系，Khulna 9203b孟加拉国库尔纳工程技术大学生物医学工程系（BME），库尔纳9203c电子和通信工程（ECE）学科，Khulna大学，Khulna 9208，孟加拉国d孟加拉国Gopalganj 8100，Bangabandhu Sheikh Mujibur Rahman科技大学电气和电子工程系电子计算机科学工程系（CSE），Pabna科技大学，Pabna 6600，BangladeshA R T I C L E I N F O保留字：急性淋巴细胞白血病深度卷积神经网络迁移学习Entrance图像分类器C-NMC-2019数据集A B S T R A C T急性淋巴细胞白血病（ALL）是一种血细胞癌，其特征是存在过量的未成熟淋巴细胞。尽管ALL预后的自动化对于癌症诊断至关重要，但由于恶性细胞和正常细胞之间的形态学相关性，它仍然是一个挑战。传统的ALL分类策略要求有经验的病理学家仔细阅读细胞图像，这是艰巨的，耗时的，并且经常受到观察者之间差异的阻碍。本文通过使用深度卷积神经网络（CNN）来自动化ALL识别任务。 探索深度CNN的加权集成以推荐更好的ALL细胞分类器。权重是从集合候选者的相应度量（例如F1分数、曲线下面积（AUC）和kappa值）估计的各种数据扩充和预处理被纳入，以实现更好的泛化网络。我们提出的模型使用C-NMC-2019 ALL数据集进行了训练和评估。所提出的加权集成模型输出了在初步测试中，加权F1评分为89.7%，平衡准确度为88.3%，AUC为0.948集显示梯度类激活图的定性结果证实了引入的模型有一个集中的学习区域。相比之下，集成候选模型，如Xception，VGG-16，DenseNet-121，MobileNet和InceptionResNet-V2，在大多数情况下分别表现出粗糙和分散的学习区域。由于所提出的集成对于目标任务产生了更好的结果，因此它可以支持临床决策在早期发现ALL患者1. 介绍癌症被定义为异常和不受控制的细胞生长，是已知最致命的疾病之一[1]。根据世界卫生组织的数据，2020年约有1930万人被诊断患有癌症，1000万人死于癌症，从2000年开始，增长了近60%[2]。从现在到2040年，受影响的个人数量预计将增加约50%。在各种类型的癌症中，最常见的儿童形式之一是急性淋巴细胞白血病（ALL），它会影响白细胞（WBC）。ALL患者的骨髓中有过多的过早白细胞，这些白细胞可以扩散到其他器官，如脾脏，肝脏，淋巴结，中枢神经系统和睾丸。虽然ALL的主要原因尚不清楚，但几个诱发因素，如接触严重辐射或苯等化学物质和T细胞淋巴瘤感染，可以增加产生ALL的可能性。全球近55%的ALL病例发生在亚太地区[3]。根据世界卫生组织，2020年全球ALL病例总数为57377例，占所有儿童癌症的21.9%[4]。一般来说，医生通过特定的症状和体征来怀疑ALL患者，而不同的临床检查可以验证ALL的诊断。血液检查经常在初步阶段对疑似ALL患者进行。进行全血细胞计数和外周血涂片检查以监测变化∗ 通讯作者。电子邮件地址：chayan. chuan@bsmrstu.edu.bd（C。Mondal），m.k.hasan@ kuet.ac.bd（M.K.Hasan），ahmad@ kuet.ac.bd（M.Ahmad），m.awal@ece.ku.ac.bd（M.A.Awal），jawad1703006@stud.kuet.ac.bd（M.T.Jawad），aishwariyadutta16@gmail.com（A. Dutta），rabiulnewemail@gmail.com（M.R.Islam），moni@pust.ac.bd（M.A.Moni）。1 孟加拉国，库尔纳，KUET，9203https://doi.org/10.1016/j.imu.2021.100794接收日期：2021年7月21日;接收日期：2021年10月25日;接受日期：2021年11月12日2021年11月27日网上发售2352-9148/©2021的 自行发表通过Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表医学信息学期刊主页：www.elsevier.com/locate/imuC. 蒙达尔等人医学信息学解锁27（2021）1007942白细胞和血细胞的数量和外观。 ALL的诊断通过利用基于染色体的测试，包括细胞遗传学，荧光原位杂交和聚合酶链反应，其中观察到染色体识别不寻常的血细胞，从而实现更高的准确性。基于图像的自动计算机辅助预后（CAP）工具具有可忽略的假阴性率，是加速ALL患者早期诊断的迫切需要传统上，使用计算机断层扫描（CT）、磁共振成像（MRI）、X射线和超声（US），应用不同的基于图像的诊断来诊断ALL患者。然而，这些成像模式的收集是昂贵且耗时的，需要专家病理学家、血液学家或肿瘤学家[1]。此外，根据世界卫生组织于二零二零年发表的一份报告，欠发达国家和发展中国家，特别是农村地区，仍然无法获得这些图像的扫描仪[6]。目前，用于ALL分析的基于显微图像的CAP系统可以克服这些限制，因为这些系统可以完全自动化，并且不需要训练有素的医疗专业人员进行临床应用[1]。在过去的10年里，基于深度学习（DL）的CAP系统自动化方法的效率大幅提高。他们似乎优于传统的图像处理方法在图像分类任务。然而，基于DL的策略具有优于基于机器学习（ML）的方法的可重复性;后者需要手工特征工程[7]。不同的基于DL的方法已经证明了它们在自动识别、检测或分割的不同领域中的巨大价值，例如皮肤病变[8- 本文将探讨并深入研究DL方法在基于图像的ALL诊断中的价值。不同的ALL预测方法将在下一节中简要介绍。2. 文献综述本节对当前用于ALL分析的CAP方法进行了综述，其中首先讨论了基于ML的系统，随后讨论了基于DL的方法。2.1. ML方法Mohapatra等人[23]提出了一种基于模糊的颜色分割方法，将白细胞与其他血液成分分离，然后提取核形状和纹理作为区分特征。最后，作者应用支持向量机（SVM）检测血细胞中的白血病。Madhukar等人[24]采用基于K均值聚类（KMC）的分割，使用基于颜色的聚类从白细胞中提取细胞核。不同的功能，如形状（面积，周长，紧凑性，坚固性，偏心率，伸长率，形状因子），灰度共生矩阵（能量，对比度，熵，相关性），和分形维数，从分割的图像中提取。最后，他们应用了SVM分类器，利用了K-fold，Hold-out和Leave- one-out交叉验证技术。Joshi等人。[25]开发了一种血液载玻片图像分割方法，然后进行特征提取（面积，周长，圆形度等）。检测白血病的政策。作者利用k-最近邻（KNN）[26]分类器将淋巴细胞分类为来自正常白细胞的原始细胞。Mishra等人[7]提出了一种基于离散正交S变换的特征提取方法。他们通过应用混合主成分分析（PCA）和线性判别分析（LDA）来消除冗余特征。最后，作者采用基于AdaBoost的随机森林（ADBRF）分类器对这些约简特征进行分类。[27] 中的作者针 对四种基于ML 的算法， 例如分类和回归 树（CART），随机森林（RF），Gradient Boosted（GB）引擎[28]和C5.0决策树（DT）算法[29]，用于分类所有。他们的实验证明了CART方法的优越性能。Fathi等人[30]提出了一种结合PCA，神经模糊和GMDH（数据处理组方法）的综合方法来诊断两种类型的白血病：ALL和急性髓系白血病（AML）。Kashef等人。[31]推荐了不同的ML算法，如DT，SVM，LDA，多项式线性回归，GB机，RF和XGBoost [32]，其中XGBoost算法表现出最佳结果。Putzu等人。[33]提取了不同的特征，例如形状，颜色和纹理，用于训练不同的分类算法。他们得出结论，具有高斯径向基核的SVM是他们从显微镜图像中识别ALL的最合适的分类器。作者在[34]中开发了提出了一种基于K-means图像分割和标记控制分割的分类检测算法，其中采用多类SVM作为分类器。表1总结了用于ALL分类的几种基于ML的模型及其各自的预处理、所用数据集和分类结果（准确度）2.2. DL方法Honnalgere和Nayak [40]提出了一个VGG-16 [41]网络，该网络通过批量归一化进行了微调，并在ImageNet数据集上进行了预训练[42]。 开发了一个基于DL的框架 Marzahl等人[43]，应用基于归一化的预处理步骤和两种增强方法。他们使用了ResNet-18 [44]网络和一个额外的回归头来预测分类的边界框。在[45]中，作者介绍了一种基于DCT的集成模型，即卷积和递归神经网络（CNN-RNN）的组合，用于正常细胞与癌细胞的分类。他们的混合模型采用预训练的CNN和RNN来提取特征，并提取动态谱域特征。这种基于集合的模型，DCT-LSTM的组合及其与预训练CNN架构（AlexNet [46]）的融合，使该分类器变得强大而高效。预处理方案与作物轮廓和数据增强技术提高了建议的架构的准确性。Ding等人[47]提出了三种不同的基于DL的架构，Inception-V3 [48]、DenseNet-121 [49]和InceptionResNet-V2 [50]，用于WBC显微图像分类模型。他们还提出了一个集成模型，并证明了他们开发的堆叠模型优于他们实验中使用的任何其他单一分类模型Vogado等人。[51]使用三种不同的CNN架构（AlexNet，CaffeNet和VGG-f）提取WBC图像的特征。 然后，作者应用增益比算法进行属性选择，用于初步检测相关属性和必要信息。最后，他们选择了一个SVM分类器来对所选特征的属性进行分类。 在[52]中，最大信息系数（MIC）和岭特征选择方法应用于CNN模型。作者采用三种CNN模型：AlexNet，GoogleNet和ResNet-50作为特征提取器，二次判别分析（QDA）作为分类器。Prellberg和Kramer [53]使用ResNeXt [54]和挤压和激发模块[55]构建了白血病细胞分类模型。 作者在[56]中制作了一种自动染色归一化WBC分类器，可以对恶性（B-ALL）细胞或健康（Hem）细胞进行分类。他们采用了相同的ResNeXt（50和101）模型的集成技术，并表明ResNeXt变体相应地表现最好。 在[57]中，作者推荐了一种最先进的CNN（SENet和PNASNet）分类模型来检测ALL。他们采用了Grad-CAM技术来检查CNN模型Pan等人[58]介绍了用于从显微镜图像进行正常与恶性细胞分类的邻域校正算法（NCA）。作者结合了ResNet [44]架构的优点（ResNet-50，ResNet-101，ResNet-152）并构建了一个Fisher向量。根据加权多数投票，他们更正了最初的标签C. 蒙达尔等人医学信息学解锁27（2021）1007943表1基于ML的ALL分类方法总结，包括发表年份、预处理分类技术、使用的数据集和相应的准确度结果（Acc）。预处理特征分类器数据集访问2011年[23]中值滤波反锐化掩蔽2012 [24] KMC，颜色相关性和对比度增强Hausdorff维数、轮廓特征、分形维数、形状、颜色和纹理特征形状、灰度共生矩阵和分形维数特征[23]第二十三话SVM ALL-FS [35] 93.5%2012 [36] No十二个基于尺寸、颜色和形状的特征2013年[25]基于形状的分割基于形状的分割（面积、周长和圆度）特征KNN ALL-HUSM [36] 80.0%KNN ALL-IDB [37] 93.0%2014 [38]颜色校正、转换和KMC纹理、几何和统计特征SVM和KMC ALL-UCH [38] 92.0%2015年[39]对比度增强和形态分割2019 [7]用于分割的纹理、几何形状、颜色和统计特征基于形态、纹理和颜色的特征[37]第37话：我的世界ADBRF ALL-IDB 1 [37] 99.7%2021 [34]调整大小、对比度增强和KMC纹理、几何和颜色特征SVM ALL-JUSH [34] 94.6%表2基于DL的ALL分类方法总结，包括发表年份、预处理&分类技术、使用的数据集和F1评分（FS）中的相应结果。和垂直翻动检测Densenet-121，以及失真、缩放、裁剪和倾斜对比度和色彩调整PNASNetInception和ResNet的测试图像。作者在[59]中提出了一种10层CNN架构来自动检测ALL。在[60]中，作者组合了三种不同的基于DL的算法，AlexNet，GoogleNet [61]和VGG分类器模型，以检测淋巴母细胞。Goswami等人[62]提出了一种异质性损失函数来对ALL进行分类。他们采用了一种非正统的集成技术，以一种新颖的方式应用平均投票和最大投票。他们的整体建模提高了整体性能得分。最近，Gehlot等人。[1]开发了SDCT-CNN网络分类器，它使用CNN和其他辅助分类器的特征。而不是传统的RGB图像，染色去卷积的数量图像在他们的工作中使用表2总结了用于ALL分类的几种基于DL的模型及其各自的预处理、使用的数据集和F1评分方面的分类结果3. 贡献在第2节中关于从显微图像自动识别ALL的上述讨论建议，当今最广泛地采用不同的基于CNN的DL方法，因为它们减轻了手工特征提取的必要性（参见表1中的细节ResNet-50和ResNet-101挤压和激发模块和2）。尽管已经发表了许多文章，但仍有性能改进和更广泛的通用性的空间 的训练模型。此外，基于CNN的方法经历数据不足以避免过拟合，其中不同CNN架构的集合缓解了数据稀缺性限制，如各种文章[47，57，65，67从文献综述部分可以看出，许多文章采用了集成策略，但加权集成策略尚未得到应用这个特定的数据集。诊断ALL的挑战之一是这个数据集就是类不平衡问题。为了避免这个问题，不同的作者已经应用了离线图像变换技术、加权损失函数、在训练期间使用类权重以及其他技术。在我们的方法中，应用在线随机过采样来重新平衡数据集。此外，在本文中，我们实验了不同分辨率的输入图像的各种预训练网络的性能，这在对ALL数据集进行的其他研究中没有发现。然而，我们的贡献的突出特点如下：• 一个强大的集成模型已开发的ALL识别，结合不同的预处理步骤，如中心裁剪，数据增强，和重新平衡。年预处理和增强特征分类器数据集FS2017年[63]归一化，分割，随机旋转，没有AlexNet和基于纹理的CNN美国[63]百分之九十五点四2019年[43]归一化、翻转、旋转、缩放、对比度增强和倾斜没有ResNet-18用于分类和C-NMC [64]百分之八十七点五2019年[47]中心裁剪、随机仿射变换、规格化、旋转、缩放、水平和垂直翻转没有Inception-V3的包围InceptionResNet-V2C-NMC [64]百分之八十六点七2019年[57]逐像素规格化、随机调整大小、旋转和中心裁剪没有SENet-154的封装和C-NMC [64]百分之八十六点六2019年[56]垂直和水平翻转，剪切，没有ResNeXt的不同变体C-NMC [64]百分之八十五点七2019年[65]区域分割，染色归一化，随机翻转，旋转，高斯噪声添加，没有深袋套装C-NMC [64]84.0%2019年[66]居中裁剪、规格化和缩放没有MobileNet-V2C-NMC [64]87.0%2019年[67]居中裁剪、随机翻转和旋转没有对ResNet-34的封装，C-NMC [64]百分之八十一点七C. 蒙达尔等人医学信息学解锁27（2021）1007944• 考虑到它们相应的成就，对集合候选模型的输出进行了综合。 因此，提出了一种加权系综模型，其中进行烧蚀研究以确定最佳权重度量。• 中耕 的 的 原始 输入 图像 是 执行以增强识别结果。中心裁剪使分类器能够发现抽象区域和详细的结构信息，同时绕过相邻的背景区域。• 基于几何和强度的在线图像增强（aug-在飞行中的心理状态）被应用以减轻过拟合。随机过采样技术被应用于缓解类不平衡问题。• 五种不同的预训练CNN模型，Xception，VGG-16，DenseNet-121、MobileNet和InceptionResNet-V2被微调以将所提出的模型与相同的数据集和相同的实验设置进行比较。• 优于拟议加权集合模型的结果根据我们所知，在上述预训练模型和最近发表的几篇关于同一数据集（名为C-NMC-2019）的文章中进行了证明（详见第4.1.1节）。本文的全部内容集中在C-NMC-2019数据集和DL的应用和集成策略。因此，使用与ALL检测相关的其他数据集（见表1和表2）应用基于ML的方法超出了本文的范围。本文 第5节报告了各种扩展实验的结果，并进行了适当的分析。最后，第6节总结了未来的工作方向。4. 材料和方法本节说明ALL分类所用的材料和方法第4.1节描述了拟议框架。第4.1.1、4.1.2和4.1.3节分别解释了所使用的数据集、图像预处理和采用的具有集成技术的CNN之后，分别在第4.2节和第4.3节中解释4.1. 拟议框架图1代表拟议框架的块展示。 C-NMC-2019数据集被用作用于训练和评估的二进制ALL分类任务的输入图像。图像预处理，包括重新平衡和增强，被集成到网络的训练阶段。使用处理后的图像训练五个不同的知名网络以构建集成分类器，因为它确保在医学图像分类的其他领域中具有更好的性能[47]。所有网络都采用了ImageNet数据集上的预训练权重，以利用迁移学习策略。最后，这五个训练的权重采用软加权聚合来集成，以获得最终的预测。 然而，以下各节解释了拟议框架的基本部分。4.1.1. 数据集所使用的数据集在由IEEE国际生物医学成像大会（ISBI）组织的名为C-NMC-2019 [64]的医学成像挑战中发布，其中包含118名受试者，69例ALL患者和49例Hem患者。数据集的详细信息见表3。在我们提出的模型中，训练数据集被分成训练集和验证集，最终预测仅在初步测试集中进行，如表3所示。数据集图像大小的分辨率几来自C-NMC-2019数据集的样本图像如图所示。二、数据集作者使用自动分割算法准备单细胞图像，以将白细胞与背景分离。背景的其余部分完全是黑色的。由于不完美的分割过程，很少有具有多余背景的图像包含在其数据集中[53]（参见图2中的第二和第三图像）。表3显示数据集是不平衡的，癌细胞训练图像的数量大约是正常细胞图像的2.15倍，使得分类器偏向ALL类。通过应用以下两种技术（详见第4.1.2节），在拟定框架中缓解了数据不平衡导致的此类偏倚。4.1.2. 预处理本节简要介绍了我们提出的系统在所利用的数据集中，几乎每一个图像都包含在中心位置的感兴趣区域，具有黑色背景（见图2）。2）的情况。因此，所有图像都被集中裁剪为300 × 300像素的大小，以减少输入数据的整体尺寸，通过提供感兴趣区域，使学习分类器更快，更容易[53]。类别不平衡是医学成像领域的常见现象，因为手动注释的图像复杂且难以实现[68]。这种类不平衡可以使用不同的算法级方法部分克服。该方法采用了随机过采样技术，即随机复制少数类的样本并添加到训练样本中，以平衡不平衡的数据集。在我们提出的模型中，Hem类被过采样到5822张图像，在训练过程中总共训练了11644张图像。在训练过程中应用了不同的数据增强技术，例如水平和垂直翻转、旋转、缩放和移位以增强模型4.1.3. 分类器如前所述，在第2节中，基于CNN的方法优于基于ML的方法和放射科医生，具有较高的平衡准确度，如[70]所证明的然而，当使用具有有限样本的高度可变和独特的图像数据集时，单个CNN可能会受到倾斜限制从预先训练好的模型（以前在大数据集上训练过）的迁移学习技术在这种情况下，五个预训练的网络，VGG-16，Xception，MobileNet，InceptionResNet-V2和DenseNet-121，被用于迁移学习应用程序。从第2节中的表2可以推断，最近一些利用相同C-NMC-2019数据集的文章单独应用了这些预训练的网络，或者将它们的任何组合聚合起来执行类似的任务。由于这些文章通过使用这些网络获得了良好的评估准确性，因此我们选择这些网络来设计集成分类器来分类ALL和Hem WBC图像。VGG-16（���������1）. 2014年，Simonyan和Zisserman [41]提出了一个由16层组成的深度CNN模型，通过替换大型内核过滤器来改进AlexNet模型。VGG-16是一个更深的网络（大约是AlexNet的两倍深），通过堆叠均匀卷积来构建。图像通过一堆卷积层传输，其中过滤器与微小的接收过滤器（3 × 3）一起这种配置允许网络以较低的计算复杂度捕获更详细的信息。在VGG-16中，五个最大池化层执行由（2 × 2）内核大小组成的空间池化，该空间池化将输入下采样2倍，绕过（2 × 2）邻域中的最大值到输出。VGG- 16以三个完全连接的层结束，然后是一个2节点SoftMax层。C. 蒙达尔等人医学信息学解锁27（2021）1007945Fig. 1. 所提出的框架的说明，其中所提出的预处理是关键的组成步骤。感兴趣区域（ROI）提取应用于训练和测试数据集。最终的识别结果是从五个不同CNN的不同概率（）的集合中获得的���表3根据不同受试者及其相应显微镜细胞图像描述所用C-NMC-2019数据集。给定的训练样本被分成训练样本和验证样本，并且属于受试者的所有细胞图像被放置在训练或验证中。集初步测试集图像用于最终预测。阶段数据集类别受试者细胞图像ALL（癌性）下摆（正常）ALL（癌性）下摆（正常）第一个训练样本培训321958222703验证1571450686第2初步试验–13151219648第3最终测试–981761825总6949102524862图二. 所用C-NMC-2019数据集的样本图像，显示感兴趣区域周围存在不必要的黑色区域。左边的两张图片是右边的两个代表癌症类，右边的两个代表正常类。中间的两幅图像是由于不完美分割而具有多余背景的细胞Xception（���������2）. Xception [71]是对Inception网络的一个改编，它用依赖可分离卷积代替了Inception模块它是基于CNN的网络的引入，完全具有可分离的卷积层。CNN模型的这种构造它有36个卷积层，分为14个模块，形成了网络的特征提取基础。Xception顶层由一个全局平均池化层组成，以产生一个1 × 2048的向量。Xception网络的作者保留了几个完全连接的层作为可选层。他们将他们的模型专门应用于分类任务的研究，因此逻辑回归层遵循他们的卷积基础。MobileNet （ ���������3 ） .在 2017 年 ， Howard 等 人 [72] 提 出 了MobileNet，这是Xception架构的精简版本，是一种小型且低延迟的CNN架构。它还将深度可分离卷积应用于开发轻量级深度神经网络。此外，MobileNet提供了两个参数来减少其操作数量前一个参数（x2）减少了通道的数量，产生了x2×x3通道，而不是x3通道，以在期望的延迟和性能之间进行权衡。后一个通道缩放图像的输入大小，因为MobileNet使用全局平均池化而不是扁平化。的确，通过全局池化，网络端的全连接分类器仅取决于通道的数量，而不是特征图的空间维度。InceptionResNet（���������4）. InceptionResNet是He等人[44]在2016年设计的深度神经网络，结合了Inception架构[50]和剩余连接。它有一个受ResNet启发的混合inception模块，将inception模块的卷积运算的输出添加到输入中。在这个网络中，主初始模块内部的池化操作被替换为剩余连接。DenseNet（���������5）. DenseNet是一种节省内存的架构，具有高计算效率，它将所有先前层的特征图连接起来，作为后续层的输入[47]。密集网具有显著的优点，例如它们可以缓解消失梯度问题，鼓励特征重用，加强特征传播，并显着减少参数的数量。DenseNets由Dense块组成，其中特征映射的维度在块内保持不变，但过滤器的数量在它们和过渡层之间变化，过渡层负责下采样，应用批量归一化，1 × 1卷积和2 × 2池化层。C. 蒙达尔等人医学信息学解锁27（2021）1007946���∑和������∑是由几个专家得出的，并由决策者汇总，∑和������2∈ [0，1]，��� = 1，2，概率′需要找到ou= t1，其中������每个班级都要努力完成学业���������=1���������1. 三个评价评分，如F1评分、AUC和表4实验分类结果的初步测试集代表两个输入图像大小为450 × 450和300 × 300。最好的结果来自每种类型的结果，例如个体CNN模型和整体CNN模型，以粗体显示，而次佳结果这两种类型都有下划线。单个CNN模型我们的整体模型450 × 450300 × 300450 × 450300 × 3002008年12月31日移动网络InceptionResNet-V2 0.784 0.784 0.772 0.784 0.722DenseNet-121 0.816 0.818 0.815 0.818 0.784电话：+86-10 - 8666666传真：+86-10 - 866666662009 - 2009两年期预算移动网络InceptionResNet-V2 0.839 0.837 0.838 0.837 0.827DenseNet-121 0.827 0.829 0.826 0.829 0.795电话：+86-021 - 8888888传真：+86-021 - 8888888���������������电话：+86-021 - 8888888传真：+86-021 - 8888888��� ������电话：+86-021 - 8888888传真：+86-021 - 88888888���������������������电话：+86-021 -8888888传真：+86-021 - 8888888���������������电话：+86-021 - 8888888传真：+86-021 - 8888888���������2019 -04- 280.897 0.898 0.898 0.883包围的战略。Esteva等人。[73]证明，CNN可以在穷尽学习后在分类任务中超越人类专家-被检查的被表示为1、1和1。������������������������������������为了执行概率计算1方案，每个类别的概率可以是���������在一个巨大的带注释的训练集上。然而，在许多情况下，没有足够数量的注释图像（地面实况）可用，作为Eq。（二）、���因此，评价的准确性需要通过其他方法来提高。在决策和风险分析领域，������′|��� 1 =���=1∑���������1���������������1，n= 1，2.，（二）文学作品[68]一般来说，专家意见的汇总提高了预测的准确性。已经研究了关于CNN系综的自动化方法，其中，权重1表示权重，其从在所有测试图像上测试的单个模型的评估F1-score（权重1）中������个别数据集。为了更直观，可以设置权重���������详细阐述了本文，以达到最高的精度considering我们的图像分类方案。执行聚合如下：���VGG���1= F1-从VGG-16获得的评分（VGG1），为了构建集成分类器，我们考虑了���F11=从Xception获得的F1分数（Xception分数），等等。分类层的输出，它使用全连接层的输出来确定每个类别的概率值（k= 2）。一个CNN将一个概率值∈R归因于一个看不见的测试图像，���其他WEN方案的执行类似于从预训练模型获得的相应评估分数，从整个测试图像的总体预测的概率其中，∈ [0，1]，= 1，2，且∑���������������= 1.在整体建模中，������������������������������=1 ���对于每个测试图像，从概率值个人CNN架构。可能的集成方法有=∑������������������������∀���= 1 2（三）在下面的段落中讨论。网络的加权包围（WEN）。 在我们的方法中，������′|���������=1���=1���������������，、.、应用集成方法，其中个人的性能网络加权每个网络对最终集成的贡献预测. 加权集成方法的主要目标是������′|���������������为���=1∑��� ���������������������������������������������，n= 1，2.，（四）通过根据个体候选者的性能向相应基础分类器的输出提供重要性来提高分类器的性能。权重可以以各种方式决定。在[74]中，权重根据单个候选者的实际预测图像的总数与所有候选者的准确预测的总数的比率来计算。[68] Harangi推荐了两种调整适当权重的方法。一种是从CNN的个体精度，另一种是通过随机搜索方法找到最佳调整。我们提出的加权系综方案解释如下。应用加权集合的每个类别的概率���如在Eq.（1）。���其中���������������，和������������������表示权重，分别根据个体模型的AUC和Cohen������������Kappa计算（）。4.2. 培训政策Adamax优化器[75]以0.0002的初始学习率训练所有五个不同的CNN模型。���1和���有时，学习率的单调循环学习率策略[76]用于在两个边界之间循环学习率，例如0.0000001和0.002。图中所示的“三角形2”策略。 3，且步长′=∑������������������ ∀ = 1 2（一个）设为Eq。（五）、������=1���=1 ������，、.、������������������������= 6 ×��������������������������������� ℎ,(5)式中，每个矩阵的加权值均为矩阵的加权值，矩阵∈{\displaystyle\mathbb {\mathbb}}= 5。���������的其中，迭代次数表示每个时期的迭代次数������������������������������的项∑���������规范化���“，以确保���”∈ [0，1]，n���= 1，2∑∑∑���=1而且，���可以导出为当量（3）、Eq. （4）分别。=1分类器WPWRWFSACCBAVGG-160.7750.7790.7760.7790.744C. 蒙达尔等人医学信息学解锁27（2021）1007947epoch数设置为200，应用提前停止技术���=1���有20的耐心批量大小固定为8，用于训练Cohen��������� ���������，和������������������，分别。总共有三个WEN方案已经过验证���阶段。 分类交叉熵被用作损失函数，选择准确性作为训练我们的模型的度量������C. 蒙达尔等人医学信息学解锁27（2021）1007948图三. 三角形2型循环学习速率调度器的图示，其中Base LR和Max LR是最小和最大学习速率边界。在每一个周期之后，最大学习速率被限制在先前MaxLR的一半见图4。 显示感兴趣区域没有失真的几个样本图像的中心裁剪的演示，其中（a）-（d）表示具有（e）-（h）描绘了尺寸为450 × 450像素的中心裁剪图像，并且（e）-图五. 五种不同的CNN模型和不同的集成模型的ROC曲线，其中（a）用于大小为450 × 450的原始输入图像，（b）用于大小为300 × 300的中心裁剪输入图像。这些ROC曲线描绘了所提出的模型在中心裁剪输入图像分辨率上的更好性能，原始输入图像分辨率。4.3. 硬件和评估我们提出的系统在Python编程语言中使用各种Python和Keras API执行。检查在具有以下硬件配置的Windows-10机器上进行：Intel®Core™i7- 9750 H CPU@2.60 GHz处理器，安装内存（RAM）：16 GB和NVIDIA® GeForce® GTX 1660 Ti GPU与6GB GDDR 6内存。加权精度（WP），加权召回（WR），F1分数（FS），加权FS（WFS），和平衡的准确性（BA）被用来评估我们的ALL Hem分类器的整体性能下面的数学公式（6）、（7）和（8）C. 蒙达尔等人医学信息学解锁27（2021）10079491���������������234分别描述相应的度量BA、FS和WFS���������������������������������+������������������个别型号。表4的最后六行表明，WEN方法超过了以前的单个模型，A =2（6）���������������������������×������������������单个和集合模型的输入类型。从表4中可以看出，Xception= 2 ×+（7）���������������������������������������������当拍摄450 × 450像素的原始图像时，温结果优于Xception∑1���������������（输入的图像。对于中心，观察到WEN的类似优效性���=0，（8）其中，（）是第10类的F1分数，（）是第10类中的测试图像的数量，并且是未看到的测试图像的总数������������5. 结果和讨论本节演示和解释从综合实验中获得的结果。首先，我们解释了输入分辨率的影响，例如原始（450 × 450）与中心裁剪（300 × 300），对不同CNN架构的训练，如第4.1.3节所述，应用各种图像预处理技术，例如随机过采样和图像增强。其次，我们汇总了五个不同CNN模型的输出，以增强关于各种评估指标的ALL分类性能（见第4.3节）。最后，我们将我们获得的结果与最近针对相同数据集和任务的几个结果进行了使用最近邻插值技术对样本图像进行了中心裁剪，以消除黑色边界区域，并提供更精确的感兴趣区域，如图所示。四、这样的中心裁剪到300 × 300像素的大小减少了周围的黑色背景，而不会扭曲原始的纹理，形状和其他信息（见图1）。4）.此外，这种中心裁剪降低了输入图像的维度，从而实现快速学习。表4显示了来自各种分类器的这两种不同输入分辨率的ALL分类结果，包括随机过采样和图像增强。在两种输入解析的情况下（见表4），值得注意的是，Xception模型为ALL分类提供了更好的结果。然而，来自Xception模型的最高分类结果预计在所有可用的预训练模型中具有最高准确度（Top-1 79.0%）。表4表明，以300 × 300像素大 小 输 入 的 Xception 模 型 优 于 其 他 单 个 CNN 模 型 ： VGG-16 ，MobileNet ， InceptionResNet-V2 和 DenseNet-121 ， 输 出 85.9%-ACC，86.0%-WFS和85.9%-BA。这些指标击败了第二好的指标，WP、WR、WFS、ACC和BA的利润率分别为1.6%、0.8%、1.1%、0.8
