使用容积胸部CT扫描识别COVID-19的3D-CNN分类方法

医学信息学解锁26（2021）100709使用容积胸部CT扫描识别COVID-19逐步调整大小的3D-CNN，包括分割，增强，阶级再平衡马里兰州Kamrul Hasana，Md.Tasnim Jawada，Kazi Nasim Imtiaz Hasanb，Sajal Basak Parthab，马里兰州Masum Al Masbab，Shumit Sahac，Mohammad Ali Monid，eaKhulna工程技术大学电气和电子工程系，Khulna-9203，孟加拉国b孟加拉国库尔纳工程技术大学计算机科学与工程系，Khulna-9203cKhulna University of Engineering Technology，Khulna-9203，Bangladeshd孟加拉国Pabna-6600，Pabna科技大学计算机科学工程系e昆士兰大学健康与行为科学学院健康与康复科学学院，St Lucia，QLD 4072，AustraliaA R T I C L E I N F O保留字：COVID-193D卷积神经网络容积胸部CT扫描3D补片渐进式补片A B S T R A C T新型COVID-19是一种全球性大流行性疾病，在全球范围内蔓延。 具有更高灵敏度的计算机辅助筛查工具对于尽早进行疾病诊断和预后至关重要。也可这是对COVID-19患者进行检测和临床监督的分诊有用工具。然而，从非侵入性射线照相图像设计这样的自动化工具是具有挑战性的，因为许多手动注释的数据集还没有公开，这是监督学习方案的基本核心要求。本文提出了一种基于3D卷积神经网络（CNN）的分类方法，同时考虑切片间和切片内的空间体素信息。所提出的系统在来自整个体积计算机断层扫描（CT）图像的3D贴片上进行端到端训练，以扩大训练样本的数量，对贴片尺寸确定进行消融研究。我们在3D网络中集成了渐进式优化、分割、增强和类重新平衡。分割是一个关键的先决步骤用于COVID-19诊断，使分类器能够学习突出的肺部特征，同时排除CT扫描的外部肺部区域。我们评估了所有广泛的实验上公开的数据集命名为MosMed，有二进制和多类胸部CT图像分区。我们的实验结果是非常令人鼓舞的，在接受者操作特征（ROC）曲线下的面积分别为0.914 ± 0.049和0.893 ± 0.035的二进制和多类任务，应用5倍交叉验证。我们的方法的有希望的结果代表它作为一个有利的辅助工具，为临床医生和放射科医生评估COVID-19。1. 介绍在中国武汉发现的不明原因肺炎已于2019年12月31日向世界卫生组织（WHO）驻中国办事处发布。由于与2003年爆发的SARS病毒具有相似的遗传特性，因此将其分配给严重急性呼吸道综合征冠状病毒2（SARS-CoV-2）。 因此，2020年2月11日，世卫组织将这种新疾病称为COVID-1。19（冠状病毒病），表现为上呼吸道和肺部感染[1]。 严重COVID- 19大流行的临床特征是支气管肺炎，影响咳嗽、发热、呼吸困难，详细的呼吸焦虑疾病[2根据世界卫生组织的报告，COVID-19这些共同的迹象使得在古老的步骤中识别病毒变得具有挑战性。此外，上述是一种病毒，它对细菌或真菌感染起作用[5，6]，抗生素不可能限制它。此外，患有糖尿病和慢性呼吸道和心血管疾病等医疗并发症的人可能会患上COVID-19。国子监的一份解释性声明建议，*通讯地址：Department of Pneumatic，KUET，Khulna-9203，Bangladesh。电子邮件地址：m.k.hasan@ kuet.ac.bd（M.K.Hasan），jawad1703006@stud.kuet.ac.bd（M.T.Jawad），hasan1607097@stud.kuet.ac.bd（K.N.I.Hasan），partha1607101@stud.kuet.ac.bd（S.B.Partha），masba@cse.kuet.ac.bd（M.M.A.Masba），shumit. mail.utoronto.ca（S.Saha），m.uq.edu.au（文学硕士）Moni）。https://doi.org/10.1016/j.imu.2021.100709接收日期：2021年6月27日;接收日期：2021年8月11日;接受日期：2021年8月18日2021年8月28日网上发售2352-9148/©2021的 自行发表通过Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表医学信息学期刊主页：www.elsevier.com/locate/imuM.K. Hasan等人医学信息学解锁26（2021）100709290.0 %的世界COVID-19的提前推定发现也是对公共卫生安全和大流行病控制的挑战。COVID-19检测失败使死亡率呈指数级上升。潜伏期是从感染病毒到出现疾病迹象之间的时间，为1至14天，这使得在个人症状的初步阶段识别COVID-19感染具有极大的挑战性COVID-19的临床筛查测试然而，这是一种手动、复杂、繁琐和耗时的方式，估计真阳性率为63.0% [8]。RT-PCR试剂盒库存也严重缺乏，导致预防和治疗冠状病毒疾病的延迟[9]。此外，RT-PCR试剂盒估计成本约为120至130美元。它还需要一个专门设计的生物安全实验室来容纳PCR装置，每个PCR装置的成本为15，000至90，000美元[10]。然而，使用昂贵的筛查设备和延迟的测试结果使得限制疾病传播更具挑战性。筛查工作站和测量工具包的供应不足，给在这种大流行情况下识别COVID-19带来了巨大困难。在这种情况下，快速和可信的推定COVID-19病例对相关人员来说是一个巨大的困难然而，据观察，大多数COVID-19事件在放射学计算机断层扫描（CT）和X射线图像上具有典型特征，包括双侧、多灶性、磨玻璃样阴影，周围或后部分布，主要分布在下叶和早期和晚期肺部集中[11这些功能可用于构建灵敏的计算机辅助诊断（CAD）工具，以识别COVID-19肺炎，这被认为是一种自动筛查工具[15]。目前，深度卷积神经网络（CNN）允许构建端到端模型，而无需手动和耗时的特征提取和工程[16-19 ]，在许多医学成像领域取得了最近，已经发表了各种基于CNN的深度方法，用于从X射线和CT图像中识别COVID-19，在表1中总结和给出，其中混合数据集表明数据来自不同的开放源。尽管当前文章中获得的结果很有前景，但它们作为CAD工具的使用范围有限，因为大多数工作，特别是X射线图像，都是基于来自两个不同类别（Covid与Normal）的不同来源的数据[14，75，76，79，84这给算法带来了固有的偏差，因为模型倾向于学习二元分类问题的数据源分布[74]。因此，这些模型在实际环境中使用时性能非常低，其中模型必须适应来自不同领域的数据[74]。最近，作者在[88]中发布了一个公共胸部容积CT扫描数据集，其中包含1110项COVID-19相关研究（详见第2.1节）。然而，关于该数据集的已发表文章[89，90]仅考虑要隔离的切片内空间体素信息COVID-19和普通健康患者。本文旨在评估所提出的3D-CNN分类器然而，本文的核心贡献如下：• 为体积CT图像设计基于3D-CNN的分类网络，因为3D网络考虑切片间和切片内空间体素信息，而2D网络仅考虑切片内空间体素信息[83，90• 进行基于3D贴片的分类，因为它增加了较小数据集中的样本数量，我们在其中进行消融研究以确定适当的贴片大小• 逐渐增加网络的输入补丁大小原 始 CT 大 小 为 100 × 100 ×100 ， 其 中 ， 斑 块 大 小 为 （ 100scin2100+ 1）×（100scin2 100+ 1）的训练网络是斑块大小为（100scin2 100）×（100 scin2100）×（100 scin2 100）的网络的预训练模型������������������������• 开发无监督肺部分割管道，允许分类器学习显著的肺部特征，同时忽略CT扫描的外部肺部区域• 阶级再平衡和增强，如强度-和虽然使用的是小型数据集，但采用基于几何的文章的其余部分准备如下。第2节详细介绍了研究中使用的材料和方法，包括对方法和端到端3D-CNN培训的简要介绍。第3节描述了实验操作及其相应的所得结果。最后，第4节结束了本文。2. 材料和方法在本节中，我们描述了所使用的材料和方法 进行广泛的实验。我们在第一节2.1中总结了所采用的数据集。基本的整体预处理，如分割，增强和类重新平衡，在第二节2.2中报告。所提出的基于3D-CNN的COVID-19分类器的设计及其训练协议在第三节2.3中解释。最后，在第四节2.4中，我们表示了用于执行目标方法和评估标准的硬件2.1. 数据集本文该数据集包括1110项研究的匿名人类胸部肺部CT扫描，采用神经影像信息技术倡议（NIFTI）格式，有和没有COVID-19相关结果。MosMedData的人群分布为42%男性、56%女性和2%其他，受试者的中位年龄为47岁（18 - 97岁）。如表2所示，所有研究（n= 1110）分为以下五类。 我们设计了两个实验协议，使用MosMedData数据集，如二进制和多类识别，以评估我们提出的工作流程。在二进制类评估中，我们使用NOR vs. NCP（新型COVID-19阳性），其中 NCP包括MiNCP-、MoNCP-、SeNCP-和CrNCP类，而在多类评估中，我们使用NOR vs. MiNCP vs. MoNCPvs. SeNCP。在多类协议中，我们合并SeNCP和CrNCP类，将它们命名为SeNCP，因为CrNCP在MosMedData数据集中只有两个样本。我们应用了5重交叉验证技术来选择训练、验证和测试图像，因为这些图像不是由数据提供者明确给出表2中的MosMedData数据集的类分布说明类分布是不平衡的。这种不平衡的类分布产生偏向具有更多训练样本的类的图像分类器。因此，我们应用各种重新平衡方案来开发用于COVID-19识别的通用分类器，即使数据集是不平衡的。2.2. 预处理在建议的框架中推荐的积分预处理（见图1）。1）由分割、增强（基于几何和强度两者）和类别重新平衡组成，其被简明地解释如下：M.K. Hasan等人医学信息学解锁26（2021）1007093表1许多已发表的COVID-19识别文章，其各自使用的数据集和性能分别显示出不同的指标，例如mSn、mSp和mF 1，分别用于平均灵敏度（召回率）、特异性和F1评分（参见第2.4节中的指标详细信息）。不同方法数据集结果使用ImageNet [37]上预先训练的2D MobileNet-v2 [36]架构来提取使用全连接层对六种不同疾病进行分类的大量高维特征[38]混合mSn：0.974mSp：0.994DeTraC [39，40]，其中首先使用梯度下降优化[41]训练网络，然后，DeTraC的类别组成层用于改进最终检测结果[40]混合mSn：0.979mSp：0.919一种基于多目标差分进化的CNN方法，使用变异、交叉和选择操作进行迭代微调，以发现最佳可能结果[14]混合mSn：0.907mSp：0.906VGG-16 [42]，Inception [43]，Xception [44]，Inception-ResNet [45]，MobileNet [46]，DenseNet [47]和NasNet [48]的集成使用贪婪搜索算法优化超参数[49，50]混合mSn：0.990mSp：0.990基于支持向量机[29，51]的方法，使用模糊颜色技术[53]从重构的数据中对来自预训练的MobileNet和SqueezeNet [52]的深度特征进行分类[ 53]混合mSn：0.983mSp：0.997三个轻量级预训练的SqueezeNet，ShuffleNet [54]和EfficientNet-B 0 [55]的集合在不同的深度，并在不同的抽象层次上巩固特征图[56]混合mSn：0.978mSp：0.985使用支持向量机对深度特征进行融合和排序，其中ImageNet上的预训练CNN模型用于提取COVID-19特征[57]混合mSn：0.989mSp：0.976基于DenseNet-201 [47]的转移学习使用ImageNet上的学习权重提取特征，用于将患者分类为COVID感染或未感染[58][59]mSn：0.960mSp：0.960一种基于迁移学习的方法，使用VGG，ResNet [60]，Inception或Xception中的一种在ImageNet上预先训练的深度学习模型作为骨干[61][第六十二章]mSn：0.996mSp：0.100弱监督学习模式，其中使用预训练的UNet [63]分割肺部区域;然后，使用3D网络预测COVID-19传染性的概率[64][64个]mSn：0.911mSp：0.881CNN模型的多尺度多编码器集合，聚合来自两个不同编码器及其不同尺度的输出，以获得最终的预测概率[65]混合mSn：0.997mSp：0.997先进的深度网络架构在ImageNet上提出了一种迁移学习策略，使用为每个架构量身定制的自定义大小的输入来实现最佳结果[66]混合mSn：0.996mSp：0.998一个预先训练的基于CNN的模式，同时利用多个纹理描述符和基本分类器的强度，其中数据使用重排序算法重新平衡[67]混合mSn：−mF1：0.889一种基于ResNet的深度迁移学习技术，具有前2平滑损失函数和成本敏感属性，可处理噪声和不平衡的COVID-19数据集[68]混合mSn：0.915mSp：0.948一种基于辅助分类器生成对抗网络的设计，用于生成合成图像，其中合成图像产生CNN混合mSn：0.900mSp：0.970一个框架，包括基于CNN的特征提取器和k-最近邻[70，71]，支持向量机和基于决策树[71]的分类器，使用贝叶斯算法[72]混合mSn：0.894mSp：0.998基于深度残差神经网络的架构，使用具有不同内核大小的两个并行级别来捕获输入图像的局部和全局特征[73]混合mSn：−mF1：0.967结合ResNet和Xception的分类架构，以研究深度CNN和不同数据集在构建通用COVID-19分类器方面的挑战和局限性[74]混合mSn：0.976mSp：−基于平均秩池、多路增强和深度特征融合的CNN和图CNN 被开发用于融合单个图像级特征和关系感知特征[75][第七十五章]mSn：0.963mSp：0.970基于DarkNet [76]的端到端DarkCovidNet架构[76]逐渐增加过滤器的数量，其中每个卷积层后面都是BatchNorm [77]和LeakyReLU [78]混合mSn：0.951mSp：0.953基于ImageNet上预训练的Xception架构的CoroNet模型，用于自动检测COVID-19感染，并以端到端的方式进行训练[79]混合mSn：0.993mSp：0.986比较分析不同的预训练模型，考虑几个重要因素，如批量大小，学习率，epoch数量和优化器类型，以找到最适合的模型[80]混合mSn：0.100mSp：0.967不同CNN模型的比较分析，如VGG，Resnet，Inception，Xception，Inception-ResNet，DenseNet和NASNet-Large [81]，以确定多模态图像分类的适当分类，最大限度地减少图像样本中的图像质量不平衡，作为预处理[82]混合mSn：0.820mSp：−mF1：0.820一种流水线，由采用3D和2D CNN的分割和后续分类组成，其中在3D-CNN中获得了比2D CNN更有希望的检测结果[83]mSn：0.891mSp：0.911细分将图像分割成具有类似属性（如灰度、颜色、纹理、亮度和对比度）的区域的分割是自动检测流水线的重要元素[95]。它也是COVID-19识别的基本先决条件，因为它提取肺部区域并提供有关形状，结构和纹理的解释性信息。然而，本文提出了一种应用不同图像处理算法的无监督肺部分割（LS）技术，因为在这种大流行情况下尚未提供大量带注释的COVID-19图像。图2描绘了所提出的LS方法的流水线。所提出的基于阈值的LS我们将HU单位设置为-1000到-400，该研究表明，肺部区域在该范围内，这也在许多文章中使用[96然后细化阈值化的二元肺掩模以排除不同的假阳性区域，诸如具有图像边界的连接斑点和其他小的假阳性区域和假阴性区域，诸如肺区域中的小孔。第一，消除边界连接地区。其次，使用区域属性算法选择两个最大的区域[99]。第三，形态侵蚀分离肺结节附着的血管和形态关闭，以保持结节附着肺壁最后，使用二进制孔填充算法[100]去除假阴性区域。这种无监督的基于阈值的分割方法效率更高，仅需要几秒钟，并且产生完全可再现的LS。[第八M.K. Hasan等人医学信息学解锁26（2021）1007094������表2用于COVID-19识别的所用MosMedData数据集的分布，具有简短的类别描述。专家使用强制性远程监护在家进行随访由初级保健医生在家进行随访，立即入住COVID专科医院并接受紧急医疗护理PPIIII：肺实质受累。图1.一、 从体积3D CT扫描中自动识别COVID-19的预期框架，包括必要的 整体预处理。图二、所 提出的无监督肺分割流水线的框图，而 不需要手动注释的 肺区域。增大。基于CNN的分类器在很大程度上依赖于大数据样本以避免过拟合。遗憾的是，各种医学成像领域，特别是当前的COVID-19大流行，由于手动注释的大量训练样本仍然不可用，因此数据集大小不足。在这种情况下，增强是非常休眠的预处理，用于增加训练样本，因为它们具有令人难以置信的辨别力[101]。数据扩充包含一种放大训练数据集的大小和属性的方法，基于几何的增强，包括旋转（围绕旋转闪烁2和旋转闪烁2），-25、-15、10、30和高度宽度翻转，基于强度的增强，包括添加高斯随机噪声的伽马校正和弹性变形1 在这篇文章中作为一部分，推荐的预处理。在伽马校正中使用了诸如0.7和1.7的两个伽马（gamma）值来调整亮度1https://pypi.org/project/elasticdeform/。其中，亮度的输出值和输入值������������������������������������再平衡表2中使用的数据集不平衡。这种情况在医疗诊断领域很明显，因为缺乏大量人工标注的训练样本，特别是在COVID-19数据集中。在监督学习系统中，不希望的类偏置会发生然而，我们应用了两种技术来重新平衡不平衡的类别分布，例如从公开可用的CC-CCII数据集中添加额外的CT体积（90个样本）（详见[103]）和加权损失函数以惩罚过度代表的类别。后一种方法对少数样本的类给予更多的额外考虑。这里，我们使用= scin的一部分来估计类权重���������������，其中������，���������分别表示第六类权重、总样本数和第六类样本数。在二类协议中，我们采用了两种类重平衡策略，而在多类协议中，只采用了类加权的方法类首字母缩写描述PPI指数样本（%）也不不符合肺炎，包括COVID-19，并参考–254人（22.8%）MiNCP轻度新型COVID-19阳性伴磨玻璃样阴影，= 25%684人（61.6%）MoNCP中度新型COVID-19阳性伴磨玻璃样阴影，25 - 50%125人（11.3%）SeNCP重度新型COVID-19阳性伴磨玻璃样阴影，50 - 75%45人（4.1%）CrNCP重症新型COVID-19阳性伴弥漫性毛玻璃样阴影>= 75%2人（0.2%）样本总数（%）1110（100%）M.K. Hasan等人医学信息学解锁26（2021）1007095图三. 所提出的基础网络的架构构造，输入大小为100×100，使用最小的3D补丁进行训练。这个经过训练的基础网络被用作以下较大补丁的预训练模型。最好的颜色图。(For对本图图例中所指颜色的解释，读者可参考本文的网络版2.3. 方法2.3.1. 架构深度神经网络是一种具有广泛应用的机器学习框架，从自然语言处理[104]到医学图像分类[105]，分割[105]和配准[106]。特别是，CNN已经成为计算机视觉社区中的一种流行技术。他们在不同的任务中实践，包括对象检测[107]，分类[108]和定位[109]。基于CNN的深度神经系统也在最近的大流行中被广泛采用，用于COVID-19识别[110，111]（见表1）。 CNN是一个优秀的判别特征提取器在各种抽象层次，这是不变性。因此，利用它对医学图像进行分类避免了复杂和昂贵的特征工程[112]。早期的几个CNN层学习低级图像特征，后期层学习特定于应用类型的高级图像特征[91]。然而，2D-CNN经常用于自然RGB和灰度图像中，仅在二维中提取空间特征[43]。 2D-CNN还可以应用于获取CT、MRI或类似扫描的横截面2D切片的体积医学图像数据集。然而，最近的实验结果已经揭示了3D-CNN优于2D-CNN的优势，其中3D-CNN接受体积空间信息作为输入[113]。由于体积3D医学成像任务的空间体素信息的丢失，传统的2D-CNN的有效性降低。实践3D-CNN（卷积和池化操作的3D空间实现）以克服如2D-CNN中的空间体素信息损失。使用3D-CNN，图像在空间方向上变得可缩放，从而允许使用不同帧大小进行准确的图像检测[114]。因此，我们提出了一种基于3D-CNN的分类器来从体积CT扫描中识别COVID-19图3表示我们提出的COVID- 19基础分类器的构造结构。1.一、 图中的基础网络。3实质上由特征提取器和特征分类器两个模块组成。 前一个模块是卷积、池化和批量归一化的堆栈层，而后一模块是跟随有softmax层的全连接层的堆栈。此外，我们涉及用于所有特征提取器模块组件的3D层，以对体积医学图像进行操作，以提取最具鉴别力的特征，这既考虑了切片内和切片间空间体素信息。在我们的网络中，每个具有RectifiedLinear Unit（ReLU）激活的3D卷积层后面都有一个3D最大池化层，其中池化层增加了网络的平移不变性。然后，池化的特征图被用作连续层的输入，其可以在每个训练时期的训练期间动态地改变[92]。更大的变化往往会给搜索最优参数或超参数带来困难;达到最优值的计算成本往往很高[77]。通过在我们的网络中集成批量归一化层来缓解这样的问题[77]。它还有助于在更少的时间内顺利训练网络架构[92]。全局平均池（GAP）[115]用作特征提取器和特征分类器模块之间的桥梁层，将特征张量转换为单个长连续线性向量。在GAP中，每个对应的类别只生成一个特征图，实现了更极端的维度压缩以避免过拟合[115]。dropout层[116]也被用作正则化器，它通过我们的网络训练随机将全连接层的一半激活设置为零。再次，如前所述，CNN严重依赖于大规模数据集来绕过过拟合并构建通用网络。 带注释的医学图像的采集难以积累， 因为医疗数据收集和标记面临数据隐私，需要耗时的专家解释[117]。 有两个一般的解决方向：积累更多的数据，如众包[118]或挖掘现有的临床报告[119]。另一种技术是研究如何用小数据集来增强CNN的成就，这是非常重要的，因为从研究中获得的理解可以迁移医学成像领域的数据不足[117]。迁移学习是一种广泛采用的方法，用于提高数据集不足的CNN的性能[120]。根据我们最值得信赖的知识，没有用于从具有有限样本的体积胸部图像中识别COVID-19的公共预训练3D-CNN模型。因此，我们通过训练我们的基础模型来创建一个预训练模型（见图1）。3）从全胸部CT扫描中提取的3D补丁（详见第2.3.2节）。然后，我们将补丁的大小加倍， 并 将 它 们 用 于 训 练 修 改 后 的 基 础 网络，其中我们还将基础模型的输入大小加倍，应用卷积，池化和批量归一化层的堆栈（详见图10）。 4）. 在同一M.K. Hasan等人医学信息学解锁26（2021）1007096++图四、所提出的逐步调整大小的网络的架构结构，其中的基础模型（见图。 3），输入尺寸为×，使用较小的3D补丁进行训练。然后，输入大小是基本网络大小的两倍，称为第一次渐进式这个过程一直持续到我们达到原始给定的CT扫描尺寸。最好的颜色图。（关于此图例中颜色的参考解释，请读者参考本文的网络版本。同时，我们为较小的补丁保留基本模型的训练权重。我们重复放大（100倍）补丁和网络大小，直到我们达到所提供的CT扫描这种培训称为渐进式训练[121]，其中训练从较小的图像尺寸开始，然后是尺寸的渐进扩展。这个训练过程一直持续到最后一个补丁，网络大小是与初始图像尺寸相同这台机器是：英特尔®酷睿TMi7-7700 HQ CPU@3.60 GHz处理器与安装内存（RAM）的32.0 GB，和GeForce GTX 1080 GPU与内存的8.0GB（GDDR5）。我们通过采用许多指标来评估所有的实验结果，如召回率，精确度和F1分数，从不同的角度来评估它们。这些度量的数学公式在等式中提供（一）.2.3.2. 训练协议我们首先提取五个不同大小的补丁（见图1）。（5）开始实验。我们进行消融研究，你知道吗，���你知道吗，���（一）第3.1节寻找最佳贴片尺寸。图中的基础网络的权重。 3是用Xa vi er 正态分布初始化的。的���1−���������������2 ×++，第一逐步调整大小的网络的权重被初始化为 基本网络的权重。通常，对于原始CT体积大小为×× ×的网络，使用图块大小为（scin2）×（scin2）×（scin2）的网络的权重初始化图块大小为（scin2���+1）×（scin2���+1）×（scin2���+1）的网络的权重。���������������网络中每一层的滤波器都是用“正态”分布初始化的分类交叉熵和准确性分别用作本文中所有网络的损失函数和度量。我们使用Adam[122]优化器，初始学习率（L），指数衰减率（λ1，λ2）为L =0.0001，无AMSGrad [123]变体时，分别为101= 0.9和102网络的优化也采用了指数衰减的LR调度初始epoch设置为200，如果验证性能在15epoch后停止增长，则终止训练。2.4. 硬件和评价标准我们使用Python在Windows-10机器上执行所有综合实验，使用各种Keras [124]和图像处理API以及MATLAB编程语言。前一种Python语言用于实现深度学习框架，后一种MATLAB语言用于访问体积医学图像的NIfTI工具2所用器械配置2https://in.mathworks.com/matlabcentral/profile/authors/757722。其中TP、FP和FN分别表示检测的真阳性、假阳性和假阴性。召回措施的第二类错误（患者有积极的COVID-19特征错误地放弃被废除）。相比之下，精度估计阳性预测值（所有阳性识别中的一部分绝对阳性识别）。查全率和查准率的调和平均值使用F1分数来表示，从而在这两个指标之间进行权衡。此外，我们还使用受试者工作特征（ROC）及其ROC曲线下面积（AUC）值来量化匿名挑选的CT样本的预测概率。3. 结果和讨论在本节中，报告了不同实验的结果，并进行了全面的讨论。在第3.1节中，我们给出了利用各种3D补丁进行COVID-19识别的结果，并将其与相同实验条件和网络下的原始CT图像利用进行了比较。我们将在3.2节中讨论在单个固定尺寸上的渐进迭代的结果。我们展示了不同的预处理方法对COVID-19识别的影响 第3.3节。在本小节中，我们还研究了统计ANOVA测试，以验证针对目标任务提出的预处理。最后，在第3.4节中，我们使用我们提出的网络和预处理来分配二元和多类COVID-19分类的结果。M.K. Hasan等人医学信息学解锁26（2021）1007097图五. 如前所述，具有不同尺寸的各种提取的补丁的示例，其中补丁1至6分别显示在a）至f）中。每一个中间的切片在MosMedData数据集中显示了相同样本（study_0258.nii.gz）的3D贴片使用ITK-Snap窗口版本捕获切片3.1. 补丁程序选择我们提取五个不同的3D补丁，命名为1，2，3，4，5个，尺寸分别为16 × 16 × 9，32 × 32 × 12，64 × 64 × 15，128 × 128 × 20和256 × 256 × 27。 将尺寸为512 × 512 × 36的原始CT扫描命名为6。的高度和宽度贴片5是贴片6的一半，而贴片4的这些尺寸是6的四分之一，以此类推。我们提取2 × 10 - 4个面片，以使高度和宽度减少1 × 10 - 4倍。���因此，我们训练用71040（=2.6 × 1110）、35520（=2.5 × 1110）17760（= 24 × 1110）、8880（= 23 × 1110）、4440（= 22 × 1110）和11103D体积1到6的样本。提取的补丁的例子如图所示。 5，其中我们选择相同CT扫描的提取的块的中间切片。图5中的各种补丁赋予它们各自的分辨率，其中可以看出补丁1和补丁2表现出非常低的分辨率，这可能会降低网络的学习能力。然而，这些补丁分辨率的影响是通过分类NOR与NCP类别来判断的（参见第2.1节中的类别详细信息）。分类结果如图所示。6对于所有补丁（1到5）和原始CT扫描（6），使用我们的3D网络，没有任何类型的预处理。结果确定，输入1个补丁的网络输出COVID-19识别，NOR类和NCP类的II类错误分别为69.0%和25.0%。这样的结果证实，NCP类已被更准确地识别（44.0%以上的NCP类），指出分类器偏向于NCP类。另一方面，利用补丁2产生的识别结果与第二类错误为56.0%和39.0%的NOR和NCP类，这减少了这两个类之间的差异（只有17.0%以上的NCP类）。虽然1补丁有两个样本，但它无法提供与2补丁这是因为有一个更好的决议，在2补丁比1补丁（见图。5），其他实验设置保持不变。在1和2个补丁上的这些结果表明，分辨率显著降低会降低CNN的性能，因为分辨率较低的图像可能会丢失形状和纹理信息。再次，补丁3进一步改善了识别结果，对于NOR和NOR，II型错误分别为54.0%和28.0%，NCP类。大致上，贴片4也提供与贴片3类似的结果。值得注意的是，从这些实验中，3或4块的样本比1少得多（分别为4倍和8倍）;尽管如此，它们优于相同实验设置的1和2块的识别结果。此外，补丁5的使用进一步降低了性能（NOR类和NCP类的II类错误分别为6.0%和99.0%）。这样的结果解释了它产生了一个更偏向于NCP类的模型。图图5示出图块4和图块5在视觉上看起来相似，但是图块4具有截至图5的两倍样本。五、这个实验表明，如果输入图像的分辨率相似，则具有较少的样本也会产生类偏置分类器最后，具有原始图像的网络也提供了与补丁5中一样的较低的COVID-19识别性能（参见图6）。 实验结果表明，我们的网络具有3或4补丁有更好的识别效果。这样的实验结果毫无疑问地证明了输入分辨率和样本数的作用在基于CNN的分类器学习中起着重要的作用。不幸的是，我们不能增加样本的数量，采取较小的补丁大小的给定图像在基于补丁的策略，因为它有一个浅的分辨率，这对分类器产生不利3.2. 渐进式大小调整上述结果表明，利用更好的分辨率和更多的样本数量增加了CNN的图像识别性能。因此，我们建议采用我们提出的3D-CNN的渐进式搜索（详见第2.3节）。首先，我们开始用一个合适的3D补丁来训练推荐的网络，其中包含来自先前实验的更多训练样本，作为基础模型。然后，我们将一些CNN层添加到具有更高分辨率的基础模型（在本文中是2倍），其中基础模型被用作预训练模型（参见第2.3节中的详细信息）。最后，我们重复这个网络迭代，直到我们达到原始给定的CT大小（6）。这种渐进性AUC的结果呈现在表3和ROC曲线（具有各自的AUC）中的混淆度量中M.K. Hasan等人医学信息学解锁26（2021）1007098预测预测预测表3归一化混淆矩阵采用我们的网络与渐进式分辨率，其中我们逐渐增加输入分辨率从4到5，然后到6（原始分辨率）。 第一个表（左）表示分辨率为4，第二个表（中）表示分辨率为4<$5，最后一个表（右）表示分辨率为4<$5<$6。实际实际4⟼5实际4 NORNCP NOR24.26%13.52%NCP75.74%86.48%45NORNCP NOR21.08%5.38%NCP78.92%百分之九十四点六二56NORNCPNOR39.22%9.30%NCP60.78%90.70%见图6。 二进制分类来自我们的3D-CNN，利用不同的3D补丁大小，其中分别带有点，水平线，星形和对角线阴影的条表示NOR类和NCP类的查全率和查准率。最好的颜色图。(For为了解释该图图例中对颜色的引用，读者可以参考这篇文章的WEB版本）。见图7。 我们的3D网络的渐进式扩展的ROC曲线。最佳视野颜色的数字。(For对本图图例中所指颜色的解释，读者可参考本文的网络版值）中。7 .第一次会议。为了更详细地分析鉴定结果，表3中的混淆矩阵指出，当利用具有8880个样本的3D补丁4时，24.26%-NOR样本被准确地分类为NOR，而86.48%-NCP样本被正确地分类为NCP。因此，该训练被设置为基本模型。现在，采用基础模型作为预训练模型，使用5个补丁，4440个样本，将NCP的假阴性率降低了8.14%，尽管假阳性率增加了3.18%（参见表3（左和中））。这是一个第一次渐进式的训练（4-5）。同样，采用4.5作为预训练模型，6（原始CT扫描），1110例样本，NCP的假阴性率增加3.92%，仍低于基线假阴性率13.52%。它还将假阳性率降低了18.14%，其小于前两个假阳性率（参见表3中的所有表格）。此外，所提出的最终逐步调整大小的网络（4 × 5 × 6）获得的AUC为0.754，这表明对于任何给定的随机CT样本，正确识别COVID-19的概率高达75.4%（见图10）。 7）。它已经超越了底线4和4 × 10 - 5的AUC分别降低17.0%和7.70%，如图所示。7 .第一次会议。图中的ROC曲线。7也说明， 在给定假阳性率的情况下，4×5 ×6方法获得真阳性率的可能性明显高于其他两种方法。虽然最终逐步调整大小的网络（4英寸）5-6 ）具有原始CT扫描的输入，其性能比 单独使用6的网络训练要好得多（见图1）。6）。从先前的较小的补丁输入网络的知识是负责实现更好的结果比所提出的网络的滤波器内核的随机初始化。本小节的所有上述讨论都通过实验证明了COVID-19识别的渐进式优先权，而不是使用单一尺寸输入CT扫描进行训练3.3. 优先就业本小节展示了我们逐步调整大小的3D网络的COVID-19识别结果，对消融研究采用了不同的预处理，如增强、分割和类别重新平衡。在本小节的最后，引入的预处理的有效性已通过应用统计方差分析测试进行了验证。表4给出了不同的实验结果，其中我们明确地说明了用于从体积胸部CT扫描识别COVID-19的每个预处理的结果。在没有渐进式重建和原始CT扫描输入的情况下（6），基线模型产生的识别结果较低，导致NOR和NCP类别的II型错误分别为86.3%和1.7%，从而产生了高度的类别不平衡结果。加权平均Ⅱ类误差仅为21.1%，平均阳性预测值为77.2%。M.K. Hasan等人医学信息学解锁26（2021）1007099表4COVID-19识别结果来自我 们 的 3D-C NN 网 络 的MosMedData数据集，使用各种推荐的 预处理。按类和加权平均度量不同的实验调用精度NORNCP 平均值NOR NCP平均值基准模型0.137 0.983 0.789 0.700 0.793 0.772逐步调整网络（PRN）0.392 0.907 0.789