COVID-19计算机断层扫描图像的特征关注层与数据增强方法的研究

沙特国王大学学报用于COVID-19计算机断层扫描图像Özgür Özdemira，Elena Battini Sönmezaa土耳其伊斯坦布尔比尔基大学计算机工程系阿提奇莱因福奥文章历史记录：2021年5月22日收到2021年7月1日修订2021年7月7日接受2021年7月15日在线提供保留字：COVID-19分类计算机断层扫描（CT）图像混淆数据扩充注意事项A B S T R A C T冠状病毒疾病正在全球迅速蔓延，紧急情况仍无法控制。深度学习算法的最新成果表明，使用深度卷积神经网络来实现计算机辅助诊断系统，用于COVID-19 CT图像的自动分类。在本文中，我们建议使用特征关注层来增强卷积网络获得的区分特征。此外，使用混合数据增强技术，网络的原始性能得到了改善。这项工作比较了拟议的基于注意力的模型与堆叠的注意力网络，以及传统与混合数据增强方法。我们推断，特征方面的注意力扩展，虽然优于堆叠的注意力变体，但在基线卷积神经网络上实现了显着的改进。也就是说，使用特征关注层扩展的ResNet 50架构获得了95.57%的准确率，据我们所知，这修复了具有挑战性的COVID-CT数据集的最新技术。版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍2020年1月30日，世界卫生组织宣布COVID-19为国际关注的突发公共卫生事件（WHO，2021 b）。冠状病毒是由被包膜和蛋白质刺突包围的遗传物质的核组成的一大组病毒，其赋予病毒冠状或冠状的形状。某些类型的冠状病毒会引起轻微的呼吸道疾病，但其他类型的病毒会引起严重的疾病。2019年新型冠状病毒（2019 NCOV）或COVID-19首先在中国被发现，并迅速蔓延到世界各地。COVID-19的常见轻微症状为发烧、咳嗽、呼吸急促，而较严重的病例则出现肺炎、肾衰竭和死亡。世界卫生组织（WHO，2021a）网站每日更新数据：截至2021年6月30日，全球*通讯作者。电子邮件地址：ozgur. bilgi.edu.tr（电子邮件地址：Ozdemir）。沙特国王大学负责同行审查制作和主办：Elsevier目前，一些国家正在推动疫苗接种运动，但疫苗的数量不足以满足全世界人口的需求，控制疾病的最佳战略仍然是识别和隔离感染者。冠状病毒可通过逆转录聚合酶链反应（RT-PCR）检测进行诊断;然而，在许多情况下，由于缺乏可用的RT-PCR检测试剂盒或试剂盒数量非常有限，无法对疑似病例进行及时诊断，这些病例将在无意识中继续传播疾病（WHO，2021 a）。此外，RT-PCR不能准确地确定疾病的严重程度（Jiang等人， 2020）;也就是说，经验结果表明胸部计算机断层扫描（CT ）的灵敏度高于RT-PCR 检测（Fang，2020）。作为替代方案，高分辨率CT扫描可成功用于评估COVID-19的急性程度，并可支持医生在随访期间跟踪疾病转化（Jiang et al.，2020;Pan等人，2020; Li和Xia，2020）。也就是说，最近在医学领域的研究，同时确认有必要尽早及准确诊断COVID-19，以减少死亡人数，促进高分辨率CT作为COVID-19疾病诊断及跟进的重要工具。更详细地说，在2019年严重NCOV疾病患者的胸部CT中，可以观察到磨玻璃样混浊（Glucose）和Glucose周围的斑片状实变。成功的治疗可以减小这些斑点的大小，高分辨率CT可以跟踪这些进展（Jiang et al.，2020;Pan等人，2020; Li和Xia，2020）。https://doi.org/10.1016/j.jksuci.2021.07.0051319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com单位Özdemir和Elena Battini Sönmez沙特国王大学学报6200需要强调的是，CT无法确定哪种病毒会导致肺炎，然而，考虑到目前的紧急情况，随着COVID-19的高水平传播，CT在医院中得到了实际应用，肺炎患者被归类为COVID-19阳性（Yang et al.，2020年）。此外，深度学习算法的最新进展表明，可以使用计算机辅助诊断（CAD）系统来支持一线医生使用CT图像对COVID-19进行有效分类总的来说，虽然已经进行了几项研究，提出了一个可靠的CAD系统的COVID-19，注意力机制的贡献还没有被分析。这项工作旨在填补这一空白。本文的主要贡献是：（1）提出了一种用于医学图像的自组织网络，该网络利用连接到卷积网络的附加特征关注层;（2）将所提出的特征关注层的性能与堆叠关注架构进行比较;（3）使用所提出的模型和混合数据增强策略，在公开可用的COVID-CT数据集上实现最先进的精度其余的工作安排如下。第2节概述了深度学习用于医学图像分类的先前工作，特别关注COVID-19。第3节通过描述所使用的深度神经网络架构，介绍注意力机制和混合神经网络，详细介绍了所提出的方法。本研究中使用的数据增强技术。第4节介绍了实验结果和讨论。最后，在第5节中得出结论.2. 深度学习用于COVID-19分类的先前工作目前，深度网络在许多领域达到了最先进的性能，例如图像分割（Girshick等人，2014; Long等人，2015年; He等人，2016; Chen等人，2018;Biswas等人，2020;El-Nouby等人，2021年; Yuan等人，2021;Huang 等 人 ， 2021 ） 、 图 像 分 类 （ Krizhevsky 等 人 ，2012;Sermanet等人，2013; He等人，2016年; Huang等人，2017;翟例如，2021;El-Nouby等人，2021年; Yuan等人，2021; Huang等人，2021）、对象检测（He等人， 2016; Lin等人， 2017; Hou等人，2017年; Zhang等人，2020;El-Nouby等人，2021; Huang等人，2021）、图像字幕（Vinyals等人，2017; Karpathy和Fei-Fei，2017;Rennie等人， 2017; Aneja等人， 2018; Hossain等人，2019）和人类动作识别（Liu et al.，2018;Farrajota等人，2019年; Liu等人，2021年）。同样在医学领域，深度网络是许多研究领域的最新进展，范围从肺毛玻璃样不透明结节的分类（Wang等人，2021），乳腺图像上良性和恶性肿瘤的分类（Kriti和Agarwal，2020; Pan，2020;Tripathi等人，2021; Shia和Chen，2021），皮肤病变的多类分类（Iqbal等人，2021; Liu等人，2020）、帕金森病的检测和表征（Salazar等人，2020）和阿尔茨海默病（Shao et al.， 2020年）。所有提到的成功都表明，使用深度学习可以帮助应对COVID-19的大流行，并且已经使用2019年NCOV的CT图像展示了几个仅举几例，Li（2020）收集了一个CT扫描数据库，其中包含来自3，322名患者的4，352张图像;他们使用深度CNN分析数据集，并得出结论，深度学习模型可用于准确区分COVID-19、肺炎和其他肺部疾病。Butt等人（2020）解决了2类问题（COVID，非COVID），考虑了2019年NCOV、流感病毒性肺炎和无感染患者的CT扫描事实证明，深度学习模型的灵敏度和特异性优于RT-PCR测试。 Zheng等人（2020）使用预先训练的U-网络对3D CT胸部扫描进行分割，然后输入3D CNN以给出COVID-19感染的概率 Gozes等人（2020）利用2D和3D深度学习模型对冠状病毒疾病进行分类和监测;即拟议的计算机辅助诊断系统以高准确性检测2019年的NCOV，并在此期间测量疾病的进展。Song等人（2020）开发了一个精确的计算机辅助COVID- 19诊断系统，该系统使用胸部CT扫描进行训练和测试;更详细地说，图像收集自88名受冠状病毒病影响的患者，101名诊断为细菌性肺炎的患者和86名健康人。分类结果是有希望的;此外，该模型可用于定位毛玻璃样混浊（GGO），以支持一线医生。Wang等人（2020）修改了现有的深度学习模型，以处理新创建的1，065张CT图像数据库的胸部CT扫描，分为COVID-19病例（325张图像）和典型病毒性肺炎（740张图像）。Mostafiz等人（2020）提出了一种新的架构，使用深度CNN和离散小波变换进行特征提取，从胸部X射线图像中检测COVID-19。所有这些工作都是深度学习在医学领域潜力的重要见证;不幸的是，大多数使用的数据库都不是公开的。Heetal. （2020年）创建了COVID-19计算机断层扫描（CT）图像的开放获取数据集，即COVID-CT。该数据库包括216名COVID-19患者的胸部CT该数据库的CT图像是从medRxiv、bioRxiv和其他分发未发表的健康预印本的互联网网站上发表的通过使用来自肺部创伤分析（LUNA，2016）数据集的图像增强COVID-CT数据集，He等人（2020）在DenseNet架构上应用了迁移学习（Huang等人，2017），并达到（F1，AUC，准确度）评分(0.85，0.94，0.86）。需要强调的是，由于COVID-CT数据集中的图片来自不同的预印本，因此存在几个干扰因素，例如尺寸、分辨率、照明、对比度，这增加了系统的复杂性。Yang等人（2020）通过仅将降级的CT图像用于训练来解决这个问题;中国武汉同济医院捐赠的原始CT图像用于验证和测试。更详细地说，他们手动提取CT图片，并通过阅读图像的标题对其进行标记;存储多个CT图像的图片被手动分离为单个CT。结果，数据集存储（349，397）（COVID，非COVID）图片的CT图像。通过他们的对比自我监督学习（Hadsell等人，2006）和迁移学习方法（F1 =0.90，AUC = 0.98，准确度= 0.89）被医院的高级放射科医生判定为“足够好”。最后，Ahuja等人（2020）对COVID-CT数据集进行了另一项研究，提出应用数据增强技术来缓解图像数量有限的问题。他们在增强数据集上使用了一个预训练的ResNet18网络，结果获得了99.8%的最高准确率。然而，本研究与上述作品以及我们的研究之间的比较并不公平，因为与目前可用的测试集相比，他们的测试集包含的样本较少。另一方面，他们利用他们的方法从CT图像中发现COVID引起的异常。3. 方法3.1. 深度卷积神经网络深度卷积神经网络（CNN）是深度神经网络（NN）的生物启发的2维（2D）变体，其目前在若干计算机视觉和图像处理任务上保持性能记录（Krizhevsky等人，单位Özdemir和Elena Battini Sönmez沙特国王大学学报6201×ð Þ2012; Sermanet 等 人 ， 2013; Girshick 等 人 ， 2014; Long 等 人 ，2015;Vinyals等人，2017; Hou等人，2017; Farrajota等人，2019年;Xu等人，2020; Zhang等人，2020年）。Deep CNN的另一个优点是“易于使用”，因为它们自动将输入信号分解为不同抽象级别的一组特征，并对其进行分类。换句话说，隐藏层是网络中与特征对应的层，而深度模型具有一次性进行特征提取和分类的优势，克服了经典机器学习算法的两步过程（LeCun等人， 2015年）。CNN的两个基本层是卷积层和下采样层。虽然卷积层通过在图像的顶部卷积2D滤波器（即，2D中的权重集合）来创建特征图，但是下采样层从输入2D特征图的非重叠分区中提取统计数据，例如，最大池层从大小为n的每个补丁中返回最大值。深度CNN的架构取决于隐藏层的数量，即模型的深度，每层使用的滤波器的数量，即输出通道的数量、使用的特殊块的类型，例如，具有不同基数的残差块和关注块。自 2012 年 Krizhevsky 等 人 （ 2012 ） 凭 借 AlexNet 架 构 赢 得ImageNet大规模视觉识别挑战赛（ILSVRC）以来，Deep CNN开始受到广泛关注。在此之后，已经提出了几种架构，例如ConvNet或VGGNet （ Simonyan 和 Zisserman ， 2014 ） ， Inception 模 块（Szegedy等人，2015）、Resnet（He等人，2016）、ResNext（Xie等人， 2017）、DenseNet（Huang等人， 2017）和AttentionNet（Wanget al.， 2017年）。与以前的架构相比，残差网络（ResNet）的关键变化（He等人，2016）是使用残差块，其将原始输入x添加到输出特征F x，其通过用一个或多个卷积层处理输入x来计算。也就是说，虽然在经典的深度CNN中，每个层都被馈送有前一层的输出，但当使用残差块时，一个层可以馈送下一层和其他层，这些层在架构中领先2-查看块的架构，可以推断残差块的目的是学习输出信号与输入信号之间的差（或残差）。残差块的使用解决了与深度网络相关的两个主要问题，即消失梯度和退化问题，并导致性能的提高。自2015年以来，ResNet的成功吸引了许多研究人员，他们提出了原始架构的几种变体。ResNeXt模型（Xie等人，2017）引入了“基数”的概念，这是NeXt维度，深度网络的新超参数。Xie et al.（2017）声称，这个新参数更有效地提高了网络的准确性。 ResNeXt（Xie等人，2017年）在ILSVRC 2016比赛中获得第二名。在残余层连接成功之后，Huang等人（2017）提出的密集网络架构通过承载残余信息并将所有层与其先前层连接来推进。由于信息沿着网络的深度传播，因此所有层中的特征提取器通道可以更薄。由此产生的网络是更紧凑相比，渣油-双连接架构。这项研究提出了一种新的深度网络架构，它使用上述卷积网络作为特征提取器的骨干，并利用注意力机制来加强类别的区分特征。将扩展的深度CNN 架构的性能与另一个注意力网络AttentionNet（Wang等人，2017年）。新引入的注意力架构将在下一节中描述算法1：所提出的网络的训练。3.2. 注意机制医学图像在狭窄的区域内具有可区分的特征;在冠状病毒疾病的情况下，CT胸部扫描由专家医生阅读，他们知道“要找什么”，即毛玻璃影（GCT），以及“在哪里”搜索。用于COVID-19 CT图像自动分类的计算机辅助诊断系统的实现必须特别设计以处理以下列出的特殊问题：当病变区域很小时，对整个图像的工作是错误引导的，并且当伤口靠近图像中的边缘时，情况变得更糟，这将为分类器产生大量噪声，降低分类性能。在深度学习环境中，所有这些问题都可以通过注意力机制来解决。最 近 引 入 的 残 余 注 意 力 网 络 Wanget al. （ 2017 ） ， 即AttentionNet，是一种利用残余学习的堆叠注意力架构。考虑到不断增加的大小会导致学习困难，Wang et al.（2017）利用残差模式来缓解问题。此外，AttentionNet包含子注意模块，其中每个模块由残余主干和注意掩码分支组成。包括残留CNN层的主干分支提取单位Özdemir和Elena Battini Sönmez沙特国王大学学报62022½]PKXF半]×ðÞ×注意掩模分支从输入集合中提取特征，而注意掩模分支通过连续地应用最大池化下采样和线性插值上采样操作来强调所提取特征的重要性剩余注意力网络在摄影图像中取得了很好的效果，但该模型在医学图像中的成功尚未得到研究。这项工作建议利用连接到特征提取网络的扩展层来实现注意力机制，而不是堆叠注意力模块，如Bahdanau等人（2015）。利用CNN组件来创建特征映射。随后，将获得的特征映射与映射的隐藏状态一起馈送到特征方面的注意力层，其模仿递归神经网络（RNN）的递归行为，以便学习邻近信息。更详细地，上下文向量c被计算为具有维度Da的关注特征ai和具有维度Df的特征映射f;此外，隐藏状态hi被sigmoid函数r利用。在公式中：hi<$rhi-1f1a扩展X¼bX11-bX22ayby11-by22b其中b0; 1是从beta分布中采样的。图2显示了混合操作和通过该操作获得的样品受Sato等人在脑PET图像上工作的成功结果的启发（Sato等人，2020），我们使用混合数据扩充技术来提高网络的泛化能力。实验结果表明，与传统的数据增强方法相比，混合技术在性能上有了重大改进。4. 实验4.1. 数据集本研究使用He等人收集的公开可用的COVID-CT数据集。（2020）;Fig. 3显示了数据集的样本图片，并强调了数据库中存在的几个干扰因素，如低分辨率、照明变化和低对比度。为了提高网络的泛化能力ai<$Dak<$1Dfexph1b已经使用数据增加技术准备了训练集的两个变体。第一个实验遵循传统的方法和图像增强垂直翻转和运行-c¼aif1c1/1因此，上下文向量被馈送到具有softmax激活的全连接网络中，以便创建网络预测的概率分布。图1表示所提出的模型。算法1给出了训练网络的伪代码。与Wang et al.（2017）的AttentionNet相比，引入的特征注意力网络具有与架构无关的巨大也就是说，所提出的模型通过不需要对深度CNN进行任何内部修改来保持端到端的训练和直接实现此外，由扩展组件使用所提出的注意机制的另一个优点是在网络大小方面也就是说，尽管隐藏状态和注意力权重开销，但与堆叠注意力网络的类似深度变体相比，特征注意力网络的大小较小此外，所提出的注意力机制增加了OD2：D一个额外的开销，如等式中所给出的。1、网络的整体复杂性。与网络大小的比较类似，特征注意力层所需的时间复杂度小于堆叠注意力网络。表1给出了网络大小FLOP值的详细信息3.3. 数据增强神经网络需要用大量数据进行训练，而COVID-CT数据库的维数非常小，这使得数据增强技术成为必要的预处理步骤。数据增强允许简单地通过修改现有图像来增加训练图像的数量。常用的数据增强方法有随机裁剪、水平和垂直翻转、旋转、缩放、添加噪声、改变照明条件等。混合数据增强技术由Zhang et al.（2017）引入。Mixup通过混合两个原始图片的像素（类y1的X1和类y2的X2）来构建新的人工训练样本X。在公式中：DOM对比度偏移，通过从区间0： 8; 1： 0中随机选择的因子。作为替代，在第二个实验中，混合数据增强技术已被用于原始训练集。在这两项试验中，增强的数据导致573次COVID和702次非COVID CT扫描。表2详细说明了原始和增强训练集、验证集和测试集中（COVID非COVID）图像的分布有趣的是，随着增强，训练图像的总数从（191 +234）425变为（573 + 702）1275，相当于增加了300%。 结果，虽然原始数据库总共有（425 + 118 + 203）746张图片（57%训练，16%验证，27%测试），但增强的集合有（1275 + 118 + 203）1596张图片，分布为（80%训练，7%验证，13%测试）（见图1）。4）.4.2. 实验装置在所有的实验中，所有的图像都被调整为固定的大小，256 256;像素值被归一化为内部[0，1];训练和验证集被分成固定大小为32的小批量。所有网络都经过了100个epoch的训练，并存储了在验证集中获得最佳准确度分数的最佳权重。使用交叉熵函数计算误差，并使用Adam优化器，学习率为2 10-5最后，b的混合值（在等式2中）2)从Beta 0： 2; 0： 2分布中随机选择。我们使用常见的卷积网络和AttentionNet架构运行了几个实验。网络权重初始化为随机值或在ImageNet数据集Krizhevsky et al.上预训练的网络值，2012年。对于AttentionNet结构，使用了Wang等人（2017）所描述的配置;对于利用特征式注意力层的网络，特征映射的维度和注意力权重分别被设置为512和256。所有实验都在单个Tesla T4 GPU上进行，100 epoch训练大约需要20分钟。网络实现在PyTorch中完成。1为了重现性，训练网络的实现和权重将在论文发表后共享21https://pytorch.org/。2我们的代码可从https://github.com/ozgurozdemir/feature-wise-atten-tion-for-covid-detection获得。单位Özdemir和Elena Battini Sönmez沙特国王大学学报6203图1.一、 建议网络。分别代表特征图、隐藏状态、上下文向量和预测。表1本研究中使用的网络大小。参数和FLOP数量分别以百万和十亿为单位。类型网络参数（M）FLOP（B）智能注意ResNet50 24.69 5.41ResNet101 43.68 10.29ResNext5032×4d 24.16 5.61宽ResNet50 68.0 14.97DenseNet121 7.6 3.79DenseNet201 19.2 5.74VGG13 131.1 14.82VGG19 141.8 25.71StackedAttention Attention Net56 29.78 8.32关注网92 50.43 13.944.3. 结果和讨论最初，我们在不同的卷积神经网络架构上进行了实验，为我们提出的注意力机制选择可能的骨干。 在这些实验中，网络权重被随机初始化，或者使用在ImageNet数据集上预训练的网络的值初始化（Krizhevsky等人，2012年）。表3列出了纯卷积神经网络使用原始COVID-CT训练集训练的网络，即无增强，并用COVID-CT测试集进行测试。尽管存在一些不一致的事实，但该表表明使用预训练值初始化权重可以提高性能。考虑到表3的结果，成功的网络已被选择用作我们提出的注意力架构中的骨干特征提取器表4比较了纯卷积网络及其变体的性能，这些变体利用了特征注意力层。从表中可以推断出，添加注意力层总是会提高模型的初始性能。此外，该表证明了所提出的特征注意力层在每个架构中的表现优于堆栈注意力对手AttentionNet最终，ResNet50+ Attention模型取得了与其他网络最好的性能兼容性。此外，为了提高网络的泛化能力，对训练集采用了传统的和混合的数据增强技术。表5比较了这些技术在特征和堆叠注意力网络上的性能提升。表5中报告的结果强调了大多数模型受益于混合数据增强技术。图二. 混合数据增强方法。(a)混淆操作。(b)通过来自训练集的混淆增强的样本。单位Özdemir和Elena Battini Sönmez沙特国王大学学报6204×图3.第三章。 来自COVID-CT数据库的图像（He等人， 2020年）。顶行：COVID-19的CT扫描;底行：健康患者的CT扫描表2COVID-CT数据集中的图像分布（He等人， 2020年）。设置COVID非COVID培训191234培训（含8月）573702验证6058测试98105除了对分类性能进行评估的实验之外，还进行了消融研究，以观察所提出的注意结构上的各个组件的一致性。虽然表4突出了纯卷积网络和所提出的方法之间的比较，但注意力网络包含辅助层，例如隐藏状态（图1），这可能会影响结果。为了进行公平的比较，已经采用了完整的体系结构（骨干+注意力），但是各个组件的权重已经被冻结。如表6所示，特征提取器阶段对结果的贡献是主要的，而特征关注层是第二个信号。重要组成部分。最后，通过冻结隐藏层得到了性能下降最小的结果，证明了隐藏状态分量的辅助作用。考虑到COVID-CT数据库的先前工作，He et al. （2020）使用新设计的迁移学习策略在COVID-CT数据库上达到了86%的最高准确率，并通过LUNA的图像进行了增强（LUNA，2016）。尽管我们的结果无法与Yang等人（2020）的结果进行比较，因为他们仅使用COVID-CT图像进行训练，并且验证和测试集中使用的原始CT扫描尚未公开，但他们达到了89%的最高准确度得分。Ahuja等人（2020）进行的另一项研究实现了99.4%的准确率和99.6%的F1得分，然而，由于训练集和测试集的分布与最近可用的数据集不同，因此他们的网络使用较少的样本进行测试。综上所述，扩展了特征关注层的ResNet 50和ResNext 50 32 4d架构以及使用混合技术增强的训练集获得了95.57%准确率的最佳性能，这是在新发布的COVID-CT数据库上达到的最佳结果。见图4。训练模型的ROC特征曲线（a）无数据增强（b）有数据增强。单位Özdemir和Elena Battini Sönmez沙特国王大学学报6205表3卷积网络的性能;所有训练都没有数据增强。复选标记表示网络的权重是使用ImageNet上预先训练的值初始化的。其他网络的权值被随机初始化*CE代表交叉熵损失。网络预训练CE*精度F1AUC特异性灵敏度ResNet500.630.750.740.750.740.76U0.610.760.730.760.850.67ResNet1010.660.640.600.640.720.55U0.650.790.780.790.780.80ResNext5032×4d0.660.830.820.830.880.79U0.610.780.790.780.740.83宽ResNet501.050.680.660.680.700.65U0.870.750.750.750.700.80DenseNet1210.860.750.750.680.740.77U0.850.760.760.760.770.76DenseNet2010.570.790.760.790.890.69U0.680.790.770.790.840.73VGG130.740.730.700.730.830.63U0.560.800.800.800.810.80VGG190.610.710.710.710.700.72U0.600.800.790.800.810.79SqueezeNet0.870.710.690.710.750.66U0.630.730.700.730.800.65表4“有”或“没有”特征关注层的网络性能。所有网络都是在没有数据增强的情况下训练的。网络Attention层CE精度F1AUC规格Sens.ResNet500.610.760.730.760.850.67U0.440.950.950.950.901.00ResNet1010.650.790.780.790.780.80U0.470.900.910.900.811.00ResNext5032×4dU0.660.470.830.830.820.820.830.830.880.880.790.79DenseNet2010.680.790.770.790.840.73U0.570.900.910.900.811.00VGG190.600.800.790.800.810.79U0.650.810.800.810.830.79AttentionNet-560.610.660.710.660.590.73AttentionNet-920.630.700.640.690.770.68表5利用特征注意层的网络结果。所有网络都经过数据扩充训练。* （T）代表传统，（M）代表混合数据增强。** 增益表示使用混合技术而不是传统增强的贡献，并且它是通过度量分数的平均值计算的网络8月数据CE精度F1AUC增益 **ResNet50（T）0.57370.95070.95150.9523（男）0.62810.95570.95610.95710.50%“ResNet101（T）0.57370.92120.92450.9238（男）0.62740.93600.93780.93811.53%“ResNext5032×4d（T）（男）0.45510.60590.85220.95570.83870.95610.85030.957112.90%“AttentionNet-56（T）0.62470.63050.58560.6276（男）0.56860.73400.73530.735019.56%“AttentionNet-92（T）0.61970.73400.73000.7344（男）0.60760.72900.70900.72761.49%#单位Özdemir和Elena Battini Sönmez沙特国王大学学报6206表6ResNet50 + Attention网络的组成部分冷冻组分准确度F1 AUC下降编号ResNet500.58620.67440.5963百分之三十五点三智能注意力0.83250.79010.8265百分之十四点六隐藏状态0.94090.94230.94290.015%无需冻0.95570.95610.95715. 结论和今后的工作本文使用深度卷积神经网络模型来解决COVID-19 CT图像分类的紧迫和挑战性问题。更详细地说，这项工作提出利用额外连接到CNN的注意力层来增强CNN提取的特征的区分能力。实验结果从经验上证明了我们的假设。此外，本文有助于提高混合数据增强技术的关注，这是用于提高网络的泛化。最好的模型利用了ResNet50架构，采用特征注意力层进行流水线处理，并使用mixup增强数据（简称：ResNet50 + Attention +mixup）进行训练，以实现95.57%准确率的最佳性能。在基线研究中，He等人（2020）达到了86%的最高准确度评分;在不同的数据集配置中，Yang等人（2020）和Ahuja等人（2020）达到了89%和99.4%的最高准确度表现。据我们所知，所提出的模型ResNet 50 + Attention +mixup为具有挑战性的COVID-CT数据集提供了最先进的技术。未来的工作包括更多的实验相关的功能明智的注意力层，以测试其鲁棒性对其他架构和数据类型此外，我们还计划测试替代技术，以提 高 对 医 疗 数 据 的 关 注 ， 如 Srivastava 等 人 提 出 的 方 法 。（2015），其使用具有类似于长短期记忆的门控机制的卷积网络。然而，在不对卷积网络进行任何内部修改的情况下调整门控机制以保持网络架构独立是一项具有挑战性的任务。最后，可以通过使用多头注意力技术来放大特征方面的注意力，这在自然语言处理领域中取得了显著的成果（Vaswani等人， 2017年）。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。引用Ahuja，S.，Panigrahi，B.K.，戴伊，N.，Rajinikanth，V.，甘地，T.K.，2020.基于深度应用程序接口https://doi.org/10.1007/s10489-020-01826-w网站。Aneja ， J. ， Deshpande ， A. ， Schwing ， A.G. ， 2018. 卷 积 图 像 字 幕 。 在 ： 2018 年IEEE/CVF 计 算 机 视 觉 和 模 式 识 别 会 议 ， pp 。 5561-5570.doi ：10.1109/CVPR.2018.00583。Bahdanau，D.，周，K.，本焦，Y.，2015.通过联合学习对齐和翻译的神经机器翻译。在：Bengio，Y.，莱昆湾，巴西-地（编），第三届国际学习表征会议，ICLR 2015，圣 地 亚 哥 ， 加 利 福 尼 亚 州 ， 美 国 ， 2015 年 5 月 7 日 至 9 日http://arxiv.org/abs/1409.0473。Biswas，B.，Ghosh，S.K.，Ghosh，A.，2020.提出了一种基于GPU的PCNN和Sobolev梯 度 法 相 结 合 的 CT 图 像 分 割 算 法 。 模 式 肛 门 。 Appl·23 ， 837-854.https://doi.org/10.1007/s10044-019-00837-9网站。巴特，C.，吉尔，J.，Chun，D.，巴布，B.，2020年。深度学习系统筛查冠状病毒病2019肺炎。应用程序接口https://doi.org/10.1007/s10489-020-01714-3.Chen，L.C.，Papandreou，G.，科基诺斯岛墨菲，K.，Yuille，A.L.，2018. Deeplab：使用深度卷积网络，atrous卷积和全连接crfs进行语义图像分割。IEEE传输模式分析马赫内特尔40，834-848。https://doi.org/10.1109/TPAMI.2017.2699184网站。El-Nouby，A.，Touvron，H.，Caron，M.，Bojanowski，P.，Douze，M.，Joulin，A.，拉普捷夫岛，俄-地Neverova，N.，Synnaeve，G.，Verbeek，J.，Jegou，H.，2021. Xcit：交叉协方差图像变换器。arXiv：2106.09681。Fang，Y.例如，2020年。胸部ct对新冠肺炎的敏感性：与rt-pcr的比较放射学296，200-432。https://doi.org/10.1148/radiol.2020200432网站。Farrajota，M.，Rodrigues，J.，du Buf，J.，2019年。通过深度网络识别视频中具有关节 姿 态 信 息 的 人 类 动 作 模 式 肛 门 。 Appl.22 ， 1307-1318.https://doi.org/10.1007/s10044-018-0727-y网站。格希克河，巴西-地多纳休，J.，Darrell，T.，Malik，J.，2014.丰富的特征层次结构，用于精确的对象检测和语义分割。2014年IEEE计算机视觉与模式识别会议论文集。IEEEComputerSociety，USA，pp.580-587.https://doi.org/10.1109/CVPR.2014.81网站。Gozes，O.，Frid-Adar，M.，格林斯潘，H.，布朗宁警局张洪，季文，Bernheim，A.，Siegel，E.，2020.新型冠状病毒（COVID-19）大流行的快速人工智能开发周期：使用深度学习CT图像分析的自动检测患者监测的初步结果。CoRR abs/2003.05037。https://arxiv.org/abs/ 2003.05037.哈德塞尔河，Chopra，S.，Y.莱昆，2006.通过学习不变映射来减少模糊性，2006年IEEE计算机协会计算机视觉和模式识别会议（CVPRpp. 1735-1742年。他，K.，张，X.，Ren，S.，孙，J.，2016.用于图像识别的深度残差学习。2016年IEEE计算机视觉和模式识别会议（CVPR），pp。770-778.https://doi.org/10.1109/CVPR.2016.90网站。他，K.，张，X.，Ren，S.，孙，J.，2016. 用于图像识别的深度残差学习。在：IEEE计算机视觉和模式识别会议论文集，pp。 770- 778他，X.，杨，X.，Zhang，S.，（1991），中国农业科学院，赵，J，张玉，Xing，E.，Xie，P.，（1986年），中国科学院院士，2020.基于ct扫描的covid-19诊断的样本高效深度学习。medrxiv doi：10.1101/ 2020.04.13.20063941。侯赛因，M.Z.，Sohel，F