基于COVID-19的安全AI分析系统的鲁棒性方法

可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 8（2022）555www.elsevier.com/locate/icte基于AI的 COVID-19分析系统的安全方法：一项调查Samaneh Shamshiri，Insoo Sohn韩国首尔东国大学电子电气工程系接收日期：2021年8月9日;接收日期：2022年2月28日;接受日期：2022年3月3日2022年3月16日网上发售摘要COVID-19的快速发展和广泛爆发对世界各地的卫生系统造成了毁灭性的影响。解决这一问题的对策的重要性导致使用深度神经网络的计算机辅助诊断（CAD）应用程序的广泛使用。机器学习技术取得了前所未有的成功，特别是深度学习网络在医学图像中的应用，使其在提高COVID-19诊断效率和检测准确性方面发挥了重要作用。然而，最近在基于AI的系统安全领域的研究表明，这些深度学习模型容易受到对抗性攻击。攻击算法生成的对抗性示例无法被人眼识别，并且很容易欺骗最先进的深度学习模型，因此它们威胁到安全关键的学习应用程序。本文总结和讨论了基于人工智能的COVID-19系统鲁棒性的方法、结果和近期工作的关注点。我们探讨了与深度神经网络相关的重要安全问题，并回顾了当前最先进的防御方法，以防止性能下降。© 2022作者（S）。由爱思唯尔公司出版代表韩国通信和信息科学研究所这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：COVID-19;深度学习;安全性;对抗性攻击内容1.导言. 5552.基本概念5562.1.COVID-19 datsets5562.2.攻击5562.3.对抗性攻击的防御方法5573.基于COVID-19 AI模型5574.讨论和结论560竞争利益声明561致谢561参考文献5611. 介绍在全球范围内，2019冠状病毒（COVID-19）大流行，不仅公共医疗系统受到了极大的挑战，而且还影响了全球的经济，社会，教育等。基于DNN的AI系统正在变得越来越重要，因为它们有效地增加了COVID-19*通讯作者。电子邮件地址：2021121108@dgu.ac.kr（S.Shamshiri），isohn@dongguk.edu（I.Sohn）。同行审议由韩国通信研究所负责教育与信息科学（KICS）。https://doi.org/10.1016/j.icte.2022.03.002诊断过程。尽管最先进的DNN模型在诊断COVID-19方面取得了相当大的成功，准确率很高[1原因是这些攻击模型能 够 在大 多 数 图 像 分类 任 务 中 导致 失 败 因 此， 研 究COVID-19诊断系统中的AI技术对人类的健康生活至关重要，并导致积极研究针对对抗性攻击的性能优化。为了产生对抗性攻击，已经提出了各种方法来研究DL模型的脆弱性。这些攻击算法大多是经典的模型，如快速梯度2405-9595/© 2022作者。 由Elsevier B.V.代表韩国通信和信息科学研究所出版。这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。S. Shamshiri和我SohnICT Express 8（2022）555556∗符号方法（FGSM）[5]，投影梯度下降（PGD）[6]和通用对抗扰动（UAP）[7]。一种新的强大方法，稳定的医学图像攻击（SMIA）[8]，已经被提出来攻击COVID-19检测模型。由于对COVID-19疾病的深度神经网络的攻击性能的担忧，已经研究了防御方法以提高这些系统对各种攻击模型的有效性[9]。最适用的方法之一是对抗训练[5，10]，它用对抗样本来增加训练集，以提高模型此外，首次提出了两种模型，采用有效的防御方法来降低基于AI的COVID-19系统的脆弱性。本文件的结构如下。在第二节中，我们将简要介绍基于人工智能的系统的安全性方面在第3节中，我们总结了最近专门探索攻击方法的研究，以说明用于检测COVID-19的基于DNN的模型很容易被少量不可感知的扰动所欺骗。在本节中，我们讨论了攻击和防御方法以及它们的重要结果和瓶颈。最后，我们将通过讨论结果和一些结论来总结本文。2. 基本概念2.1. COVID-19数据集数据是深度学习分类中的第一条管道，在诊断工具和治 疗中 发挥 着重 要作 用。 用于 训练 和评 估基 于AI的COVID-19 检 测 模 型 的 数 据 集 由 主 要 基 于 胸 部 X 射 线（CXR）和计算机断层扫描（CT扫描）图像的不同存储库组成。数据隐私和机密性受到严重关注是不争的事实，尽管如此，一些网站如Kaggle和Github提供了从世界各地不同医院收集的开放访问数据集。有大量的胸部X光片类别，如正常和肺炎患者[11-由Wang等人[1]提出的COVIDx数 据集 是 最 大的 开 放 获取 基 准 数据 集 ，包 括 最 多的COVID-19阳性患者病例。该数据集由来自138710名患者的13975张CXR图像组成值得一提的是，COVIDx包含来自266名COVID-19患者和8066名非肺炎患者以及5538名非COVID-19肺炎患者病例的358张CXR图像。另一个重要的数据集是由Cohen等人提出的。[15]十二月2020年他们提出了一个COVID- 19图像数据集以及临床任务的元数据，其中包括来自26个国家的412人的676张 2020年3月，他们发表了他们对100例COVID-19病例的COVID-19图像数据收集的研究成果。该数据集来自许多网站和许多论文，使其成为COVID-19研究的主要参考之一。2.2. 攻击在本节中，我们将简要讨论一些针对基于AI的系统的攻击的最重要概念扰动：添加到数据集的小扰动是一种小噪声，可以通过推断模型参数来引起系统的变化。这种微小的扰动会导致网络误分类[5]。对抗性攻击：近几十年来，对抗性攻击被认为是深度学习系统安全性和鲁棒性的最重要挑战之一。这种攻击是通过小扰动操纵的输入，用于神经网络错误分类[16，17]。非目标攻击和目标攻击：在有针对性的攻击方面，深度模型将输入图像分类到由攻击者设置的特定类别中，而对于非有针对性的攻击，输入图像被分配了不正确的类别或标签。黑盒攻击：在这种攻击中，攻击者只知道模型的输出，不仅不能访问训练模型、训练数据集和模型参数，而且不能访问任何正常用户。白盒攻击：尽管存在黑盒攻击，但当攻击者完全访问训练模型、网络架构、超参数、权重以及网络训练器服务可访问的任何信息时，就会发生白盒攻击生成对抗性攻击：为了生成对抗性示例，最近已经提出了几种算法。L-BFGS攻击是引入的第一个算法，其主要优点是高稳定性[17]。对于输入图像x，他们的模型识别具有不同标签的L2距离下的图像x由于L-BFGS的时间复杂度问题，已经提出了快速梯度符号方法（FGSM）[5]和投影梯度下降（PGD）[6]，这是两个基于梯度的对抗示例。攻击的主要目的是以最小的扰动量对深度模型进行错误分类。然而，具有高传输速率的FGSM遭受标签泄漏，它已经被提出用于具有小数据集的方法[18，19]。虽然攻击已经针对L∞距离度量，另一种攻击算法，L0距离优化已经被引入作为雅可比-基于显着图（JSMA）[20]。尽管JSMA的攻击成功率很高，但这种方法是计算量最大的方法之一。C W攻击[21]是JSMA的修改版本，它对基于不同攻击的······S. Shamshiri和我SohnICT Express 8（2022）555557ˆ=+ˆ˜ ˜˜这是当前发送给CNN的广告示例= −指标（L0，L2，L∞），以实现高转移率和成功率。但也存在计算复杂度高的问题。Deepfool攻击[22]，在L2度量距离下，将干净的输入数据与对抗样本的决策边界之间的距离作为一个度量，是一种有效的优化攻击方法。与L-BFGS相比，它解决了时间复杂度的问题，但对于黑盒攻击，它的成功率不高[18]。通用对抗扰动（UAP）具有很高的分类性能和泛化能力。这种方法中的扰动不易控制，导致成功率低。基本迭代法（BIM）[23]是FGSM的扩展，其目的是通过多次迭代达到显著的优化。上述攻击是评估COVID-19检测DL模型脆弱性的最重要攻击。2.3. 对抗性攻击有几种对策可以保护AI系统免受攻击，这些攻击分为两类。虽然白盒防御提供了使用对抗性图像作为输入来训练深度模型几种技术，如数据增强，输入变换和加密启发洗牌的图像是已知的，主要使用的黑盒防御方法。此外，已经提出了两种方法来捍卫战略：反应和主动群体[19]。在反应策略的情况下，在建立深度模型后，应该检测对抗性示例，而在主动方法的过程中，目标是在任何对抗性攻击之前增加深度神经网络的鲁棒性。对抗性训练[5，10]是最广泛使用的主动防御方法之一，用于提高神经网络对一阶攻击方法的鲁棒性[6]。该方法已在差异数据集[18]上进行了评估，包括COVID-19数据集，并通过正则化显示了显著的结果，以避免过度拟合和精度提高。3. 基于COVID-19 AI模型的安全性研究Hirano等人首次尝试评估用于COVID-19预测的DL网络的脆弱性。[24]他们研究了基于卷积神经网络（CNN）的COVID-Net [1]模型，这是使用CXR图像的首批COVID-19检 测 方 法 之 一 。 为 了 产 生 扰 动 ， 快 速 梯 度 符 号 法（FGSM）用于有针对性和非有针对性的攻击。对于输入图像x，分类器C（x）和扰动ρ应用于等式（1）。（1）Eq.（2）如下所示ρε = ε。C（x， C（x））/C（x， C（x））ρε=−ε。xL（x，y）/其中，λ>0是攻击强度。迭代算法用于更新UAP（ρ），直到扰动的Lρ范数为等于或小于一个小的阈值。该方法中的参数设定为λ= 0。001，P=2和∞，P=1%平均L∞为237，L2作者使用了三个指标Rf，愚弄率，R s、攻击成功率和混淆度量，以评估所提出的COVID-Net CXR small和COVID-Net CXR large。结果显示，对于两种COVID-Net模型，具有102%的UAP分别实现了>85%和> 90%的非目标攻击和目标攻击成功率。此外，对于更高的分辨率，这些模型将大多数正常和肺炎测试图像 评 估 为 COVID-19 病 例 。 本 研 究 广 泛 地 研 究 了COVIDNet-CXR在受到小型UAP攻击时的鲁棒性，并考虑了防御方法。此外，他们还全面分析了COVID-Net与其他DL模型（ResNet和VGG）相比的脆弱性增强作者研究了不平衡COVIDx数据集在COVID-Net脆弱性中的作用Qi等人[8]介绍了一种新的稳定医学图像攻击（SMIA）方法，其中对抗性扰动由目标函数生成，由损失偏差项（DEV）和损失稳定项（STA）组成。设x是模型的输入，Y是x的真实标签，η是扰动，f（θ，x）是模型参数为θ时x的CNN预测结果，则目标函数可以描述为：LSMIA=L （ f （ θ ， x ） ， Y ） −αL （ f （ θ ， x ） ， f （ θ ，x+η′））（3）其中损失函数L（·）是交叉entrop y损失，α是平衡LDEV和LSTA的影响的标量，x=x+η迭代，ηW′η η，其中W是高斯核。为了生成有效的攻击，目标函数（LDEV LSTA）是最大化偏差损失项和最小化稳定期。为此，DEV项产生扰动，在单个光斑之间移动扰动，而STA项迭代地最小化KL-发散以具有低的η方差，其导致扰动朝向固定的目标函数移动并处理稳定性问题。对于比较分析研究，与最先进的方法对肺部分割显示约60%的准确率下降。这表明所提出的攻击对U-Net的鲁棒性有很大的影响。基于SMIA技术在本研究中的完整解释，SMIA可以有效地挑战深度学习模型的安全性，提高攻击性能，同时成功欺骗CNN模型。Ma等人提出了另一种有效的防御方法，即在干净和有噪声的样本上训练DNN模型以提高鲁棒性。[25]。他们的目标是通过新的增量边缘对抗（IMA）方法训练DNN模型（ResNet-18 [26]），以提高DNN对分类任务的鲁棒性。作者应用所提出的DNN模型从CT扫描图像（Soares数据集[4]）中检测COVID-19。IMA是一种对抗性训练算法，它利用投影梯度下降（PGD）算法产生对抗性噪声。在这S. Shamshiri和我SohnICT Express 8（2022）555558+={|∈}+：=+∈ ∈通过经训练的分类器进行研究并将少量噪声δ添加到样本x，xδ实现了最佳决策边界。因此，通过聚集决策边界周围的数据点，误分类已发生零精度。该模型的目标是当模型的决策边界与训练样本之间存在较大距离时，增加训练样本IMA包括三种算法，用于计算损失函数并在每个时期更新模型。更新裕度估计，使得决策边界上的噪声样本的量尽可能多地增加，因此，导致最大裕度。与三种最先进的对抗训练方法（20-PGD，Trades [18]和MMA [27]）相比，IMA方法对水平小于0.2的噪声表现出稳健的性能。虽然文献中的大多数研究都集中在评估用于检测COVID-19的深度学习模型的脆弱性，但本文提出了一种新的防御方法，以提高ResNet-18抵御安全攻击的性能。Tripathi等人。[28]提出了一种新的预处理模糊唯一图像变换（FUIT）技术，这是一种有效的黑盒防御方法，具有两个主要贡献：首先，对所提出的技术进行了评估，以对抗对抗性攻击，包括深度傻瓜，FGSM，基本迭代方法（BIM），carlini wagner（CW），随机开始的投影梯度下降（PGD-R）和PGD没有随机开始攻击，具有不同的扰动量。在该方法中，作者提出了18个模型（M1-M18），用于胸部X射线图像数据集和CT扫描数据集，9个模型被开发用于胸部X射线图像，另外9个模型被开发用于CT扫描图像。这18个模型已经由Resnet-18，VGG-16 [29]和GoogleNet [30]进行了预训练。这些模型被分为3组，每组中有3个模型，此外，还研究了这些模型在受到对手攻击时诊断COVID-19病例的鲁棒性。FUIT创建模糊集F（x，µF（x））xU其中x是元素宇宙信息U，μ是成员资格值，介于0和1之间。在计算μ的量之后，在算法中利用它来创建R模糊集，该R模糊集从0到255到区间[1，R]。因此，方差减小，并且导致干净图像和对抗图像的唯一像素值的数量相等。已经由ResNet-18预训练的模型显示出高在干净的图像上测试平均精度。当它们被测试对抗性攻击时，它们的准确性下降到<百分之十经过FUIT变换的预处理后，它们对这些攻击的性能显著提高，准确率值大于85%。FUIT对抗性攻击的防御方法是第一个针对COVID-19检测提出的黑箱模型。应对措施包括对拟议FUIT的性能评估和深度学习模型诊断COVID-19的准确率结果提供了对两个数据集的全面见解，以对抗6种具有不同参数的最先进攻击，这有助于有效地比较它们的性能多模型对抗攻击是Abdur Rahman等人提出的另一种方法。[31]用于评估六种不同深度学习模型的性能，这些模型已用于诊断COVID-19。共有12种攻击，包括FGSM，DeepFool ， C W ， BIM ， L-BFGS ， Foolbox ， PGD 和JSMA，用于攻击4种模型，包括ResNet-101，三种内核大小为0，3和300。通过考虑白盒、黑盒和灰盒攻击，结果表明，这些DL模型容易受到各种类型的攻击，如逃避，中毒，提取和推理。作为研究COVID-19深度学习系统安全性的首批论文之一，他们不仅提供了胸部X光和CT扫描图像的结果，而且还通过实验证明了对面罩识别过程的威胁。与其他基于人工智能的COVID-19攻击类似，他们评估了他们的对抗方法，并与最先进的攻击进行了比较，以详细分析六种深度学习模型的性能。为了比较鲁棒深度学习模型与非鲁棒深度学习模型（标准模型）的可靠性和可解释性，Roberts等人[32]研究了标准模型在受到对抗性扰动攻击时的性能，以及应用对抗性训练变得鲁棒的模型。他们研究了两个深度学习模型VGG-16和ResNet-18的特征优化，这两个模型是在3119个COVID-19视频帧的肺部床旁超声图像（POCUS）[33]数据集为了实现前-实验结果表明，框架为δmax：= arg max l（x δ，y）δB2（ε）和δmin arg min l（xδ，y）δB2（ε）其中δ是扰动变量，ε是L2的半径球的局部优化损失。δmax和δmin分别是指相关负/正的特征。相关的负特征是预测过程中的错误分类特征，相关的正特征是指输入数据中的正确预测。对上述模型学习到的特征和失败案例中的趋势的分析表明，具有对抗训练的模型比具有标准训练的模型具有更低的敏感性。VGG-16 robust对COVID-19的准确度达到81. 4%，仅比VGG-16标准的准确度低约4%。因此，具有较少可解释性的扩散特征增加了具有少量扰动的模型的脆弱性。尽管数据饥饿，评估结果表明，所提出的方法是可行的，并表现出更好的功能的可解释性和深度模型的鲁棒性方面的标准模型的默认设置。为了解决深模回弹力低的问题，由于其非线性[17，34]，Xu等人[35]提出了一种新的防御Robust and Retrain-less Diagnosis Framework for Medical pre-trained models（MedRDF）。该框架包括三个主要层次。在网络训练过程中，决策边界和损失景观变得更加曲线化，导致隐藏的对抗性示例。在MedRDF框架的第一层S. Shamshiri和我SohnICT Express 8（2022）555559==−=对输入数据进行预处理，MedRDF生成n1e4每个测试医学图像的噪声副本数量x，它受π8/ 255的扰动。这意味着为了缓解随着时期增加而增加的决策边界曲率的问题，由σ约束的随机噪声η将添加到图像中，其中σ是各向同性噪声。当MedRDF的标准精度下降时，增加的噪声水平σ将控制鲁棒性和精度之间的权衡，并防止鲁棒性下降。另一方面，为了从第一步解决该去噪算子受高斯平滑和中值滤波的启发，被添加到第二层以获得预测标签并解决上述问题。最终，通过对去噪后的预测标签进行投票，MedRDF生成了医学图像x的鲁棒诊断。为了评估MedRDF的性能，作者定义了一种新的置信度度量作为鲁棒度量（RM）。物理学家可以根据他们的期望考虑RM的不同阈值，此外，还考虑了3种预训练模型; ResNet-18，ResNet-50和AG-Sononet-16 [36]，以及两组白盒和黑盒攻击，如I-FGSM，PGD，CW，SPSA和RayS。由于MedRDF是一种防御方法，因此将其性能与随机RP [37]，ComDefend[38]，对抗训练，TRADES [39]和MART [40]防御方法进行了比较。 通过对不同攻击、不同噪声实验结果和防御方法的综合比较，提出MedRDF和鲁棒度量（RM）用于医学诊断任务。由于医学成像领域基于深度学习的模型防御方法相对于自然图像的弱点，导致图像中的小病灶特征丢失，因此MedRDF具有易于部署的框架。他们表明，预训练模型的准确性从受到攻击时的0提高到MedRDF框架增强后的约91.4%，这比现有的防御方法具有更高的强度性能。Amini [41]研究了五种DNN模型的鲁棒性，包括残差网络系列（ResNet-18，50），宽残差网络（WRN-16，8），VGG-19和InceptionV 3。作者应用了四种最先进的白盒攻击，如FGSM，PGD，C W和空间变换攻击（ST）[42]，并使用了4551张COVID-19的胸部X射线图像。PGD的迭代性质，周期性地扰动梯度值，使其成为最有效的攻击，导致26.1%的下降。此外，图像从30到40的旋转也是如此。 30度的ST攻击，影响了分类精度，强调了数据增强和图像旋转在精度优化中的重要作用。作者提供了每个深度神经网络的参数数量之间的比较，并认为尽管VGG-16具有最多的参数，但WRN和ResNet- 50对攻击表现出最好的弹性，因此，建议对模型的超参数进行更多的研究，例如层类型，激活函数和过滤器大小。图1.一、F G S M 和 P G D 攻 击 的 精度（%）和噪声参数。[43 ]第43段。在Gongye等人的另一项显着研究中。[43]，由FGSM和PGD组成的基于梯度的对抗性攻击方法已被应用于生成对深度学习模型进行端到端攻击的对手。为了生成对抗性的例子，他们考虑了两种主动和被动攻击，其中主动攻击已经被实施来欺骗深度学习模型。他们的基线模型RseNet-18在干净数据上达到了94.7%的准确率。从图1中可以看出，对于FGSM攻击，通过将扰动量从0.01改变到0.06，模型的性能下降到1%以下，而对于PGD攻击，通过考虑超参数θ 0。在15次迭代后，模型精度下降到0%。实验表明，成功的攻击性能在COVID的错误分类-正常（假阴性）19例。虽然作者认为，找到一种从各个方面保护深度学习模型的防御方法目前还不现实，但他们提出了新的攻击方法，其中也考虑了COVID-19识别系统。用于COVID- 19诊断的两种基于迁移学习的预训练模型VGG 16和Inception-V3由Wavelet al. [44]用于研究其对抗对抗FGSM攻击的性能漏洞。本文考虑的指标是准确率，精度，召回率，F1得分和AUC。在胸部X射线和CT扫描图像的干净数据集上，VGG 16和Inception-V3在所有指标上都有很高的增强率。当扰动从0.0001增加到0.09时，人眼可以识别，VGG 16的准确率下降到16%，Inception-V3的准确率下降到55%。此外，针对CT扫描图像的FGSM攻击也得到了类似的结果.虽然人眼无法区分0.003和0.0007的扰动，但VGG 16和Inception-V3的性能分别下降至36%和40%。这项研究全面比较了上述两种深度学习模型的性能，它们具有不同的贡献，包括对干净和嘈杂图像的准确率和平均概率。他们还考虑了人眼可识别或不可识别的各种扰动量的结果。结果表明，在这两种情况下，错误分类是不可避免的。S. Shamshiri和我SohnICT Express 8（2022）555560表1应用不同AI结构研究COVID-19检测系统稳健性的结果总结文章攻击数据集架构防御方法比较结构最佳攻击性能最佳防守表现[24日]UAPx射线COVID-19对抗性ResNet，>90%>80%培训VGG[八]《中国日报》Smiact扫描U-Net–FGSM，PGD，60.82%–大傻瓜，（准确度DAG公制）[25日]100-PGDct扫描ResNet-18IMA综合格斗，百分百百分之九十交易20-PGD[28日]大傻瓜，ct扫描ResNet-18FUIT黑冠->93%>96%FGSM、BIMx射线VGG16Net，CoroNetC W，PGDGoogLeNetVGG19，PGD-rMobileNet v2COVID-19[三十一]FGSM，MI-ct扫描ResNet，––百分之九十一–FGSM，DF，x射线YOLO，我-暗网，BFGS、C W、BIMGRAD-CAMFB、PGD、JSMABD，MS，中毒[四十三]FGSM，x射线ResNet-18––百分之九十四点七–PGD[第四十四届]FGSMX光、CT扫描VGG16––百分之八十三点三–InceptionV3[32个]–PocusVGG16对抗性–百分百>81%ResNet18培训[35]第三十五届I-FGSM，PGD，x射线RsNet50、ResNet18MedRDF随机RP，百分之九十三点二百分之九十一点四C W，SPSA，射线AG-Sononet-16ComDefend，对抗性培训贸易，Mart[41]FGSM，PGD，x射线RsNet50、ResNet18––>60%–C W，STWRN-16-8VGG-19，第一次4. 讨论和结论在这项研究中，我们提供了一项关于基于深度学习的人工智能技术用于COVID-19检测的安全挑战的调查。攻击的成功率，以及干扰量和使用的有效防御方法如表1所示。可以观察到，COVID-19检测DL模型容易受到对抗性攻击，这对于安全问题非常令人担忧。基于对基于人工智能的COVID-19系统中最重要的安全性调查，人们可以观察到，人眼无法识别的少量扰动可以欺骗高性能分类器[45]虽然大多数调查都集中在攻击方法上，但很少有工作与防御方法有关。从表1中可以看出，FGSM、PGD是用于研究基于AI的COVID-19系统安全性能的主要攻击方法。而SMIA作为最新的攻击方法，表现出比FGSM和PGD更好的性能.S. Shamshiri和我SohnICT Express 8（2022）555561作者考虑了不同的数据模式，并成功地降低了60.82%的识别准确率，产生了低方差的扰动。这表明需要提出稳健的训练方法来克服针对COVID-19检测算法的强大SMIA攻击。从表1可以看出，ResNet-18作为一种具有出色性能的深度卷积神经网络然而，上述攻击算法，如PGD，可以降低性能的DL模型的10%，为CT扫描和胸部X射线。

下载后可阅读完整内容，剩余1页未读，立即下载