没有合适的资源?快使用搜索试试~ 我知道了~
软件影响15(2023)100449原始软件出版物ODE4ViTRobustness:一个用于理解Vision Transformers对抗鲁棒性的工具王征,阮文杰,尹翔宇英国埃克塞特大学计算机科学系自动清洁装置保留字:神经网络对抗鲁棒性计算机视觉视觉Transformer常微分方程A B标准由于神经网络的脆弱性阻碍了它的使用,因此长期以来一直需要了解视觉变换器(ViTs)的对抗鲁棒性。我们提出了一种将网络分解为子模块并计算每个模块的最大奇异值的方法。输入,这是对抗鲁棒性的一个很好的指标。为了了解ViTs中的多头自注意(MSA)是否有助于其对抗性鲁棒性,我们用我们的分解方法将模块替换为卷积层,并得出结论,MSA抵御对抗性攻击的能力有限代码元数据当前代码版本v1.0用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2022-245Reproducible Capsule的永久链接https://codeocean.com/capsule/1510074/tree/v2法律代码许可证MIT许可证使用的代码版本控制系统使用Python的软件代码语言、工具和服务编译要求,运行环境依赖Python≥ 3.9.7,Torch≥ 1.9.1,einops≥ 0.3.2,torchattacks≥ 3.2.3,Pandas≥ 1.3.4如果可用,链接到开发人员文档/手册https://github.com/TrustAI/ODE4RobustViT/blob/master/READ.md问题支持电子邮件w. exeter.ac.uk1. 介绍随着神经网络以更好的性能发展并在各个行业中流行,可信性和安全性问题最近变得重要[1,2]。在众多问题中,神经网络的可解释性和鲁棒性是研究界广泛研究的两个重要问题。对于高级理解,NN的可解释性更多地关注如何使黑箱模型的神经网络更易于人类理解。因此,我们可以知道他们是如何做出决定的,并决定我们是否应该依靠他们。鲁棒性问题涉及到这样一种现象,即输入的小扰动(甚至人眼无法察觉)可能会误导神经网络并做出错误的决策[3对抗性的例子有在各种扰动中最致命的,并且对应用最先进的(SOTA)机器学习模型施加基本影响,因为所生成的攻击对人类是不可见的[6通常,对抗性示例由通常被称为攻击方法的算法生成,例如FGSM [9],CW [10]和自动攻击[11]。谈到SOTA神经网络,视觉转换器(ViTs)最近在计算机视觉任务中占据主导地位[12]。trans-former于2017年首次推出,三年后,vanillaViT [13]被发明。提出后,大部分工作集中在减少培训时间、提高绩效和纳入当地信息[12]。仅在2021年之后,研究界才对ViT的稳健性进行了研究[14,15]。然而,关于ViT鲁棒性的现有工作更多地关注语义转换和常见的损坏[16]。较少关注对抗性本文中的代码(和数据)已由Code Ocean认证为可复制:(https://codeocean.com/)。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。*通讯作者。电子邮件地址:zw360@exeter.ac.uk(Z. Wang),exeter.ac.uk(W. Ruan),xy329@exeter.ac.uk(X.阴)。https://doi.org/10.1016/j.simpa.2022.100449接收日期:2022年10月29日;接收日期:2022年11月19日;接受日期:2022年11月21日2665-9638/©2022作者。由Elsevier B.V.出版。这是一篇开放获取的文章,使用CC BY许可证(http://creativecommons.org/licenses/by/4.0/)。可在ScienceDirect上获得目录列表软件影响杂志 首页:www.journals.elsevier.com/software-impactsZ. Wang,W. Ruan和X. 尹软件影响15(2023)1004492Fig. 1. 提出理论的例证。图二. Vision Transformer模块树的图示。鲁棒性此外,对抗鲁棒性的现有工作仅在实验上比较了不同攻击方法下的各种ViT变体对ViTs对抗鲁棒性的理论理解很少被触及。从理论上分析了ViTs的对抗鲁棒性,得出神经网络各层雅可比矩阵的最大奇异值可以作为ViTs对抗鲁棒性的量化指标。正如Ruseckas [17]所指出的,具有剩余结构的神经网络的推理可以被视为神经网络的底层ODE的前向欧拉近似。因此,我们将给定神经网络的对抗鲁棒性与其底层常微分方程的稳定性联系起来,后者由底层常微分方程的雅可比矩阵的最大奇异值神经网络中每个基本块对应的常微分方程由残差加法封闭 图 1说明这个想法。在高层次上,已经证明了具有剩余加法结构的神经网络模型的中间特征,例如,ResNets [18],ViTs,可以通过其底层ODE的解决方案来近似,图1中的蓝色和黄色虚线。因此,原始和扰动输入图像之间的差异可以近似为它们对应的常微分方程的解的差异,其由每个基本块的雅可比矩阵的最大奇异值w.r.t.他们的投入。为了研究ViTs的对抗鲁棒性,我们提出了一个具有以下优点的工具。1 对于一个给定的网络,它以分层的方式将模型分解为各个模块2 它计算每个分解模块除了上面提到的之外,还包括一个训练模块,可以用于使用优化器SAM[19]从草图中训练一个vanilla ViT,并且还实现了一个修改后的模块,其中Multihead-Self-Attention被1-D卷积层取代。此外,还包括一个依赖于火炬攻击[20]的攻击集合,给出FGSM,PGD和CW攻击。如上所述,计算最大奇异值涉及将神经网络分解为子模块并计算每个模块的局部梯度。为此,我们使用树数据结构来表示神经网络。给定分解步骤,这是一个堆栈的订单,神经网络可以给出用户预先定义的任何细节来分析模型。将ViT分解为树的示例如图所示。 二、据我所知,这是神经网络的第一个分析工具,可以量化每个块的对抗鲁棒性,特别是了解ViTs的鲁棒性。它将通过提供有效的工具来量化神经网络的鲁棒性,从而影响研究界。此外,由于每当涉及到最小的结构操作时,修改现有的神经网络结构并不容易,因此该工具使研究人员能够更有效地修改神经网络模型,并可以在层之间插入观察点来监控训练或推理过程。从业界2. 功能和主要特点如图2、将神经网络分解并递归存储在树中,定义为类ModuleTree,每个类Z. Wang,W. Ruan和X. 尹软件影响15(2023)1004493树级表示神经网络的给定细节。大多数情况下,我们需要为不同的模块提供不同的细节因此,我们的工具可以在给定预定义的分解步骤的情况下以任意细节渲染神经网络。图2中的实心节点示出了ViT可以被分解为补丁嵌入块、编码器块序列和分类头。类ModuleTree在torch中的类比可以是nn.Sequential,它用于以顺序的方式构建神经网络模型。然而,ModuleTree可以用于以树的方式分析训练模型。图中的虚线阵列。2是在PyTorch中没有nn.Module的情况下执行的操作。由于我们的树是通过递归调用网络的.children方法创建的,因此任何不包含nn.Module的操作都不能显示在树中。建议对模型进行检出3. 影响概述ODE4ViTRobustness的框架主要是为了量化Vision Transformers的对抗鲁棒性而设计的,特别是为了了解ViTs中的多头自注意是否有助于对抗鲁棒性。最近对ViTs的实证研究表明ViTs的鲁棒性优于CNN [21]。然而,这是未知的ViTs的哪一部分有助于它。因此,我们有研究问题:1)是否/如何多头自我注意确实有助于对抗ViTs的鲁棒性; 2)鲁棒性如何演变,随着ViTs变得更深?为了解决这些问题,我们必须修改模型,更换某些部分,但保持其他部分不变。不幸的是,PyTorch中的当前库并没有提供一种简单的方法来在给定的抽象级别上将模块替换和插入到原始神经网络中。因此,我们提出了一个框架,它可以快速分解网络,并执行替换,插入和计算的雅可比矩阵的网络中的一个给定的模块。使用这种方法进行的实验在以下科学出版物中报道[22]:1.王志,阮伟.通过柯西问题理解Vision变换器的对抗鲁棒性,欧洲机器学习会议和数据库中知识发现的原理和实践(2022)。除ViTs外,任何具有子模块渲染方法的神经网络都可以以相同的方式进行重构和分析。总之,ODE4ViTRobustness是一个强大的工具,可用于在行业部署之前量化神经网络组件的鲁棒性,并提供有关神经网络设计的见解。对于研究界来说,它提供了一种更有效地访问预定义神经网络的方法,因此可以将更多的精力投入到关键的研究问题中。为此,所提出的工具可以与众所周知的库timm结合使用[23]。因此,可以对timm中定义的任何模型以您喜欢的方式重新打包组件或进行修改。此外,为了给出timm中神经网络模型的结构图,我们提出的模型可以与任何其他可以绘制树模型的树库结合使用。在我们的代码中,我们使用ete3[24]工具包来进行树图。4. 结论和今后的工作在这项工作中,我们首先提供了一种更有效地分析神经网络中模块的方法。然后,我们设计的工具,我们分解的ViT在几个子模块,并计算每个模块的雅可比矩阵的最大奇异值目前,我们的软件只支持PyTorch中定义的神经网络模块。未来的版本将支持广泛的神经网络结构。对于奇异值计算,使用PyTorch中问题是这个内置的方法仅适用于具有小维度中间特征的神经网络对于更高级的大型模型,计算将耗尽计算资源。我们目前的版本只提供了一个替代的近似方法,产生的最大奇异值的上限。今后将考虑采用更有效的方法。竞合利益作者声明,他们没有已知的竞争性财务利益或个人关系,可能会影响本文报告的工作引用[1]F. Wang,C. Zhang,P. Xu,W.阮,深度学习及其对抗性鲁棒性:简介,在:计算机学习和智能手册:第2卷:深度学习,智能控制和进化计算,世界科学,2022年,pp。547-584[2] X. Huang,黄氏拟谷盗D. Kroening,W. Ruan,J. Sharp,Y. 孙,E. Thamo,M.Wu,X. Yi,深度神经网络的安全性和可信度调查:验证,测试,对抗性攻击和防御,以及可解释性,计算机科学评论37(2020)100270。[3] X.殷,W. Ruan,J. Fieldsend,Dimba:单目标跟踪中的离散掩蔽黑箱攻击,Mach。学习.(2022)1-19.[4] W.阮,X. Huang,M. Kwiatkowska,具有可证明保证的深度神经网络的可达性分析,载于:第27届国际人工智能联合会议论文集,2018年,pp. 2651-2659[5] P.Xu,W.阮,X.Huang,量化深度神经网络的安全风险复杂的Intell。 (2022)1-18.[6] R. 穆,W. 鲁安,L.S. 马科利诺角 Ni,3DVerifier:高效稳健性验证3D点云模型,马赫。学习. (2022)1[7]Y. Zhang,W.阮氏F.Wang,X.Huang,Generalizing Universal Adversarial Attacks2020 IEEE International Conference on DataMining(ICDM),IEEE,2020,pp.1412-1417年[8] T. Zhang,W.阮,J.E. Fieldsend,PRoA:对功能扰动的概率鲁棒性评估,在:欧洲联合会议机器学习和数 据 库 知识发现(ECML/PKDD '2 2 ) , 20 2 2 年 。[9] I. J. Goodfellow,J. Shlens,C.Szegedy,解释和利用对抗性示例,2014,arXiv预印本 arXiv:1412.6572。[10]N. Carlini,D. Wagner,Towards Evaluating the Robustness ofNeuralNetworks,in:2017 IECHO Symposium on Security and Privacy(Sp),IECHO,2017,pp.39比57[11]F. Croce,M.Hein,用集成可靠地评估对抗鲁棒性不同的无参数攻击,在:ICML,2020。[12]K. 汉,Y。 Wang,H. Chen,X. Chen,J. Guo,Z. Liu,Y. Tang,A. 肖氏C. 许、Y. Xu等人,视觉Transformer综述,IEEE Trans. Pattern Anal.马赫内特尔(2022年)。[13]A. 多索维茨基湖拜尔A.科列斯尼科夫D.魏森伯恩,X.翟氏T.Unterthiner,M.德加尼,M。明德勒湾,澳-地海戈尔德,S。Gelly等人,一张图片值得16 x 16 字 : 大 规 模 图 像 识 别 的 变 形 金 刚 , 2020 年 , arXiv 预 印 本 arXiv :2010.11929。[14]S.保罗,P.- Y. Chen,Vision transformers are robust learners,in:ProceedingsoftheAAAI Conference on Artificial Intelligence,vol. 36,(2)2022,pp.2071-2081年。[15]R.邵,Z. Shi,J. Yi,P.- Y.陈春,越-地J. Hsieh,关于视觉转换器的对抗鲁棒性,2021,arXiv预印本arXiv:2103.15670。[16]M.M. Naseer,K.Ranasinghe,S.H.汗,M。Hayat,F.Shahbaz Khan,M.-H. 小杨,视觉转换器的有趣特性,高级神经信息处理。系统34(2021)23296-23308。[17]J. Ruseckas,Differential equations as models of deep neural networks,2019,arXiv preprintarXiv:1909.03767。[18]K. 他,X。Zhang,S.任,J.Sun,Deep Residual Learning for Image Recognition,2015,CoRRabs/1512.03385(2015)。[19]P. Foret,A.Kleiner,H.莫巴希湾Neyshabur,锐度感知最小有效提高泛化能力,2020,arXiv预印本arXiv:2010.01412。[20] H. Kim,Torchattacks:A pytorch repository for adversarial attacks,2020,arXiv预印本arXiv:2010.01950。[21]K. 马哈茂德河马哈茂德,M.Van Dijk,关于视觉transmitting的鲁棒性Former to the adversarial examples,in:Proceedings of the IEEE/CVFInternationalConference on Computer Vision,2021,pp. 7838-7847。[22] Z. Wang,W.阮,通过柯西问题理解视觉变换器的对抗鲁棒性,在:欧洲机器学习和数据库知识发现联合会议(ECML/PKDD'22),2022年。[23] R. Wightman,Pytorch图像模型,2019,http://dx.doi.org/10.5281/zenodo。4414861, GitHubhttps://github.com/rwightman/pytorch-image-models。[24] J. Huerta-Cepas , F. Serra , P. Bork , ETE 3 : Reconstruction , analysis ,andvisualization of peptide genomic data,Mol.生物学评价33(6)(2016)1635-1638。
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功