没有合适的资源?快使用搜索试试~ 我知道了~
频率偏差对神经图像分类器鲁棒性的影响
+v:mala2277获取更多论文频率偏差如何影响神经图像分类器对常见腐败和对抗性扰动的鲁棒性?Alvin Chan1,2岁, Yew-Soon Ong2,1, Clement Tan陈庆炎1,21南洋理工大学2新加坡科学技术研究署摘要模型鲁棒性对于机器学习模型在现实世界应用中的可靠部署至关重要。最近的研究表明,数据增强可能导致模型过度依赖低频域中的特征,牺牲低频校正的性能,突出频率和鲁棒性之间的联系在这里,我们更进一步,通过其雅可比矩阵的镜头更直接地研究模型的频率偏差及其对模型鲁棒性的影响。为了实现这一点,我们提出了雅可比频率正则化模型的雅可比有一个更大的通过对四个图像数据集的实验,我们表明,偏向低(高)频分量的分类器可以带来针对高(低)频破坏和对抗性扰动的性能增益,尽管在低(高)频破坏的性能上有所权衡。我们的方法阐明了深度学习模型的频率偏差和鲁棒性之间更直接的联系。11介绍最近的研究表明,当自然测试图像被改变时,模型性能会 急 剧 下 降 [Szegedyetal. , 2013;Hendryckset al. ,2021b;Hendryckset al. ,2021a]。其中一种情况是当常见的图像损坏添加到图像。这些损坏包括归因于天气条件的噪声、嘈杂环境、模糊效果和数字伪影[Hendrycks和Dietterich,2019]。模型可能失败的另一种情况是对抗性示例,其中恶意方可以对图像进行难以察觉的扰动以影 响 模 型 的 预 测 [ Szegedy et al. , 2013;Carlini andWagner , 2017;Papernotet al. , 2018;Croceand Hein ,2019]. 虽然建立对这两种情况更鲁棒的模型的研究是独立开始的,但最近通讯作者:guoweialvin. ntu.edu.sg1完整版本,附录在arXiv中。代码可在:https://github.com/alvinchangw/JaFRwww.example.com研究已经开始在它们之间建立联系。有趣的是,经过训练的模型在对抗性示例中表现出了混合的结果:提高了某些腐败类型的准确性,而对其他类型则表现不佳。尽管研究表明数据增强策略与不同频率分量的抗破坏鲁棒性之间存在联系[Yinet al. ,2019年],没有关于模型傅立叶轮廓的直接变化如何影响其鲁棒性的研究。在这里,我们的目标是直接改变模型的傅立叶轮廓,以研究其对模型的对抗性和腐败鲁棒性的直接影响为了实现这一点,我们研究了模型的雅可比矩阵,它代表了特定输入 图 像 中 像 素 重 要 性 的 视 觉 映 射 [ Smilkov et al. ,2017]。直觉上,当模型的雅可比矩阵具有大比例的低(高)频分量时,模型将依赖于低(高)频特征。在观察自然图像(如SVHN、CIFAR-10和CIFAR-100)的傅立叶谱以及标准训练模型的雅可比矩阵(图1)时,这些图像的低频特征分量比标准训练模型大得多。这种频率分布的不匹配促使我们训练模型,通过其Ja-cobian偏向低频特征,并研究其对鲁棒性的影响。为了量化模型的频率分布,我们提出了一个频率偏置项,该项从图像或雅可比矩阵等2-D输入的傅立叶谱计算标量值,以提高傅立叶谱的视觉检查之外的频率评估通过这个可微分的频率偏置项,我们可以使用雅可比频率正则化(JaFR)来显式地训练模型,以更严重地偏置低频或高频特征。 通过我们的实验,我们发现,模型的频率分布向低频区域进行更直接的变化相反,将模型向高频区域调整可以提高对低频噪声的性能,同时牺牲高频噪声和对抗性示例下的准确性。我们的主要目标不是要求最先进的鲁棒性,而是阐明模型的频率特性和抗噪声鲁棒性之间更直接的联系。总而言之,本文的核心贡献是:arXiv:2205.04533v1 [cs.LG] 2022年5月+v:mala2277获取更多论文∞∼›→ΣΣ∈• 我们提出了一个频率偏差项来衡量傅立叶频谱的频率偏差。• 我们发现,偏置的雅可比矩阵的模型向低或高频率的影响模型的鲁棒性对抗对抗的鲁棒性和腐败的阵列。• 为了实现这一点,我们提出了雅可比频率正则化(JaFR)来训练模型• 我 们 在 SVHN 、 CIFAR-10 、 CIFAR- 100 和TinyImageNet上进行了实验,以展示雅可比矩阵中的低频偏差如何提高对抗性和高频损坏的鲁棒性,尽管低频损坏的性能有所权衡。其中p=,是本文中研究最广泛的场景。训练模型抵抗对抗性示例的最有效方法之一是对抗性训 练 ( AT ) [Goodfellowet al. , 2014;Madryet al. ,2017;ZhangandWang , 2019;Qinetal., 2019;AndriushchenkoandFlammar-ion , 2020;Wuetal.,2020]。有关对抗训练的更多细节,请参阅附录。腐 败 鲁 棒 性 与 对 抗 鲁 棒 性 相 反 , 腐 败 鲁 棒 性[Hendrycks和Dietterich,2019]需要研究当输入数据被常见的噪声破坏时模型的性能,而不一定是恶意行为者为控制模型的预测而创建的噪声CIFAR-10-C和CIFAR-100-C是研究19种腐败类型的两个基准数据集,每种腐败类型都有5个严重级别。这19种腐败类型可以分为以下几类:干净的图像标准训练模型SVHN CIFAR-10 CIFAR-100“噪音”、“模糊”有一系列的工作寻求通过主要改善训练数据增强来改善这些常见腐败下的性能[Geirhoset al. ,2018;Cubuket al. ,2018;Hendryckset al. ,2019;Lopesetal. , 2019;Hendryckset al. , 2020;Kapoor 等 人 , 2020;Rusaket al. ,2020; Vasconcelosetal. ,2020]。其他一些作品组装专家模型,其性能针对腐败的子集进行微调[Leeet al. ,2020; Saikiaet al. 2021年],以提升整体业绩。图1:图像数据集的傅立叶谱和在其上训练的模型的雅可比矩阵,显示图像的频率分布和在其上训练的模型之间的不匹配箭头表示频率增加的方向干净的图像包含大比例的低频分量,如光谱左上角的强度所示(顶行),而其相应的标准训练模型严重依赖于高频特征(底行)。2背景和相关工作对抗鲁棒性对抗鲁棒性衡量模型对恶意行为者攻击的抵抗能力。在这种攻击中,可以精心制作不可感知的扰动以 形 成 对 抗 性 示 例 , 目 的 是 控 制 神 经 网 络 的 预 测[Szegedyet al. ,2013]。这种威胁可能会破坏深度学习模型在关键任务应用程序中的部署。在分类任务中,由θ参数化的模型(f)采用输入x来预测概率。k类的能力,即,f(x;θ):xRk.在经验风险最小化(ERM)的监督设置中,给定训练样本(x,y)D,模型L(x,y)=E ( x , y ) <$D−yTlog f(x)(1)其中y Rk是输入x的独热标签。 尽管ERM可以训练出在顽固的情况下显示出高准确性的模型,测试集,它们的性能在对抗性示例下会下降。给定一个对抗性扰动ε,我们说一个模型对这种攻击是鲁棒的,如果arg maxfi(x;θ)= arg maxfi(x+δ;θ),与这些工作不同的是,我们的论文旨在研究频率偏差对不同类型的腐败鲁棒性的影响,而不是提出一种新的方法来更好地抵抗这些腐败。频率和鲁棒性之间的联系有一系列的工作试图了解鲁棒模型如何响应各种频率曲线的腐败和对抗性扰动[Yinet al. , 2019;Sharmaet al. , 2019;Ortiz-Jimenezetal. ,2020;Tsuzuku and Sato,2019;Vas-conceloset al. ,2021]。这些工程的详情载于附录。与这些先前的工作相比,我们的工作在不同的方向上进行频率分析,通过研究模型的雅可比矩阵的傅立叶谱,而不是他们的测试或训练数据。更具体地说,利用原始训练数据,我们训练模型并将模型的雅可比矩阵的频率分布偏向低频区域,以观察其对模型鲁棒性的鲁棒模型的雅可比矩阵雅可比矩阵,J:=λxL(x,y)(3)定义了模型的预测如何对于图像分类,雅可比矩阵可以被松散地解释为哪些像素对模型的预测影响最大的映射 , 并 且 因 此 给 出 输 入 图 像 中 的 重 要 区 域 的 图 示[ Smilkov et al. , 2017;Adebayoet al. , 2018;Etmannetal. ,2019;Ilyaset al. ,2019]。有一系列工作试图通过将雅可比矩阵与目标分布匹配来提高模型的对抗鲁棒性[Chanet al. ,2019;Chanet al. ,2020年]或通过限制其大小[Ross和Doshi-Velez,2018年; Jakubovitz和Giryes,2018年]。而不是旨在提高对抗鲁棒性,核心i∈Ci∈C<$δ∈Bp(ε)=δ:<$δ<$p≤ε(2)本文的目的是研究模型的傅立叶轮廓与鲁棒性之间的关系,+v:mala2277获取更多论文3BBBB−ΣR∈LB我的天LB···L腐败 此外,JaFR的正则化效应具有直接作用于雅可比行列式的傅立叶谱的不同机制。详细的比较见附录。3雅可比频偏动机如§2所述,已经表明输入训练数据的傅立叶轮廓与针对具有不同频率分量的损坏的鲁棒性之间存在联系。然而,仍然没有研究神经网络的傅立叶轮廓的变化如何影响其鲁棒性。由于模型的雅可比矩阵表示像素重要性的视觉图[Smilkovet al. ,2017],它为我们提供了一种介质来正则化模型的傅立叶轮廓。直觉上,当一个模型相反,如果模型的雅可比矩阵具有相对较大比例的高频分量,则模型更依赖于高频特征在这里,我们的目标是研究如何改变雅可比矩阵的傅立叶谱会影响其鲁棒性。当分析adversarially鲁棒模型的雅可比矩阵的傅立叶轮廓时(表2),我们看到它比非鲁棒标准训练模型更类似于训练数据的轮廓。这就提出了一个问题,如果我们直接训练神经网络具有低频轮廓,类似于雅可比矩阵以得到其频率分量的幅度的映射(M):M i,j= |F(J)[i,j]|(六)在我们的实验中,输入图像具有3个RGB通道,我们分别计算每个其他通道的傅立叶映射(M r,M g,Mb),并取这些通道的平均值,即, Mi, j=Mr[i,j]+Mg[i,j]+Mb[i,j]。接下来,我们建议计算标量偏差项(低)以测量低频分量相对于高频分量的相对偏差(或比率)。低的一个标准是频率幅度对该项的贡献应当随着频率增加而单调减少,即,较大的高频幅度导致较低的低值。为了满足这一点,我们随着频率的增加而单调地减小频率幅度上的指数值。对于1-D场景,其中l是傅立叶谱的维度,我们可以例如:将该偏置项B压低为:Blo w=i(Mi)αi,αiαj ,i,j∈[1,l],i
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 十种常见电感线圈电感量计算公式详解
- 军用车辆:CAN总线的集成与优势
- CAN总线在汽车智能换档系统中的作用与实现
- CAN总线数据超载问题及解决策略
- 汽车车身系统CAN总线设计与应用
- SAP企业需求深度剖析:财务会计与供应链的关键流程与改进策略
- CAN总线在发动机电控系统中的通信设计实践
- Spring与iBATIS整合:快速开发与比较分析
- CAN总线驱动的整车管理系统硬件设计详解
- CAN总线通讯智能节点设计与实现
- DSP实现电动汽车CAN总线通讯技术
- CAN协议网关设计:自动位速率检测与互连
- Xcode免证书调试iPad程序开发指南
- 分布式数据库查询优化算法探讨
- Win7安装VC++6.0完全指南:解决兼容性与Office冲突
- MFC实现学生信息管理系统:登录与数据库操作
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功