前馈神经网络无标度结构抗后门攻击的研究

⃝可在www.sciencedirect.com在线获取ScienceDirectICTExpress 7（2021）265www.elsevier.com/locate/icte前馈神经网络无标度结构抗后门攻击的研究Sara Kaviani，Insoo Sohn韩国首尔东国大学电子电气工程系接收日期：2020年9月21日;接受日期：2020年11月22日2020年11月28日网上发售摘要由于人工神经网络的计算复杂性，作为主要云计算服务之一的MLaaS（机器学习即服务）正在承担神经网络训练的责任。随着第三方神经网络训练需求的增加，通过恶意训练进行对抗性攻击的可能性很大。后门攻击是最有效的攻击之一，它会导致有针对性的错误分类，而对干净数据的准确性不受影响。在本文中，我们提供了第一次调查的影响，应用无标度网络前馈神经网络（FFNN）对后门攻击通过MNIST数据集插入。首次通过改变前馈神经网络结构来提高网络对后门的鲁棒性在网络受到攻击之前使用无标度结构进行攻击。研究表明，具有长程连接的无标度神经网络不仅具有较高的精度和较强的稳定性，而且具有与隐层层数无关和防止过拟合的优点。c2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：前馈神经网络;无标度网络;后门攻击1. 介绍木马或后门攻击（BD）[1，2]威胁到恶意第三方的神经网络（NN）的安全性。在后门攻击中，攻击者向一小部分干净数据添加特定的触发器，并为这些恶意数据分配攻击者所需的标签。BD不会显着影响NN在干净数据集上的性能，并且只会在触发器存在的情况下导致有针对性的错误分类。因此，在验证期间无法检测到这些类型的攻击。已经提出了几种方法来检测和拦截特洛伊木马攻击[3在以前的大多数方法中，找到BD的特定特征并试图检测或消除该行为的影响一直是核心策略。此外，所有现有的防御方法都是在攻击发生后应用的，以检测或减轻攻击对神经网络的影响。在本文中，我们评估了无标度结构的性能，这是一种众所周知的复杂系统类型∗ 通讯作者。电子邮件地址：s. dongguk.edu（S.Kaviani），isohn@dongguk.edu（I.Sohn）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2020.11.004模拟真实世界的结构，而不是完全连接的前馈神经网络（FC-FFNN）。在最近的一篇论文中，[7]，我们探讨了基于复杂网络的NN对BD的性能。在本文中，两种不同类型的无标度连接称为短程和长程无标度链接的影响进行了探讨的FFNN对BD的鲁棒性。2. 无标度神经网络在这一节中，简要介绍了SF的特点，两个建议的无标度NN模型，以及攻击方法。2.1. 无标度特性最著名的复杂系统之一是无标度网络（SF）[8]，其灵感来自于真实世界的结构，如大脑。在这些网络中，节点连接在一起 优先附件（PA）规则。SF包含在网络的功能中起关键作用的“集线器”。这些高度节点在具有少量连接的节点和高度连接的节点之间形成2405-9595/2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。S. 我和卡维亚尼SohnICT Express 7（2021）265266Ki∑根据以前对具有复杂网络结构而没有BD的ANN的研究[9，10这些是SF的重要特性）与全连接网络性能相同或甚至更好。2.2. 基于无标度的连接方法神经网络由神经元层的通用网络组成，该神经元层由完全连接的连续层的局部网络组成。因此，在非连续层之间不存在链路。在SF中，在节点之间建立链接并不取决于它们的位置，而仅仅取决于它们与其他节点的连接数量。因此，为了在FFNN中应用SF，我们提出了两种在不同层的神经元之间建立连接的方法，称为短距离和长距离SF连接。短程无标度连接（SRSF）：如果PA规则应用于连接NN的两个连续层中的神经元，则我们将这些层之间的链接定义为SRSF连接。因此，NN的固有分层形状得以保持，但各层不再完全连接，如图所示。二、根据以下步骤在FFNN中进行两个连续层11和121. 从l1中的n个节点和l2中的m个节点开始，它们没有连接在一起。2. 对于l2中的每个神经元i，添加c个小于n的链接，以在神经元i之间建立连接和n个概率为P（ki）=kik的l1神经元图1.一、一 个9像素的触发器附加到一部分干净的数据。2.3. 攻击模型我们在这里考虑的攻击模型是Gu等人定义的BadNets。在这种方法中，网络通过将触发器附加到随机选择的干净数据（称为恶意数据）的一部分来感染对抗性训练。攻击者的目的是欺骗网络将恶意输入错误分类为攻击者选择的标签，而这对网络对良性样本的验证准确性没有影响。我们还假设攻击者可以使用图1所示的模式触发器导致单目标误分类，并且无法更改NN的结构。3. 实验装置其中k∑jji是先前在节点i和L1中的神经元之间建立的链接的数量。远程无标度连接（LRSF）：与SRSF连接相反，LRSF连接这些连接可以在输入层中的神经元和除第一隐藏层之外的所有其他层的神经元之间进行。在图3中，这些LRSF链路用红色虚线示出。要在FFNN中建立LRSF连接，请执行以下步骤：1. 首先，FC-FFNN由具有n个神经元的输入层lin、具有m个神经元的输出层l out和称为l1、l2、. . . ，L.2. 对于l2中的每个神经元i，添加小于n的c个链接以在神经元i和l2中的n个神经元之间建立连接，其中概率P（ki）=jkj，其中ki是已经连接的链接的数量。之前在节点i和神经元之间，我加入。3. 重复步骤2，将lin连接到所有隐藏层lj其中2j≤L且lout。<这将导致在输入层和第一个隐藏层以外的层之间创建快捷方式。这些捷径已被证明可以保持稀疏NN的性能与FC-FFNN一样高[9]。··S. 我和卡维亚尼SohnICT Express 7（2021）265267我们评估了SRSF-FFNN的性能，其中SRSF-FFNN在所有连续层之间具有SRSF链路，并且LRSF-FFNN与BD相连，如图1和图2所示。2和3网络使用恶意MNIST输入数据集进行训练，其中一定数量的恶意（即，触发数据）数据添加到干净的数据集。我们测量准确性，作为训练数据集的整个干净部分的干净数据的正确分类的百分比，以及攻击成功率（ASR），作为分类标签的百分比，这些标签等于攻击者选择的标签在数据集的整个恶意部分。3.1. 隐藏层数的影响图4示出了作为SRSF-FFNN和LRSF-FFNN的隐藏层数量的函数的干净输入数据和ASR的准确度。网络的每个隐藏层包含20个神经元，学习率设置为0.02。从这两幅图中可以得出具有SRSF连接的FFNN：通过增加隐藏层的数量，干净的和被攻击的FC-FFNN的准确性降低，直到它们达到隐藏层的数量超过5的饱和点。这种下降到饱和点是由于对训练数据集的过拟合，这意味着模型·S. 我和卡维亚尼SohnICT Express 7（2021）265268图二. 具有SRSF连接层的FFNN。 每两个连续层的神经元按照优先附着规则连接在一起。图三. 具有LRSF连接的FFNN。 所有隐藏层和输出层的神经元都按照优先连接规则连接到输入层。非常复杂的输入数据来馈送网络。因此，FFNN不能将它所学到的知识推广到测试数据集。在SRSF-FFNN中，由于只有连接层连接在一起，因此没有遵循PA规则创建快捷方式。因此，它们显示出与FC-FFNN几乎相似的准确性性能，并且没有显示出对BD的改进。然而，与FC-FFNN相比，基于SRSF的FFNN仅显示出小的鲁棒性（较低的ASR）改进。具有LRSF连接的FFNN：与具有SRSF连接的FFNN相反，将LRSF连接添加到FC网络中，在准确性方面有很大的提高，甚至高于使用干净数据训练的FC-FFNN。这些模型的精度大大提高，在某种意义上说，它是独立的，伯隐藏层的稳定。另一方面，与SRSF和FC网络相比，LRSF-FFNN在具有1至4个隐藏层的网络中表现出较差的ASR性能，并且具有超过5个隐藏层的网络的ASR性能最低。因此，LRSF-FFNN在准确性方面提高并保持了高性能，但在隐藏层数量变化的情况下表现出较差的ASR性能。见图4。SRSF-FFNN和LRSF-FFNN 以及全连接前馈神经网络（FC-FFNN）对插入BD的性能恶意数据（mal.）与使用干净数据集训练的FC-FFNN进行比较3.2. 隐藏神经元图5比较了每个隐藏层具有10个和20个神经元的具有SRSF连接的FFNN可以看出，具有低数量的隐藏神经元的SRSF-FFNN更容易过拟合，这是由于与具有更多隐藏神经元的模型相比，精确度到饱和量的下降斜率更尖锐。因此，具有更多的隐藏神经元会导致SRSF-FFNN的准确性更好。在具有多达三个隐藏层和少量隐藏神经元的SRSF-FFNN中，成功触发BD的概率比具有较高隐藏神经元数量的网络低25%至18%。然而，这些具有少量隐藏神经元的网络更容易达到饱和点，并且对于超过四个隐藏层失去其泛化特性。因此，在具有SRSF链路的网络中具有较少数量的隐藏神经元，既不能提高甚至维持每个NN结构的准确性，也不能导致深度超过3个隐藏层的网络··S. 我和卡维亚尼SohnICT Express 7（2021）265269图五. SRSF-FFNN和LRSF-FFNN在每层中具有10个和20个隐藏神经元对BD的性能。具有LRSF连接的FFNN：通过减少每层中隐藏神经元的数量，LRSF-FFNN将减少2%。将具有10个和20个隐藏神经元的LRSF-FFNN进行比较，与更宽的网络相比，具有更少数量的隐藏神经元的网络中的ASR显示出约6%的降低。这表明具有LRSF连接的网络中隐藏神经元的数量是网络对恶意数据的性能4. 结论研究了无标度结构对前馈神经网络抗后门攻击鲁棒性的影响。已经评估了具有LRSF和SRSF连接的FFNN的准确性和攻击成功率。已经得到，SRSF和LRSF都提高或保持FFNN虽然SRSF-FFNN已经显示出LRSF连接在网络鲁棒性方面仅有轻微的改进，但在BD攻击中显著地提高了准确性LRSF-FFNN中的捷径不仅在保持高精度和强稳定性方面起着至关重要的作用，而且使其与隐藏层的数量无关，并防止过拟合。另一方面，LRSF-FFNN对BD的鲁棒性较弱。然而，通过减少LRSF-FFNN中隐层神经元的数量，在ASR降低的同时对精度的影响很小的意义上，鲁棒性将得到增强。竞合利益作者声明，他们没有已知的可能影响本文所报告工作致谢本研究由教育部资助的韩国国家研究基金会（NRFK）基础科学研究计划（2018R1D 1A1B07041981）资助。引用[1] T.古湾，澳-地Dolan-Gavitt，S. Garg，Badnets：识别漏洞in themachine learning model supply chain，2017，arXiv preprint arXiv：1708. 06733.[2] Y. Liu ， Sh. 马 ， Y 。 Aafer ， W. Lee ， J. Zhai ， W. Wang ， X.Zhang ， Trojaning attack on neural networks ， in ： 25nd AnnualNetwork and Distributed System Security Symposium，NDSS 2018，San Diego，California，USA，February，2018，pp.18-221[3] Y. Liu，Y. Xie，中国茶青冈A. Srivastava，Neural trojans，2017年IEEE国际计算机设计会议，ICCD，IEEE，2017年，pp。45比48[4] S.卡维亚尼岛Sohn，防御神经木马攻击：一个调查，神经计算（2020）http://dx.doi.org/10.1016/j.neucom.2020。07.133，在印刷中。[5] B. Wang，Y.姚，嘘。山，H.李湾，澳-地Viswanath，H. Zheng，B.Y. 赵，神经清洗：识别和减轻神经网络中的后门攻击，在：2019年IEEE安全和隐私研讨会，SP，2019年，pp。707-723[6] K.刘湾，澳-地Dolan-Gavitt，S. Garg，Fine-pruning：Defendingagainstbackdooring attacks on deep neural networks，in：InternationalSym-Symphon Research in Attacks ， Intrusions ， and Defenses ，Springer，Cham，2018，pp. 273-294。[7] S. Kaviani，Insoo Sohn，复杂系统在神经网络中的应用，反对后门攻击，在：ICTC 2020会议论文集和IEEE Xplore。[8] 巴拉巴西河Albert ，Emergence of Scaling in Random Networks，Science 286（5439）（1999）509-512.[9] O. Erkaymaz，M.厄泽尔，M. Perc，用于糖尿病诊断的小世界前馈神经网络的性能，应用数学。Comput. 311（2014）22-28。[10] S.卡维亚尼岛Sohn，人工神经网络中随机拓扑的影响：调查，ICTExpress 6（2）（2020）145-150。·