软件X 22（2023）101387：后门小马的后门攻击和防御评估

软件X 22（2023）101387原始软件出版物后门小马：评估不同领域的后门攻击和防御阿瑟·梅西耶a，b，1，尼基塔·斯莫林b，1，奥利弗·西赫洛韦茨b，1，斯特凡诺斯·科法斯b，Stjepan Picekc，baVan Mourik Broekmanweg 6，2628 XE Delft，The Netherlandsb荷兰代尔夫特理工大学网络安全小组c荷兰Radboud大学数字安全小组ar t i cl e i nf o文章历史记录：2022年12月12日收到收到修订版，2023年3月20日接受，2023年关键词：神经网络后门攻击后门防御框架a b st ra ct外包训练和众包数据集给深度学习模型带来了新的威胁：后门攻击。在这种攻击中，对手在模型中插入一个秘密功能，通过恶意输入激活后门攻击代表了一个活跃的研究领域，因为它们代表了真正的威胁。尽管如此，仍然没有一个框架来评估不同领域中现有的攻击和防御只有少数工具箱已经实现，但大多数都专注于计算机视觉，并且很难使用。为了弥合这一差距，我们实现了后门小马，一个框架，通过用户友好的GUI评估攻击和防御在不同的领域版权所有2023作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v2用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-22-00419可复制胶囊版权所有2022 AISyLab使用git的代码版本控制系统使用的软件代码语言、工具和服务Python、JavaScript、Docker、Vue编译要求、操作环境依赖性Linux如果可用，链接到开发人员文档/手册支持电子邮件问题info. gmail.com1. 动机和意义神经网络已被证明在几个领域比人类更准确，更快，例如面部识别[1]，股市预测[2]和检测社交媒体上的因此，它们被广泛使用，最近被部署在自动驾驶等关键应用中[4]。因此，我们必须确保它们在现实世界中的安全后门攻击是最近出现的一种威胁，可能会造成可怕的后果*通讯作者。电子邮件地址：info. gmail.comgmail.com（Arthur Mercier），smolin.student.tudelft.nl（Nikita Smolin），O.tudelft.nl（Oliver Sihlovec），s.ru.nl（Stefanos Koffas），stjepan. picek@www.example.com（StjepanPicek）。1 同等贡献。因为经过训练的模型可以被操纵以达到对手因此，必须发展防御措施，反击这些攻击到目前为止，只有少数工具可以帮助对这种攻击和防御的评估。然而，它们中的大多数只针对计算机视觉[6因此，它们不适合更广泛的受众。为了弥补这一差距，我们实现了后门小马。2后门Pony是一个基于Web的应用程序，其中包含一个GUI，用户可以通过该GUI它的图形用户界面是用户友好的，使研究更容易获得广大观众。用户可以通过GUI控制攻击和防御的各种超参数，而无需构建复杂的管道。每次实验后，都会显示各种图，以帮助用户了解2 https://github.com/Rezonansce/backdoorponyv2https://doi.org/10.1016/j.softx.2023.1013872352-7110/©2023作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxArthur Mercier，Nikita Smolin，Oliver Sihlovec等人软件X 22（2023）1013872表1比较后门小马和国家的最先进的。工具图像文本音频图GUI攻击次数#防御电子邮件：info@hkb.com.cnX127TrojanZoo [8]X814开放后门[10]X124BackdoorBench [7]X89[11]第十一话X1310后门小马XXXXX65他们的实验表现。我们的工具可以跟踪该领域的最新发展，因为它可以扩展到所有领域的新总之，我们的工具可以降低新研究人员的门槛，并为后门攻击和防御建立一个共同的参考点。后门小马和最先进的主要区别可以在表1中看到。我们看到只有OpenBack- door [10]针对文本应用程序，其余的仅专注于计算机视觉[6后门小马是第一个工具，包括音频和图形数据。它也是第一个提供GUI的。虽然现有的工具已经实现了更多的攻击和防御，但我们不认为这是一个主要的限制，因为我们可以使用我们的扩展API来扩展我们的工具。表2显示了最先进的攻击和防御，表3显示了后门小马在图像分类中，我们选择了基于块的触发器，因为它们是最流行的。特别是，我们选择了Badnet [5]和clean-label攻击[12]。从表2中我们可以看到，这些攻击得到了最先进技术的广泛支持。尽管它非常流行，但我们没有使用混合攻击[13]，因为它的性能与Badnet攻击非常相似我们只选择了三种针对管道不同部分的不同防御（输入清理、后门删除或监视），以避免评估中的重叠。对于文本分类，我们实现了BadNL攻击[14]，因为它支持各种触发器（字符，单词或句子）。作为防御，我们选择了ONION [15]，因为它是文本后门的第一个防御之一。在图形和音频领域，我们从文献中挑选了最流行的攻击在图域中，据我们所知，还没有特定于域的防御，对于音频，我们选择了STRIP-VITA [16]。我们的工具支持更少的防御和攻击，因为我们最初的目标是可用性和应用程序的多样性。现在支持了许多域，我们可以通过我们的扩展API轻松地扩展我们的贡献可概括如下：我们实现了Backdoor Pony，这是第一个用户友好的基于Web的框架，可以平滑快速地评估后门攻击和防御。后门小马是第一个支持不同应用程序的工具，如计算机视觉，文本分类，音频识别和图形神经网络。像其他工具一样，后门小马是可扩展的，可以在所有四个提供的领域进行任意攻击和防御2. 对神经网络的最近的趋势，如外包培训，机器学习即服务（MLaaS）和众包数据集，为深度学习模型引入了新的威胁，即后门攻击[5]。在这种攻击中，攻击者在经过训练的模型中注入秘密功能，通过恶意输入激活在任何其他输入中，模型都表现正常，以避免引起任何怀疑。这种攻击可以通过数据中毒[5]、代码中毒[22]或权重中毒[75]来实现。目前，我们只支持数据中毒攻击，因为它们是最流行的，并且呈现了绝大多数相关作品。在分类器中，该秘密功能可以针对当模型的输入包含特定属性（触发器）时发生的错误分类。例如，带有黄色便利贴（触发器）的停车标志可能会被错误地分类为自动驾驶汽车中部署的后门模型的速度限制[5]。 在最近的文献中，已经设计了各种攻击。最有针对性的应用是计算机视觉[76]，但后门攻击已经针对文本[14，77]，音频[71，78]和图形神经网络[74，79]实施。防御后门攻击是非常困难的，因为没有方法来彻底验证模型已经学习了什么绕过现有对策的新攻击在相关文献中不断发展，使整个领域成为攻击者和防御者之间的猫捉老鼠游戏[75]。已经实施的各种对策可以根据所使用的假设分为不同的类别。他们中的一些人在不知道模型是否中毒的情况下从输入中删除触发器[80]或在训练数据集中搜索中毒样本[40，41]。其他对策离线检查训练的模型，以逆向工程触发模式并取消后门[44，45]，或监控模型的操作并在存在可疑行为时发出警报[42]。其中一些对策是白盒的，并假设防御者可以完全访问模型及其训练数据[40，41]，或者在相反的情况下，黑盒[42，46]。 这个领域通常非常活跃，并且定期发布新的攻击和防御，这使得研究人员保持最新状态非常具有挑战性2.1. 度量我们使用攻击成功率（ASR）和干净的准确率下降（CAD）来衡量后门的有效性。ASR是在多次尝试中成功激活后门的百分比，应该尽可能高准确度下降表明后门对原始任务的影响，应该尽可能小，以避免引起任何怀疑。要查看防御的有效性，我们可以显示防御实施后ASR在这种情况下，我们有以下类别：真/假阳性率：分类器正确/错误识别有毒输入的概率。真/假阴性率：分类器正确/错误识别良性输入的概率3. 软件描述后门小马使用客户端-服务器架构，如图所示。1.一、前端由一个Web应用程序和一个控制工具的GUI组成Web应用程序是用JavaScript编写的，主要使用Vue库。后端服务器是所有服务运行的地方。服务器是用Python编写的，使用Flask框架。它的/src可以在server文件夹中找到，而front-end/src可以在gui文件夹中找到。服务器和前端使用REST-API进行通信。·····Arthur Mercier，Nikita Smolin，Oliver Sihlovec等人软件X 22（2023）1013873表2实施的攻击和防御的最先进的。工具类型攻击国防BackdoorBox图像[13]第13话，我的朋友3-层自动编码器[26]，[17]第十七话ShrinkPad [24]，[12]第十八话，[27]第二十七话，[19]第十九话[29]第28话：我的世界，我的世界，我的世界[20]，[21]第二十二话：[23]第二十三话[25]第二十四话：一个人TrojanZoo图像[ 31 ]第31话：我的世界随机平滑[36]，[32]，[37]第三十七话[13]第十七话：不信对抗性再训练[38]，LB [33]，[39]第四十话：一个人的世界[35]第三十四话：一个人光谱特征[41]，条带[42]，NEO [43]，[27]第二十七话：[44]，[45]第四十六话：我的朋友神经元检查[47]，ABS开放后门文本Badnets [5]，AddSent [48]，[16]第十五话：我的世界SynBkd [49]，[59]，BKI [60]StyleBkd [50]，POR [51]，TrojanLM [52]，[53]第54话，我是一个很好的朋友。NeuBA [56]，[58]第五十七话：一个人的世界后台图像[13]第13话，我的朋友微调，微调[27]，清洁标签[12]，NAD [29]，[61]第六十一话[63]第63话：我的世界[62]，ISSBA [20]，[64]第64话：我的世界输入感知[23]，WaNet激活聚类[40]，[21日]频谱签名[41]，后门程序图像Badnets [5]，BadnetsSCan [65]，激活聚类[5]一切皆有可能。[40]，[13]第32话，Spectral-signatures [41]，SPECTRE清洁标签[12]，[67]，[23 ]第23话，我是你的朋友[68]第四十二章：一个人的世界ISSBA [20]，低频[62]，[17]第二十七话：[44]第四十四话：我的世界TaCT [65]，[27]，自适应[66]，SleeperAgentABL [30][19个]Fig. 1. 软件体系结构概述。服务器与GUI界面并行运行服务器体系结构的最高层由跟踪前端应用程序当前状态的运行程序组成。它的工作是在适当的服务上执行传入的REST请求中的指令。运行程序还确保请求是以正确的顺序发出的，例如，如果没有选择模型，就不可能执行攻击。按顺序执行的不同服务是“model”、“at-tack”、“defense”和“plot”。服务的所有超参数和结果数据都存储在Python字典用于通过框架传递信息服务和字典之间的交互可以在图中看到。1.一、在用户从可用模型中进行选择并更新其超参数后，模型将在框架中包含的数据集之一上进行训练。在模型被训练之后，用户选择并运行攻击和防御。我们实现的一些神经网络模型使用PyTorch，我们的一些攻击和防御也使用了对抗鲁棒性[9]。我们使用PyTorch从头开始实现了其余部分。在应用攻击和防御之后，我们Arthur Mercier，Nikita Smolin，Oliver Sihlovec等人软件X 22（2023）1013874表3图二. 应用程序的一般工作流程。以红色圆形为底的每种数据类型实施的攻击和防御。模型攻击防御它的用法。单击此按钮时，将弹出一个窗口，显示有关该字段的所有相关信息。图像Badnet [5]，清洁标签[12]取消触发自动编码器[69]，[42]第42话：我的世界4.1. 数据集选择[16]第十一届全国政协委员[15]第二十二届中国国际纺织品展览会首先，我们需要选择一个数据集。选择屏幕将图Zaixizhang [73]，GTA [74]N/A在用户单击主页上的“开始”按钮后出现。这里，提供了一组可用的数据集（图1）。3）。一次只能选择一个。图像、音频、文本和图形是四种类型的可用数据类别，每种类别都具有唯一将所有对应的超参数和结果保存到字典中。此信息用于工具最后一步中的绘图。可用的指标根据所选择的攻击和防御而有所不同。如前所述，模型服务在运行攻击和防御之前将其结果存储在字典中。通过这种方式，用户可以很容易地比较网络在攻击或防御之前或之后的性能。一旦绘图服务计算出所有的统计数据，它们就会以特定的格式发送到GUI，GUI将生成相应的Backdoor Pony支持Docker。服务器和前台-在单独的容器中结束运行。Docker也用于连接集成GPU支持。使用现有的PyTorch映像和CUDA/NVIDIA驱动程序运行“docker-compose up”将自动将系统中所有可用的GPU暴露给容器。用户还可以选择将使用哪些特定GPU。我们对Backdoor Pony的关注点之一是保持高代码质量。我们通过实施工程实践、创建单元测试和全面的文档来实现这一点。这样做是为了简化未来的实施或集成新的攻击和防御到后门小马。4. 说明性示例在本节中，我们首先展示框架操作流程的高级概述如图所示。2，用户选择数据集和模型，攻击（可选）和防御（可选），然后进行训练。当训练结束时，用户选择所需的图，并且可选地，下载执行历史。我们的工具有信息按钮图标. 屏幕的右侧显示将在选定数据集上训练的模型的可配置超参数列表 图 3，用户选择完整的CIFAR10数据集（50000张训练图像），SGD作为模型的优化器，学习率为0.001 。当做出选择时，服务器加载一个神经网络，用于对数据进行分类。如果框架以前使用过这个数据集，并且超参数没有从它们的默认值更改，那么在当前执行中将加载一个预训练的模型。否则，网络将在单击Continue按钮后使用数据进行训练。4.2. 选择进攻和防守接下来，用户选择攻击和防御。与数据集类似，攻击和防御也是特定于类型的。因此，只有与数据集类型匹配的攻击和防御在选择所需的机制后，每个攻击和防御都有一组超参数出现在页面的右侧（图10）。4）.可以为单个字段键入多个值，用逗号分隔，这将触发对每个唯一值组合的模拟执行。此外，用户可以通过选择防御列表中的“无”标签来跳过为当前配置运行防御。此选择影响攻击完成后的可用度量。一旦用户选择了攻击、防御和超参数的方式，点击执行按钮--位于页面右下角（图2）。4）Arthur Mercier，Nikita Smolin，Oliver Sihlovec等人软件X 22（2023）1013875图三. 数据集选择屏幕。见图4。 攻击（右上方的参数选择窗口）和防御（右下方的参数选择窗口）选择屏幕。4.3. 螺旋形上一步执行完毕后，将显示指标设置页面。该工具可以生成多个图，指示模型的性能或攻击和防御的有效性。这些图包括模型要创建一个图，用户点击一个示例图将是中毒模型固定的超参数将是用户在前面的屏幕中给出的其余选项（目标类，触发器样式），如图5所示。添加按钮保存绘图配置，绘图按钮生成相应的绘图。为了创建这些图，服务器向模型提供干净或有毒的输入，并计算所选的指标。4.4. 结果最后，图将显示在“结果”选项卡中。 在此选项卡（图6），我们可以看到干净的准确性（最左边的图），这是模型图），其示出了攻击的有效性，以及干净准确性下降（最右边的图），其示出了通过后门的干净准确性的百分比下降。除了指标之外，还可以下载一个文本文件。该文件包括有关数据集、攻击、防御和所选超参数的详细信息。这个文件以简单的句子呈现了一些关于基本用户选择的信息，并以json格式显示了更复杂的选项附录A中的清单1显示了该文件的一个示例。5. 影响Backdoor Pony是一个针对尖端研究和教育的框架。该框架的文档展示了用户如何通过几个简单的步骤扩展该工具，并添加新的攻击和防御。这种扩展机制将保持后门小马最新的所有最新的发展，在外地。一个最新的工具将减少从文献中重新实施现有作品的负担，并导致更快的结果和更准确的研究成果。此外，Backdoor Pony可以通过接受实验超参数的值列表来连续运行多个这加快了消融研究的速度，使用户能够专注于识别趋势，而不是构建管道。我们已经在内部研究项目中使用了这个工具，我们相信它可以对社区做出了宝贵的贡献。与当前的工具不同，例如，[6Arthur Mercier，Nikita Smolin，Oliver Sihlovec等人软件X 22（2023）1013876图五. 网络准确度度量设置。见图6。 结果图的示例。因此，它可以成为研究人员进行实验的共同参考点，从而在不同的攻击和防御之间进行公平的比较。最后，它的简单性和用户友好性将降低这一领域的进入门槛，吸引更广泛的受众。因此，它可以成为一个有价值的教育框架。6. 局限性和今后的工作虽然我们的工具可以为该领域做出宝贵的贡献我们认为有一些限制。首先，缺少一些流行的攻击和防御。然而，我们计划在未来添加它们，使研究人员能够跟上最先进的技术，而不需要太多的努力。此外，在这个版本中，不支持自定义模型和数据集，因为我们希望在允许用户任意输入之前确保我们的管道正常工作。在未来，我们将在Backdoor Pony中添加此功能，以便对新数据和任务的攻击和防御进行无缝评估。7. 结论在这项工作中，我们提出了后门小马，这是一个框架工作，评估后门攻击和防御在各种应用领域。据我们所知，BackdoorPony是第一个它还通过用户友好的GUI提供对所涉及的超参数的完全控制，使其适合尖端的研究和教育。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作数据可用性代码库对公众开放致谢我们要感谢Kristián Gogora和Vlad Murgoci，他们是开发Backdoor Pony第二个版本不可或缺的一部分我们还要感谢Gregor Schram 、 Dragos Dumitrescu 、 Anneke Linssen 、Nicolas Plas和Daniela Toader提供了这个工具的第一版。我们也感谢所有提供开源攻击和防御的研究人员，从而使后门小马积累了更广泛的目录。附录A. 配置文件在本节中，我们将展示一个生成的配置文件的示例。它包含有关所选数据集，所用模型，攻击和超参数（触发器的位置和中毒率），防御和超参数以及情节配置的信息1.选择的IMDb数据集;2.选择的使用内建的model';3.选择的秘密的攻击;Arthur Mercier，Nikita Smolin，Oliver Sihlovec等人软件X 22（2023）10138773a .输入[ 1 ]第一章为塔尔格c l a s s;攻击参数：{”tar g e t_ c l a s s“：{”pretty_name“：“Target c l a s s“，“值“：[ 1 ] }，“location“：{”pretty_name“：“触发器位置“，“value“：[“s t a r t“]，“values“：[“s t a r t“，“middle“，“end“]}，“tri g g e r“：{”pretty_name“：“扳机““值“：[“char“]，“价值观“：[“char“，“word“，“sentence“]}，“poison_percent“：{”pretty_name“：“百分比的毒药“，“value“：[ 0 . 1]，“最小值”：0、“最大”：一、“i s V a l i d“：true}}四、选择洋葱防御;防御参数：{”threshold“：{”pretty_name“：“门槛“，“值“：[ 20 ]第五章.按执行键六、衡量标准：{”metrics0“：{”metric“：“准确性“，“x_axis“：“百分比的毒药“，“情节“：“目标c l a s s“，“图“：{”1“：{”points“：[ {“x“：0的情况。一、“Y“：50块8 }]，“姓名”：1 }，“metrics1“：{”metric“：“准确性“，“x_axis“：“百分比的毒药“，“情节“：“目标c l a s s“，“图“：{”1“：{”points“：[ {“x“：0的情况。一、“Y“：52 . 8 }]，“姓名”：1}清单1：示例配置文件引用[1] 菲利普斯PJ，奥图尔AJ。人类和计算机在人脸识别实验中的表现比较。ImageVis Comput2014;32（1）：74-85.[2] 陈S，何宏.使用卷积神经网络进行股票预测。IOP Conf Ser：Mater Sci Eng2018;435（1）：012026。http://dx.doi.org/10.1088/1757-899X/435/1/012026。[3] 杨勇，郑亮，张杰，崔勤，李智，于PS. TI-CNN：用于假新闻检测的卷积神经网络。2018年12月28日，http://dx.doi.org/10.48550/ARXIV。1806.00749，arXivURLhttps://arxiv.org/abs/1806.00749。[4] Bojarski M，Yeres P，Choromanska A，Choromanski K，Firner B，JackelL等人，解释如何用端到端学习训练深度神经网络来驾驶汽车。2017年，arXiv预印本arXiv：1704.07911。[5] 放大图片作者：Gu T，Dolan-Gavitt B，Garg S. Badnets：识别机器学习模型供应链中的漏洞。2017年，arXiv预印本arXiv：1708。06733。[6] 李英，亚梅，白英，江英，夏世泰。BackdoorBox：一个Python后门学习工具箱。2022年。[7] Wu B ， Chen H ， Zhang M ， Zhu Z ， Wei S ， Yuan D ， et al.BackdoorBench ： Acomprehensivebenchmarkofbackdoorlearning.NeurIPS 2022跟踪数据集和基准。2022年。[8] Pang R ， Zhang Z ， Gao X ， Xi Z ， Ji S ， Cheng P ， et al. TrojanZoo ：Towardsunified ， holistic ， and practical evaluation of neural backdoors.IEEE欧洲安全与隐私研讨会论文集。2022年。[9] Nicolae M-I，Sinn M，Tran MN，Buesser B，Rawat A，Wistuba M，et al.Adversarial robustness toolbox v1. 0.0. 2018年，arXiv预印本arXiv：1807。01069[10]崔刚，袁丽，何波，陈艳，刘志，孙明。文本后门学习的统一评估：框架和基准。 在：神经IPS的程序：数据集和基准。2022年。[11] 丁浩X.后门工具箱。2022，GitHubURLhttps://github.com/vtu81/backdoor-toolbox [在线，访问时间：2023年3月31日[12]Turner A，Tsipras D，Mdry A.干净标签后门攻击。麻省理工学院，网址https://people.csail.mit.edu/madry/lab/cleanlabel.pdf。[13]陈X，刘C，李B，陆K，宋D.使用数据中毒对深度学习系统进行针对性后门攻击。2017年，arXiv预印本arXiv：1712。05526。[14]陈X，Salem A，Backes M，Ma S，Zhang Y. Badnl：针对nlp模型的后门攻击。ICML 2021对抗机器学习研讨会2021年[15][10]李明，刘志，李文，陈艳，刘文，李文. Onion：一个简单有效的防御文本后门攻击的方法。2020年，arXiv预印本arXiv：2011年。10369[16]Gao Y，Kim Y，Doan BG，Zhang Z，Zhang G，Nepal S，et al.在深度神经网络上设计和评估多域木马检测方法。IEEE跨部门安全计算2021;19（4）：2349-64。[17]刘毅，马X，贝利J，卢F. Reflection backdoor：对深度神经网络的自然后门攻击。计算机视觉-ECCV 2020：第16届欧洲会议。Springer; 2020，p. 182比99[18]赵S，马翔，郑翔，贝利J，陈军，蒋永国.对视频识别模型的干净标签后门攻击。在：IEEE/CVF计算机视觉和模式识别会议论文集。2020，第14443-52页。[19][10]张文辉，张文辉，张文辉. Sleeper agent：可扩展的隐藏触发后门，用于从头开始训练的神经网络. 2021年[20]李勇，李勇，吴乙，李立，何荣，吕S.利用特定样本触发的隐形后门攻击。在：IEEE/CVF计算机视觉国际会议论文集。^P.16463-72。[21]Nguyen A，Tran A.基于wanet的不可察觉的变形后门攻击。2021年，arXiv预印本arXiv：2102.10369。[22]Bagdasaryan E，Shmatikov V.深度学习模型中的盲后门。第30届USENIX安全研讨会。^P.1505-21[23]Nguyen TA ， Tran A. 输 入 感 知 动 态 后 门 攻 击 。 Adv Neural InfProcessSyst2020;33：3454-64.[24]李勇，翟涛，蒋勇，李智，夏世涛.物理世界中的后门攻击。2021年，arXiv预印本arXiv：2104.02361。[25]Doan K，Lao Y，Zhao W，Li P.里拉：可学习，不可感知和强大的后门攻击。在：IEEE/CVF计算机视觉国际会议论文集。^P.11966-76。[26]Liu Y，Xie Y，Srivastava A.神经木马。2017年IEEE计算机设计国际会议。IEEE; 2017，p.45比8[27]刘K，多兰-加维特B，加格S.精细修剪：防御对深度神经网络的后门攻击。攻击、入侵和防御研究：第21届国际研讨会。Springer; 2018，p. 273比94[28]赵平，陈培英，达斯平，拉马穆尔蒂，林新。损失景观中的桥接模式连通性和对抗鲁棒性。2020年，arXiv预印本arXiv：2005.00060。[29]李Y，吕X，科伦N，吕L，李B，马X.神经注意力蒸馏：从深度神经网络中删除后门触发器。2021年，arXiv预印本arXiv：2101.05930。[30]李Y，吕X，科伦N，吕L，李B，马X. 反后门学习：在有毒数据上训练干净模型。Adv Neural Inf Process Syst2021;34：14900-12.[31]唐荣，杜梅，刘宁，杨芳，胡新.深度神经网络中木马攻击的一种简单方法。第26届ACMSIGKDD知识发现数据挖掘国际会议论文集&。2020年，p. 218比28[32]Liu Y，Ma S，Aafer Y，Lee W，Zhai J，Wang W，et al. Trojaning attackonneural networks.第25届网络与分布式系统安全研讨会。互联网协会;2018年。[33]姚毅，李宏，郑宏，赵碧。对深层神经网络的潜在后门攻击。2019年ACMSIGSAC计算机和通信安全会议论文集。2019年，第2041-55[34]Shokri R等人，《深度学习中的后门检测算法》。2020年IEEE欧洲安全与隐私研讨会IEEE; 2020，p. 175比83[35]Pang R，Shen H，Zhang X，Ji S，Vorobeychik Y，Luo X，et al. A tale ofeviltwins：Adversarial inputs versus poisoned models. 2020年ACM SIGSAC计算机和通信安全会议论文集。2020年，p. 85比99[36]放大图片作者：John J，John E.通过随机平滑验证对抗鲁棒性。上一篇：机器学习国际会议PMLR;2019，p. 1310-20[37] 徐伟，埃文斯D，齐Y.特征压缩：在深度神经网络中检测对抗性样本。2017年，arXiv预印本arXiv：1704.01155。[38][10]杨文，李文.深度学习模型抵抗对抗性攻击。2017年，arXiv预印本arXiv：1706。06083[39]孟东，陈宏.磁铁：一个双管齐下的防御对抗性的例子。2017年ACM SIGSAC计算机和通信安全会议论文集。2017年，p.135比47[40]Chen B，Carvalho W，Baracaldo N，Ludwig H，Edwards B，Lee T等人通过激活聚类检测对深度神经网络的后门攻击。2018年，arXiv预印本arXiv：1811.03728。[41]Tran B，Li J，Madry A.后门攻击中的光谱特征。高级神经信息处理系统2018;31.[42]高燕，徐春，王丹，陈S，拉纳辛赫，尼泊尔S。STRIP：防御深度神经网络上的特洛伊木马攻击。2019年，http://dx.doi.org/10。48550/ARXIV.1902.06531，arXiv URLhttps://arxiv.org/abs/1902.06531。[43]吴 志 华 ， 李 志 华 . 机 器 学 习 中 对 后 门 攻 击 的 模 型 不 可 知 防 御 。 IEEETransReliab2022;71（2）：880-95。[44]Wang B，Yao Y，Shan S，Li H，Viswanath B，Zheng H，et al. Neuralcleaning ： Identifying and mitigating backdoor attacks in neural networks.2019年IEEE安全与隐私研讨会IEEE; 2019，p.707-23[45]陈华，付春，赵军，寇山发. DeepInspect：用于深度神经网络的黑盒木马检测和缓解框架。 载于：《国际司法文书》，第2卷。2019年，第8.第八条。[46]郭伟，王丽，邢晓，杜梅，宋丹。Tabor：一种高度准确的方法来检查和恢复人 工 智 能 系 统 中 的 特 洛 伊 木 马 后 门 。 2019 年 ， arXiv 预 印 本 arXiv ：1908.01763。Arthur Mercier，Nikita Smolin，Oliver Sihlovec等人软件X 22（2023）1013878[47]黄X，Alzantot M，Srivastava M. Neuroninspect：通过输出解释检测神经网络中的后门。2019年，arXiv预印本arXiv：1911.07399。[48]戴 军 ， 陈 春 ， 李 勇 . 对 基 于 lstm 的 文 本 分 类 系 统 的 后 门 攻 击 。 IEEEAccess2019;7：138872-8.[49]Qi F，Li M，Chen Y，Zhang Z，Liu Z，Wang Y，et al. Hidden killer：Invisible textual backdoor attacks with syntax trigger. 2021年，arXiv预印本arXiv：2105.12400。[50][10]李明，刘志，孙明，齐芳，陈艳，张晓.注意文字的风格！基于文本样式转移的对抗性和后门攻击。2021年，arXiv预印本arXiv：2110.07139。[51]Shen L，Ji S，Zhang X，Li J，Chen J，Shi J，et al. Backdoor pre-trainedmodels can transfer to all.2021年，arXiv预印本arXiv：2111.00197。[52]张X，张Z，季S，王T.木马语言模型的乐趣和利润。2021年IEEE欧洲安全与隐私研讨会IEEE;2021，p. 179比97[53]杨伟，林毅，李平，周军，孙晓。对nlp模型后门攻击隐蔽性的再思考。收录于：第59届计算语言学协会年会和第11届自然语言处理国际联合会议（第1卷：长篇论文）。^P. 5543-57[54]李亮，宋丹，李新，曾杰，马荣，邱新。通过分层权重中毒对预训练模型进行后门攻击。2021年，arXiv预印本arXiv：2108。13888。[55]杨伟，李玲，张智，任新，孙新，何宝。小心有毒的单词嵌入：探索nlp模型中嵌入层的脆弱性。2021年，arXiv预印本arXiv：2103.15543。[56]张志，肖刚，李勇，吕婷，齐芳，刘志，等.训练前红色报警模型：神经元级后门攻击的普遍脆弱性。 MachIntell Res2023;1-14.[57][10]张文，张文，张文，张文，张文. Turn the combination lock：Learnabletextual backdoor attacks via word substitution. 2021年，arXiv预印本arXiv：2106.06361。[58]作者：Kurita K，Michel P，Neubig G.对预训练模型的体重中毒攻击。2020年，arXiv预印本arXiv：2004.06660。[59]杨伟，林毅，李平，周军，孙晓。Rap：鲁棒性感知扰动，用于防御NLP模型上的后门攻击。2021年，arXiv预印本arXiv：2110.07831。[60]Chen C，Dai J. Mitigating backdoor attacks in lstm based text classi-ficationsystems by backdoor keyword identification.神经计算2021;452：253-62.[61][10]杨文，王文，王文.一种新的后门攻击在cnns通过训练集腐败没有标签中毒。2019年IEEE图像处理国际会议。IEEE; 2019，p.101-5[62]曾毅，朴伟，毛志民，贾瑞.重新思考后门攻击的触发因素：频率的观点。在：IEEE/CVF计算机视觉国际会议论文集。^P.16473-81。[63]吴东，王燕.对抗性神经元修剪可净化后台深度模型。Adv Neural Inf ProcessSyst 2021;34：16913[64]黄克，李英，吴乙，秦忠，任克。通过解耦训练过程的后门防御。2022年，arXiv预印本arXiv：2202.03423。[65]唐D，王X，唐H，张K. Demon in the variant：DNN的统计分析，用于强大的后门污染检测。在：USENIX安全研讨会. ^P. 1541-58年。[66]Qi X，Xie T，Li Y，Mahloujifar S，Mittal P.重新审视后门防御的潜在可分性假设。第十一届学习表征国际会议。2023年[67]Hayase J，Kong