使用Fuzzing生成对抗样本：深度学习安全解析

"利用Fuzzing测试的对抗样本生成-java并发编程-doug lea" 本文探讨了如何利用Fuzzing测试技术来生成对抗样本，特别是在人工智能领域，如手写数字图像识别和人脸识别系统。对抗样本是一种设计用来误导AI系统判断的输入，它们在外观上可能与正常样本相似，但在AI眼中却能触发错误的识别结果。 首先，对抗样本的生成通常针对模型和算法的弱点，但也可以通过黑盒攻击的方式，即不考虑模型内部细节，而是采用模糊测试（Fuzzing）的方法。在手写数字图像识别的案例中，目标是生成看起来像"1"但实际上被识别为"2"的图片。这通过将问题转化为漏洞挖掘问题来实现，利用种子图片（即数字"1"的图片）进行变异，并观察机器学习系统是否将变异图片误识别。 具体实现中，Fuzzing测试的改进版本基于AFL（American Fuzzy Lop），进行了以下优化： 1. 漏洞注入：当系统识别出图片为"2"时，人工插入一个崩溃机制，以标识成功的对抗样本。 2. 数据变异策略：在变异过程中，侧重于影响图像内容的数据进行变异，提高对抗效果。 3. 路径和关键数据导向：在AFL原有的路径覆盖基础上，增加了关键数据的导向，以更高效地找到可以误导AI的输入。 对抗样本生成方法不仅适用于手写数字识别，还可以迅速应用到其他AI系统，如人脸识别。文中给出了针对手写数字的对抗样本实例，以及针对人脸识别系统的应用示例。 AI安全风险是当前的重要议题。2018年的《AI安全风险白皮书》中指出，深度学习系统的安全性包括模型安全、数据安全和代码安全三个方面。深度学习框架中的软件实现漏洞、对抗机器学习的恶意样本生成、训练数据污染等都是安全威胁来源，可能导致AI系统出现误判、拒绝服务甚至被劫持。白皮书强调了对传统攻击类型和AI系统特有安全问题的关注，如逃逸攻击和数据污染攻击。 AI安全盲点是当前需要解决的关键问题，因为公众对AI的关注多集中在算法和前景，而忽视了安全层面。在推动AI应用的同时，必须解决这些安全问题，包括深度学习框架中的漏洞和对抗样本的防范。此外，安全研究还涉及到训练数据的保护，防止数据污染攻击，以确保AI系统的稳健性和可靠性。