NLP机器学习安全：模型攻击与防御策略

"看雪2018安全开发者峰会上，吴鹤意分享了关于NLP机器学习模型的安全性及其实践的议题。主要内容涉及机器学习的攻击类型，包括对抗性输入、数据中毒攻击和模型窃取技术，并探讨了针对机器学习的各种攻击对系统准确性和可用性的影响。此外，还讨论了问答机器人在实际应用中遇到的问题，以及可能的解决方案和数据污染的防御策略。" 在NLP和机器学习领域，安全性是一个日益重要的问题。吴鹤意指出，攻击者可以通过制造对抗性输入来规避模型的检测，或者通过数据中毒来操纵模型的训练过程，使其偏向攻击者的意图。模型窃取技术则允许攻击者通过黑盒查询来复制或识别训练模型。这些攻击方式对机器学习的安全构成了严重威胁。 代码攻击是针对开源代码进行的漏洞分析，通常在代码层面上进行，可以通过打补丁来修复，但可能会影响软件的可用性。算法攻击则涉及到对模型输入的扰动，这可能导致模型的准确性下降，影响到系统的可用性。频率攻击，如针对声音频率的攻击，需要通过软硬件升级来防范，同样会波及到系统可用性。 在问答机器人方面，吴鹤意列举了多个案例，展示了由于词槽设置不完善、阈值设定不当、匹配精度不足等问题导致的用户不满和研发困扰。这些问题影响了客服满意度、客户投诉率、转接效率、商品转化率，甚至可能导致因敏感词的不当处理而被迫下线。 针对这些问题，吴鹤意提出，AI与安全的结合不应仅限于敏感字过滤，还应关注数据污染的防御。例如，点赞接口可能成为数据污染的途径，知识库爬虫也可能被滥用。他还提到了AI人脸识别的漏洞，有人成功绕过了自助设备的验证。 最后，吴鹤意强调，尽管AI技术在不断发展，但关于AI安全的讨论和实践仍需加强。数据污染是AI系统需要重点防御的领域，同时，AI系统的不当行为，如“说脏话”，也会对其KPI产生负面影响。因此，推动AI安全的研究和交流至关重要。