机器学习安全与隐私保护：威胁、防御与未来

“机器学习安全及隐私保护研究进展”是一篇关于在机器学习领域中安全和隐私保护的学术文章，由宋蕾、马春光和段广晗撰写，发表于2018年的《网络与信息安全学报》。文章探讨了随着机器学习广泛应用所引发的安全威胁和隐私问题，分析了敌手模型，总结了各种攻击类型和相应的防御策略，并提出了隐私保护技术。 在机器学习过程中，敌手模型通常指那些试图干扰或利用系统漏洞的恶意行为者。这些敌手可能通过投毒攻击（Poisoning Attack）来篡改训练数据，使模型学习到错误的信息；或者实施对抗攻击（Adversarial Attack），通过微小的输入扰动导致模型预测错误；此外，还有询问攻击（Inference Attack），通过大量查询来获取敏感信息。 为了应对这些安全威胁，文章提到了几种防御方法。正则化（Regularization）可以减少模型对训练数据的过度依赖，降低被攻击的风险；对抗训练（Adversarial Training）则是在训练过程中引入对抗样本，增强模型的鲁棒性；防御精馏（Defensive Distillation）是一种将高温训练的模型知识转移到低温模型的技术，也能提高抵抗对抗攻击的能力。 在隐私保护方面，文章重点关注了训练数据的隐私泄露。训练数据窃取（Training Data Extraction）是其中一种威胁，敌手可能试图复原原始数据。逆向攻击（Inversion Attack）允许敌手从模型中恢复输入数据的某些特性。成员推理攻击（Membership Inference Attack）则可以通过观察模型的输出来推断特定样本是否用于训练。针对这些问题，同态加密（Homomorphic Encryption）和差分隐私（Differential Privacy）成为有效的保护手段。同态加密允许在加密数据上进行计算，而差分隐私通过添加噪声来保护个体数据的隐私。 文章最后指出，尽管已有诸多研究，但机器学习的安全和隐私保护仍面临诸多挑战，如如何在保护隐私的同时保持模型性能、如何设计更强大的防御机制以及如何建立全面的安全和隐私评估框架等，这些都是未来研究的重要方向。该文的关键词包括机器学习、安全威胁、防御技术和隐私保护，表明其主要关注点在于机器学习领域的安全实践和理论发展。