深度学习的安全挑战：从Tay到自动驾驶的教训

"2019-CNCC-沈超-机器学习系统的安全和隐私风险.pdf" 在2019年的中国计算机大会（CNCC）上，沈超教授（来自西安交通大学）探讨了机器学习系统的安全和隐私风险。他指出，尽管机器学习技术在计算机视觉、无人驾驶等领域取得了显著成果，其能力在某些情况下甚至超越人类，但随之而来的是在数据安全、模型安全和代码安全等方面的挑战。这些问题构成了智能安全的重要议题。 沈超教授强调了几个具体的案例来展示机器学习系统面临的实际安全风险。例如，微软的聊天机器人Tay在推特上上线后不久就因不当言论被迅速“黑化”，这揭示了模型容易受到恶意引导的脆弱性。此外，谷歌的Waymo自动驾驶汽车、Uber的自动驾驶车辆以及特斯拉的Model S和Model X等在自动驾驶过程中发生事故，这些事件表明了系统在应对复杂环境和潜在威胁时可能存在的问题。更有甚者，艺术家James Bridle通过简单的盐堆就让无人驾驶汽车误判，凸显了系统对异常情况识别能力的局限性。 安全研究人员关注的重点不仅仅是模型的识别精度和效率，他们更关心的是机器学习应用是否存在安全漏洞。从安全的角度来看，主要关注三个方面：机密性、完整性和可用性。机密性涉及模型安全和数据隐私保护，确保模型不被非法获取和数据不被泄露。完整性则关注数据投毒攻击（在训练阶段）和对抗样本攻击（在测试阶段），防止模型被恶意篡改或误导。可用性意味着系统做出的决策必须准确可靠，避免因系统故障导致的不可用性。 沈超教授引用了陈宇飞、沈超、李康、管晓宏等人的研究，强调了虚假数据注入攻击对控制物理系统状态估计的威胁，并指出在科学杂志《中国科学》上发表的相关研究，展示了近年来对抗这一威胁的进展。 机器学习系统的安全和隐私问题日益突出，需要在设计和实施阶段就考虑安全策略，包括但不限于数据加密、模型验证、防御对抗样本等方法。同时，持续的研究和开发是必要的，以增强机器学习系统的鲁棒性，抵御各种潜在的攻击，确保人工智能技术在为社会带来便利的同时，也能保证用户的安全和隐私。