2019年人工智能数据安全治理白皮书:国内外现状与未来发展

5星 · 超过95%的资源 需积分: 18 44 下载量 74 浏览量 更新于2024-07-17 1 收藏 1.46MB PDF 举报
本白皮书由中国信息通信研究院安全研究所于2019年8月发布,主要探讨了2019年全球人工智能发展的最新趋势和数据安全的重要性。随着AI技术的飞速发展,它已经成为国际竞争的核心领域,深刻影响着政治、经济、社会和国防等多个层面。数据作为AI的基础要素之一,其安全问题愈发凸显,因为AI应用不仅带来了前所未有的机遇,也带来了严峻的数据安全挑战。 白皮书首先定义了人工智能安全的概念,明确了人工智能数据安全的内涵,即在处理和分析大量数据的过程中确保数据的隐私、完整性和可用性。它构建了一个全面的人工智能数据安全体系架构,以系统性的方式分析了人工智能本身、其应用过程以及对数据治理带来的影响。 接着,白皮书深入剖析了人工智能数据安全风险,包括AI系统可能面临的内部威胁,如算法偏见或系统漏洞,以及外部威胁,如数据泄露、攻击和滥用。此外,AI的广泛应用可能加剧了数据治理的复杂性,对现有的法规和管理机制提出了新的要求。 在应用层面,白皮书探讨了人工智能如何与数据安全治理相结合,以及AI技术如何被用于提升数据安全管理效率。同时,它关注了国内外在人工智能数据安全领域的战略规划、伦理规范、法律制定、技术创新和标准规范的发展情况,揭示了各国在应对AI数据安全挑战上的努力和策略。 通过对这些内容的详细分析,白皮书旨在提供一个全面的视角,帮助理解和应对当前人工智能数据安全的挑战,为中国乃至全球的人工智能发展制定有针对性的安全策略。该报告对于政策制定者、企业、研究机构以及公众理解AI时代的数据安全问题具有重要的参考价值。
2023-06-02 上传
人工智能安全 现在有很多技术可以欺骗人工智能, 也有很多人工智能技术被用来欺 骗人。在人工智能(AI)时代,安全问题不容忽视。 近几年,人工智能技术在很多领域都取得了初步的成功,无论是图像 分类、视频监控领域的目标跟踪,还是自动驾驶、人脸识别、围棋等 方面, 都取得了非常好的进展。 那么, 人工智能技术到底安全不安全? 事实上,目前的人工智能技术还存在很多问题。 人工智能并不安全 现在有很多技术可以欺骗人工智能,如在图片上加入一些对抗干扰。 所谓对抗干扰,就是针对智能判别式模型的缺陷,设计算法精心构造 与正常样本差异极小、能使模型错误识别的样本。如图 1 所示,本来 是一幅手枪的图片, 如果加入一些对抗干扰, 识别结果就会产生错误, 模型会识别为不是枪。在人的前面挂一块具有特定图案的牌子,就能 使人在视频监控系统中"隐身"(见图 2)。在自动驾驶场景下,如果 对限速标识牌加一些扰动,就可以误导自动驾驶系统识别成 "Stop"(见图 3),显然这在交通上会引起很大的安全隐患。另一方 面,人工智能的一些技术现在正在被滥用来欺骗人。例如,利用人工 智能生成虚假内容,包括换脸视频、虚假新闻、虚假人脸、虚拟社交 账户等。 图 1 被暴恐检测系统识别成正常图片 图 2 在智能监控下隐身 图 3 误导自动驾驶系统 不只在图片和视频领域,在语音识别领域也存在这样的安全隐患。例 如,在语音中任意加入非常微小的干扰,语音识别系统也可能会把这 段语音识别错。同样,在文本识别领域,只需要改变一个字母就可以 使文本内容被错误分类。 除了对抗攻击这种攻击类型外,还有一种叫后门攻击的攻击类型。后 门攻击是指向智能识别系统的训练数据安插后门, 使其对特定信号敏 感,并诱导其产生攻击者指定的错误行为。例如,我们在对机器进行 训练时,在某一类的某些样本中插入一个后门模式,如给人的图像加 上特定的眼镜作为后门, 用一些训练上的技巧让机器人学习到眼镜与 某个判断结果(如特定的一个名人)的关联。训练结束后,这个模型针 对这样一个人还是能够做出正确的识别, 但如果输入另一个人的图片, 让他戴上特定的眼镜,他就会被识别成前面那个人。训练的时候,模 型里留了一个后门,这同样也是安全隐患。 除了对抗样本、后门外,如果 AI 技术被滥用,还可能会形成一些新 的安全隐患。例如,生成假的内容,但这不全都是人工智能生成的, 也有人为生成的。此前,《深圳特区报》报道了深圳最美女孩给残疾 乞丐喂饭,感动路人,人民网、新华社各大媒体都有报道。后来,人 们深入挖掘,发现这个新闻是人为制造的。现在社交网络上有很多这 样的例子,很多所谓的新闻其实是不真实的。一方面,人工智能可以 发挥重要作用,可以检测新闻的真假;另一方面,人工智能也可以用 来生成虚假内容,用智能算法生成一个根本不存在的人脸。 用人工智能技术生成虚假视频, 尤其是使用视频换脸生成某个特定人 的视频,有可能对社会稳定甚至国家安全造成威胁。例如,模仿领导 人讲话可能就会欺骗社会大众。因此,生成技术是否需要一些鉴别手 段或者相应的管理规范,这也是亟须探讨的。例如,生成虚假人脸, 建立虚假的社交账户,让它与很多真实的人建立关联关系,甚至形成 一些自动对话,看起来好像是一个真实人的账号,实际上完全是虚拟 生成的。这样的情况该如何管理还需要我们进一步探索和研究。 人工智能安全隐患的技术剖析 针对 AI 的安全隐患,要找到防御的方法,首先要了解产生安全隐患 的技术。以对抗样本生成为例,其主要分为 2 类:一类是白盒场景下 对抗样本生成;另一类为黑盒场景下对抗样本生成。白盒场景的模型 参数完全已知,可以访问模型中所有的参数,这个情况下攻击就会变 得相对容易一些,只需要评估信息变化的方向对模型输出的影响,找 到灵敏度最高的方向,相应地做出一些扰动干扰,就可以完成对模型 的攻击。黑盒场景下攻击则相对较难,大部分实际情况下都是黑盒场 景,我们依然可以对模型远程访问,输入样本,拿到检测结果,但无 法获得模型里的参数。 现阶段的黑盒攻击可大致分为 3 类。 第一类是基于迁移性的攻击方法, 攻击者可以利用目标模型的输入信息和输出信息, 训练出一个替换模 型模拟目标模型的决策边界, 并在替换模型中利用白盒攻击方法生成 对抗样本,最后利用对抗样本的迁移性完成对目标模型的攻击。第二 类是基于梯度估计的攻击方法, 攻击者可以利用有限差分以及自然进 化策略等方式来估计梯度信息, 同时结合白盒攻击方法生成对抗样本。 在自然进化策略中, 攻击者可以以多个随机分布的单位向量作为搜索 方向,并在这些搜索方向下最大化对抗目标的期望值。第三类是基于 决策边界的攻击方法,通过启发式搜索策略搜索决策边界,再沿决策 边界不断搜索距离原样本更近的对抗样本。 有攻击就有防御,针对对抗样本的