人工智能安全框架:2020年中国信通院报告

需积分: 18 30 下载量 129 浏览量 更新于2024-07-15 收藏 4.78MB PDF 举报
“中国信通院-人工智能安全框架(2020).pdf”探讨了人工智能领域的安全问题,提出了一个全面的框架来管理和应对这些风险。该框架旨在为AI相关企业提升安全能力、实施安全技术提供指导。 在当前科技迅速发展的时代,人工智能(AI)作为引领未来的关键技术,已成为全球竞争的焦点。然而,随着AI的广泛应用,其基础设施、设计研发及融合应用所面临的网络安全风险日益严重。各国政府和机构正积极通过制定伦理准则、法律法规和行业标准来应对这些挑战。 人工智能安全技术体系是确保AI健康发展的重要组成部分,它支持伦理规范的实施和法律监管要求。中国信息通信研究院与多家企业和研究机构合作,发布了《人工智能安全框架(2020年)》,旨在填补全球AI安全框架的空白,集中解决当前突出的安全风险。 该框架涵盖了以下几个方面: 1. **人工智能安全目标**:明确AI安全的目标,包括保护用户隐私、确保数据安全、防止算法滥用等。 2. **人工智能安全分级能力**:根据安全需求和风险程度,定义不同级别的安全能力,帮助企业分阶段提升安全水平。 3. **人工智能安全技术和管理体系**:提供一套技术与管理并重的方法,包括数据安全策略、模型验证、风险管理等,以构建完整的安全防护体系。 框架的设计思路包括: 1. **框架范围**:覆盖了AI应用的全生命周期,从数据采集、模型训练到实际应用,确保每个环节都考虑到了安全因素。 2. **设计原则**:强调了前瞻性、全面性、可操作性和动态性,以适应快速变化的AI环境。 此外,报告还分析了人工智能安全的现状,包括面临的挑战、风险分布、现有技术状况以及现有框架的不足,为后续的安全工作提供了基础。 总结来说,这份报告为AI行业提供了一个实用的指南,帮助企业在开发和应用AI时,更好地理解和应对安全风险,以促进整个行业的安全、健康和有序发展。企业应根据此框架,结合自身情况,逐步加强AI系统的安全性,确保技术创新的同时,保障用户的权益和社会的稳定。
2023-06-02 上传
人工智能安全 现在有很多技术可以欺骗人工智能, 也有很多人工智能技术被用来欺 骗人。在人工智能(AI)时代,安全问题不容忽视。 近几年,人工智能技术在很多领域都取得了初步的成功,无论是图像 分类、视频监控领域的目标跟踪,还是自动驾驶、人脸识别、围棋等 方面, 都取得了非常好的进展。 那么, 人工智能技术到底安全不安全? 事实上,目前的人工智能技术还存在很多问题。 人工智能并不安全 现在有很多技术可以欺骗人工智能,如在图片上加入一些对抗干扰。 所谓对抗干扰,就是针对智能判别式模型的缺陷,设计算法精心构造 与正常样本差异极小、能使模型错误识别的样本。如图 1 所示,本来 是一幅手枪的图片, 如果加入一些对抗干扰, 识别结果就会产生错误, 模型会识别为不是枪。在人的前面挂一块具有特定图案的牌子,就能 使人在视频监控系统中"隐身"(见图 2)。在自动驾驶场景下,如果 对限速标识牌加一些扰动,就可以误导自动驾驶系统识别成 "Stop"(见图 3),显然这在交通上会引起很大的安全隐患。另一方 面,人工智能的一些技术现在正在被滥用来欺骗人。例如,利用人工 智能生成虚假内容,包括换脸视频、虚假新闻、虚假人脸、虚拟社交 账户等。 图 1 被暴恐检测系统识别成正常图片 图 2 在智能监控下隐身 图 3 误导自动驾驶系统 不只在图片和视频领域,在语音识别领域也存在这样的安全隐患。例 如,在语音中任意加入非常微小的干扰,语音识别系统也可能会把这 段语音识别错。同样,在文本识别领域,只需要改变一个字母就可以 使文本内容被错误分类。 除了对抗攻击这种攻击类型外,还有一种叫后门攻击的攻击类型。后 门攻击是指向智能识别系统的训练数据安插后门, 使其对特定信号敏 感,并诱导其产生攻击者指定的错误行为。例如,我们在对机器进行 训练时,在某一类的某些样本中插入一个后门模式,如给人的图像加 上特定的眼镜作为后门, 用一些训练上的技巧让机器人学习到眼镜与 某个判断结果(如特定的一个名人)的关联。训练结束后,这个模型针 对这样一个人还是能够做出正确的识别, 但如果输入另一个人的图片, 让他戴上特定的眼镜,他就会被识别成前面那个人。训练的时候,模 型里留了一个后门,这同样也是安全隐患。 除了对抗样本、后门外,如果 AI 技术被滥用,还可能会形成一些新 的安全隐患。例如,生成假的内容,但这不全都是人工智能生成的, 也有人为生成的。此前,《深圳特区报》报道了深圳最美女孩给残疾 乞丐喂饭,感动路人,人民网、新华社各大媒体都有报道。后来,人 们深入挖掘,发现这个新闻是人为制造的。现在社交网络上有很多这 样的例子,很多所谓的新闻其实是不真实的。一方面,人工智能可以 发挥重要作用,可以检测新闻的真假;另一方面,人工智能也可以用 来生成虚假内容,用智能算法生成一个根本不存在的人脸。 用人工智能技术生成虚假视频, 尤其是使用视频换脸生成某个特定人 的视频,有可能对社会稳定甚至国家安全造成威胁。例如,模仿领导 人讲话可能就会欺骗社会大众。因此,生成技术是否需要一些鉴别手 段或者相应的管理规范,这也是亟须探讨的。例如,生成虚假人脸, 建立虚假的社交账户,让它与很多真实的人建立关联关系,甚至形成 一些自动对话,看起来好像是一个真实人的账号,实际上完全是虚拟 生成的。这样的情况该如何管理还需要我们进一步探索和研究。 人工智能安全隐患的技术剖析 针对 AI 的安全隐患,要找到防御的方法,首先要了解产生安全隐患 的技术。以对抗样本生成为例,其主要分为 2 类:一类是白盒场景下 对抗样本生成;另一类为黑盒场景下对抗样本生成。白盒场景的模型 参数完全已知,可以访问模型中所有的参数,这个情况下攻击就会变 得相对容易一些,只需要评估信息变化的方向对模型输出的影响,找 到灵敏度最高的方向,相应地做出一些扰动干扰,就可以完成对模型 的攻击。黑盒场景下攻击则相对较难,大部分实际情况下都是黑盒场 景,我们依然可以对模型远程访问,输入样本,拿到检测结果,但无 法获得模型里的参数。 现阶段的黑盒攻击可大致分为 3 类。 第一类是基于迁移性的攻击方法, 攻击者可以利用目标模型的输入信息和输出信息, 训练出一个替换模 型模拟目标模型的决策边界, 并在替换模型中利用白盒攻击方法生成 对抗样本,最后利用对抗样本的迁移性完成对目标模型的攻击。第二 类是基于梯度估计的攻击方法, 攻击者可以利用有限差分以及自然进 化策略等方式来估计梯度信息, 同时结合白盒攻击方法生成对抗样本。 在自然进化策略中, 攻击者可以以多个随机分布的单位向量作为搜索 方向,并在这些搜索方向下最大化对抗目标的期望值。第三类是基于 决策边界的攻击方法,通过启发式搜索策略搜索决策边界,再沿决策 边界不断搜索距离原样本更近的对抗样本。 有攻击就有防御,针对对抗样本的