人工智能取证：故障调查与法律结论的科学基础

创建AI Forensics领域Ibrahim Baggili和Vahid Behzadan纽黑文大学vbehzadan@newhaven.eduibaggili@newhaven.edu摘要随着人工智能在日常和关键技术中的广泛集成，人工智能系统中出现故障的情况似乎不可避免地会增加。在这种情况下，就需要进行技术调查，就这种失败的原因得出法律上可接受和科学上无可争议的调查结果和结论。本文从计算机取证领域的发展现状出发，提出了在人工智能安全领域建立人工智能取证这一新学科此外，我们提出了这一学科下的子领域的分类，并提出了一个讨论的基础挑战，摆在这个新的研究领域。介绍人工智能（AI）的最新进展已经引起了大量行业和技术对此类技术的快速增长。人工智能在我们日常生活中的渗透很容易在广告和道路导航等日常技术中观察到（例如，谷歌地图），以及网络安全（Li2018），医疗保健（Jiang et al. 2017）和智慧城市（McKee et al. 2018）等关键领域然而，人工智能技术的日益复杂性使得难以保证和验证此类系统的安全性和可靠性（Yampolskiy 2018）。因此，观察到支持AI的系统中报告故障的频率越来越高并不奇怪（例如，（Yampolskiy和Spellchecker 2016））。作 为 回 应 ， 不 断 发 展 的 人 工 智 能 安 全 领 域（Amodei et al. 2016）旨在解决人工智能系统的可靠性和安全性问题。到目前为止，由此产生的工作主要集中在预防当前和未来人工智能技术中的不安全行为。然而，人工智能对关键技术的快速渗透已经大大超过了人工智能安全社区的研究工作。因此，部署AI的失败频率增加似乎是不可避免的。在关键系统发生此类故障的情况下，有必要调查导致故障的原因和事件顺序。除了分析潜在的技术缺陷外，此类调查还需要确定其他各种方面，包括：故障是否是恶意行为的结果，哪一方应对故障造成的损害负责，以及故障是否可以预防。此外，执法部门和保险公司等利益相关方服务提供者可要求进行调查，以得出法律上可接受和无可争议的调查结果和结论。在计算机安全领域的类似需求已经引起了网络取证领域。数字取证，也被称为网络取证，围绕数字证据的科学和法律提取。该领域是一个多学科交叉的领域，涉及计算机、法学、犯罪学、心理学等多个学科.然而，该领域的核心是数字证据的获取、认证和分析（AAA）。受此类比的启发，我们认为有必要建立人工智能取证的形式主义，作为人工智能安全下的一门新学科这种形式主义的目标是开发工具、技术和协议，用于对AI故障进行法医分析因此，本文做出了以下贡献：• 我们提供了AI Forensics的第一个工作定义• 我们概念化的第一次正式尝试的人工智能Foren-sics域，并提出了相应的类型和证据来源的分类。• 我们列举了一些值得注意的挑战，在做的主要人工智能取证。相关工作近年来，人们对算法决策的故障检测和分析技术越来越感兴趣（Goodman and Flaxman 2016）。这在一定程度上是由于欧盟类似地，对可解释的人工智能的研究（Samek，Wieg and，andMüller2017）旨在创建工具和技术，使黑盒模型（如深度神经网络）的可解释性成为可能。然而，在人工智能（特别是机器学习模型）中的故障分析的当前技术状态主要集中在设计和训练问题的技术诊断和故障排除（例如，（Nushi，Kandy和Horvitz 2018））。因此，在能够对启用AI的系统中的故障进行取证分析的工具和技术方面仍然存在差距数字取证和数字证据数字取证被定义为版权所有© 2020本文由其作者。在知识共享许可署名4.0国际（CC BY 4.0）下允许使用。网络/数字取证AI取证AI模型取证AI应用取证AI基板取证AI培训取证--培训过程-监管链培训--目标/成本函数取证--预处理取证--数据集取证--托收保管- 标签监管链--QA取证--环境取证--磁盘--网络--传感器--执行器--API--文物--模型认证取证--模型指纹/弹道取证--模型识别/提取取证--模型性能取证--模型恶意软件取证--监管链模型图1：AI Forensics研究领域和子域选择、验证、识别、分析、解释、记录和展示来自数字源的数字证据，以促进或促进犯罪事件的重建，或帮助预测被证明是非法的未经授权的行为，破坏计划的行动数字证据的一个重要组成部分是其在法庭上的可接受性证据的可采性主要由所谓的Frye检验所支配，即专家科学证据只有在科学界普遍接受的情况下才能被采纳。自1993年以来，美国法院采用了联邦证据规则第702条，导致了许多人所说的Daubert程序。这一过程包括四个主要准则（Farrell 1993）：1. 测试：该程序是否可以进行测试？2. 错误率：是否有已知的程序错误率？3. 出版物：该程序是否已出版并接受同行评审？4. 接受：该程序是否在相关科学界得到普遍接受？数字取证通过探索磁盘取证（Garfinkel 2009），内存取证（Ligh et al. 2014），网络取证（Karpisek，Baggili 和 Breitinger 2015 ） ， 云 取 证 （ Ruan et al.2013），工件取证（Grajeda et al.2018），区块链存储 和 加 密 货 币 取 证 （ Ricci ， Baggili 和 Breitinger2019），社交媒体取证（Al-khateeb et al. 2016），作者归属（Mohan，Baggili和Rogers 2010）和移动取证（Baggili et al.2015年）。上述取证领域也受益于人工智能技术，因为数字取证中的过程自动化非常重要，因为数字取证的数量，种类和速度都很高。虽 然 专 家 们 最 近 注 意 到 了 AI Forensics 的 机 会（Luciano et al. 2018），但在撰写本文时，该领域还没有明确定义。AI Forensics我们将人工智能取证的范围视为数字取证的一个子领域，定义为用于提取、收集、分析和报告与人工智能系统故障有关的数字证据的科学和法律工具、技术和协议。根据Daubert流程，AI Forensics提供了一个框架，科学地解决下列问题：• 导致故障的事件和条件的顺序是什么• 故障是否由恶意操作造成？• 哪一方或哪几方对失败负责？• 是否有可能避免失败？• 失败发生在哪里？任何法医调查的核心是收集和提取证据。为此，我们对可能与调查有关的各种类型的证据进行了分类此外，我们确定可能的证据来源，为每一个列举的类型。AI培训取证在机器学习系统的取证调查中，必要的步骤是识别在系统训练期间引入的潜在有意或无意故障。这种错误可能源于培训中涉及的任何组件，详情如下：训练过程取证：训练过程包括优化算法及其相应的超参数。人工智能失败的一个主要原因是目标或成本函数的错误指定，这可能导致与设计师目标不一致的行为（Arnold，Kasenberg和Scheutz 2017）。此外，设计选择，如再循环学习代理中的探索技术（Behzadan和Munir 2018）和正则化技术，可能会导致脆弱的行为，无法适应其部署环境中的分布变化（Papernot et al.2018年）。因此，这些参数和选择构成宝贵的法医证据。数据集取证：在机器学习模型的训练中使用的数据集可能具有不一致或不代表性的样本，从而导致模型与其部署设置的条件不兼容。此外，训练数据集可以经受意图操纵（例如，数据中毒攻击（Papernot等人，2018）和后门注入（Chen等人，2017））。因此，法证调查可以从获得数据集和了解其汇编方法中获益此外，访问数据集的修改历史可以帮助识别故意操纵以及责任方。环境取证：强化学习代理的训练数据的模拟是训练环境。类似于训练数据的情况，不具有代表性或被操纵的环境可能导致错误的行为和故障（例如，（Behzadan，Yampolskiy和Munir 2018）和（Behzadan和Hsu 2019））。因此，访问训练环境及其修改历史可以证明在法医调查中是有用的AI基板取证基板是指承载AI系统的硬件和软件平台。人工智能基板的取证调查本质上是数字取证的领域。然而，人工智能基质的某些方面可能会引起独特的情况。例如，由于宇宙射线导致的处理器或存储器中的随机位翻转已被证明会导致潜在的重大故障（Santoso和Jeon 2019）。此外，在网络物理AI系统中，机械部件的受损或操纵致动（例如，机器人运动）可能导致对状态和行为后果的错误描述（Behzadan和Munir，2018年）。AI基板中的法医证据的主要来源包括磁盘和存储器、网络组件以及网络物理设置中的传感器和致动器的条件AI应用取证人工智能通常作为应用系统的一个组件部署。例如，基于云的认知 服务提供应用程序编程接口（API），以实现AI服务在软件产品中的集成从这些API的使用日志中收集的取证证据可能表明有人试图操纵，以及在正确的数据清理和查询处理中失败此外，分析诸如系统资源利用日志、认证日志和文件系统日志之类的伪像也可以提供关于异常行为及其原因的有用信息。AI模型取证部署的机器学习模型可能会导致与上述来源无关的故障。例如，原始模型可能在机器学习供应链中的某个点被操纵或替换。这种类型的恶意行为可能以后 门 模 型 的 形 式 表 现 出 来 （ 例 如 ， (Chen 等 人2017）），损坏的模型（例如，恶意软件分类中毒（Chen et al. 2018 b））或故意恶意模型。虽然可解释的人工智能领域提供了一系列工具，可能有助于分析此类模型中的决策过程，但全面的法医调查需要进一步的证据，这些证据可以从其他来源获得，如下所述：模型认证取证：此类证据的目的是验证所调查模型的真实性。机器学习模型的水印技术的最新进展（Behzadan和Hsu 2019; Zhang et al. 2018）为模型的直接认证然而，这些方法尚未被普遍采用。此外，水印还可能易于篡改和伪造。因此，软件级哈希技术等替代证据可以提供更可靠的替代方案。模型识别/提取取证：如果被调查的模型是黑盒（即，模型参数和体系结构是未知的）、诸如模型反转和提取的技术（Trame`retal. 2016）可以提供用于复制其行为以用于进一步测试和分析的手段。然而，由于这种复制品的近似性质，仍然需要能够量化不确定性的技术，以保持所得到的法医分析的合法性。模型弹道取证：在法医学的一般领域中，弹道学是指分析和识别在枪击事件中使用的武器的类型和所有者。同样，在可疑或恶意模型的取证调查中，确定模型的类型和创建者（工具和个人）也很重要。模型性能取证记录模型中的内部指标和变量的值可以提供对模型内部工作的详细了解。例如，（Chenet al. 2018 a）证明了对深度学习模型中激活值的分析有助于检测隐藏的后门。此外，模型内部的更高级别的测量，例如强化学习代理的状态-动作值估计和分类器的多类概率分布，可以提供关于故障起源的有用模型恶意软件取证如前所述，机器学习模型可能被后门和恶意软件激活的策略感染，或者已经被故意训练过恶意行事人工智能取证调查需要检测和确定此类恶意软件的存在，并提供确定其恶意意图的方法。受计算机恶意软件分析沙箱技术的启发（Greamo和Ghosh 2011），此类案件中取证证据的初步来源是复制模拟或受控环境中的条件，以观察和分析所调查模型的行为动态。挑战AI的不可解释性对人工智能失败的合理和无可争议的根本原因分析可能需要对导致不希望的错误的决策过程进行透明和准确的然而，对复杂人工智能系统的可解释性的研究仍处于早期阶段，现有的技术水平远未解决可解 释 性 问 题 此 外 ， 最 近 的 一 些 文 献 （ 例 如 ，（Yampolskiy 2019））认为，随着人工智能技术和能力的发展，人工智能系统可能变得更加困难，甚至不可能解释。在这种情况下，决策过程的简单抽象可 以 增 强 对 这 种 失 败 的 法 医 分 析 。 例 如 ，（Behzadan，Munir和Yampolskiy 2018）提出了复杂人工智能安全问题的精神病理学抽象可能需要类似的抽象来实现对高级AI的准确取证分析AI反取证在数字取证领域，犯罪分子不断适应技术的发展，并利用诱饵、虚假证据或法医清理等技术来阻碍法医调查。这种反取证技术也可能被犯罪分子发明和采用，以操纵人工智能的法医调查。因此，主动识别此类技术和开发缓解解决方案将成为该领域日益重要的研究领域。最近的反取证一般分类法是由研究人员设计的（Conlan，Baggili和Breitinger 2016），然而，AI反取证并不包括在分类法中。虽然这是一个挑战，但它也为研究人员提供了一个成熟的机会。网络取证和AI社区之间的脱节我们面临的最大挑战之一是AI安全和网络取证社区之间的脱节。来自这两个领域的科学家并没有一起工作，因此，AI Forensics领域还没有被构想出来，未来的工作已经成熟。这种脱节在最近的一项调查研究中很明显，其中大多数数字取证从业者（67%）（不同意，同意或中立）对他们在数据科学方面的能力（Sanchez et al. 2019年）。结论我们认为，人工智能在日常和关键技术中的广泛整合必然会导致失败的情况，这将需要进行技术鉴定，以产生法律上可接受的和科学上可推断的结果和结论。受网络取证领域的启发，我们因此引入了建立人工智能取证作为人工智能安全下的新学科此外，我们还提出了该学科下的子领域分类，并讨论了这一新研究领域面临的基础性挑战。引用Al-khateeb，S.; Conlan，K. J.道：Agarwal，N.;巴吉利岛 ; 和 Breitinger ， F. 2016. 探 索 社 交 媒 体 平 台 上 的Journal of Digital Foren-sics ， Security and Law11（2）：1.Amodei，D.; Olah，C.; Steinhardt，J.; Christiano，P.;Schul-man，J.; 和Man e′，D. 2016年。人工智能安全中的具体问题。arXiv预印本arXiv：1606.06565。Arnold，T.; Kasenberg，D.;和Scheutz，M. 2017.价值一致或错误-什么将保持系统的可解释性？在第三十一届AAAI人工智能上。巴 吉 利 岛 ; Oduro ， J.; Anthony ， K.; Breitinger ， F.;McGee，G. 2015.看你穿什么：智能手表的初步foren-sic分析。2015年第10届可用性、可靠性和安全性国际会议，303-311. 美国电气与电子工程师协会。Behzadan，V.，和Hsu，W. 2019.深度强化学习策略水印的顺序触发器arXiv预印本arXiv：1906.01126。Behzadan，V.，和Munir，A.2018年我们的π星中的缺陷arXiv预印本arXiv：1810.10369。Behzadan，V.; Munir，A.;和Yampolskiy，R.五、2018年。AI和AGI安全工程的精神病理学方法在计算机安全性，可靠性和安全性-SAFE-COMP2018Workshops，V aüsteral 's，瑞典，2018年9月18日，会议记录，513Behzadan，V.;扬波利斯基河五、和Munir，A. 2018.强化学习代理中成瘾行为的出现。arXiv预印本arXiv：1811.05590。陈X.;刘，C.;李，B.;卢，K.;和Song，D. 2017.使用数据中毒对深度学习系统进行焦油后门攻击。arXiv预印本arXiv：1712.05526。陈，B.; Carvalho，W.; Baracaldo，N.;路德维希，H.;爱德华兹，B.;李，T.;莫洛伊岛和Srivastava，B. 2018年a.通过激活聚类检测对深度神经网络的后门攻击。arXiv预印本arXiv：1811.03728。Chen，S.;薛，M.;范湖;郝，S.;徐，L.; Zhu，H.;和Li，B. 2018年b月。恶意软件检测系统中的自动中毒攻击和防御：对抗性机器学习方法。计算机安全73：326-344。Conlan，K.;巴吉利岛;和Breitinger，F. 2016.反取证：通过一种新的扩展的粒度分类法来推进数字取证科学。数字调查18：S66- S75。Farrell ， M.G.1993.Daubert 诉 MerrellDowPharmaceuticals，Inc.：认识论和法律程序。卡多佐湖Rev. 15：2183.Garfinkel，S. L. 2009.使用sleuthkit、xml和python自动化磁盘取证处理。2009年第四届IEEE数字林业工程系统方法国际研讨会，73-84。美国电气与电子工程师协会。古德曼，B.， 和Flaxman，S.2016.欧盟法规关于算法决策和“放弃权”。在ICML机器学习中的人类可解释性研讨会（WHI 2016），纽约，纽约。http：//arxiv. org/abs/1606.08813v1。Grajeda ， C.; Sanchez ， L. 巴 吉 利 岛 ; Clark ， D.; 和Breitinger ， F.2018 年 构 建 人 工 制 品 基 因 组 计 划（agp）的经验：一次管理一个人工制品的领域数字调查26：S47-S58。格雷莫角，和Ghosh，A. 2011.沙盒和虚拟化：对抗恶意软件的现代工具。IEEE Security Privacy9（2）：79-82.江，F.;江，Y.;Zhi，H.;董，Y.;李，H.;马，S.;王玉;董，Q.;沈，H.;和Wang，Y. 2017.医疗保健中的人工智能：过去、现在和未来。中风和血管神经学2（4）：230-243。Karpisek ， F.; 巴 吉 利 岛 ; 和 Breitinger ， F. 2015.WhatsApp网络取证：解密和理解WhatsApp呼叫信令消息。数字调查15：110- 118。李，J- H. 2018.网络安全与人工智能的结合：一项调查。信息技术电子工程19（12）：1462-1474。李，M。H.的; Case，A.; Levy，J.;和Walters，A. 2014.内存取证的艺术：检测Windows、Linux和Mac内存中的恶意软件和威胁。约翰·威利父子公司Luciano，L.;巴吉利岛;Topor，M.;Casey，P.;还有布莱廷格F. 2018.未来五年的数字取证。在第13届国际可扩展性、可靠性和安全性上，46。ACM。McKee，D.W的; Clement，S.J.道：Almutairi，J.;和Xu，J.2018年分布式网络物理系统智能自治的进展和挑战。CAAI Transactions on Intelligence Technology3（2）：75-82.Mohan，A.;巴吉利岛M.; 和Rogers，M.K. 2010年。使用 n-gram 方 法 的 sms 消 息 的 作 者 归 属 技 术 报 告 ，CERIAS 2010-11技术学院。Nushi ， B.; Kenda ， E.; Horvitz ， E. 2018. Towardsaccountable ai ： Hybrid human-machine analyses forcharacterizing system failure.第六届AAAI人类计算和众包。帕尔默湾，澳-地2001.数字取证研究的路线图--来自第一届数字取证研究研讨会的报告。纽约州尤蒂卡Papernot，N.; McDaniel，P.; Sinha，A.;和Wellman，M. P.2018. Sok：机器学习中的安全和隐私。 2018年IEEE欧洲安全与隐私研讨会（EuroS P），399-414。美国电气与电子工程师协会。Ricci，J.;巴吉利岛;和Breitinger，F. 2019.基于区块链的分布式云存储数字取证：牛肉在哪里IEEE SecurityPrivacy17（1）：34-42.Ruan，K.; Carthy，J.; Kechadi，T.;和巴吉利岛2013.云取证定义和云取证能力的关键标准：调查结果概述。Digital Investigation10（1）：34-43.Samek，W.; Wi eg and，T.; 和Müller，K.- R.2017年。可解释的人工智能：理解，可视化和解释深度学习模型。arXiv预印本arXiv：1708.08296。Sanchez，L. Grajeda，C.;巴吉利岛;和Hall，C. 2019.一项探索法医工具、人工智能、过滤、&更安全呈现在调查儿童性虐待材料（csam）中的价值的从业者调查。 数字调查29：S124-S142。Santoso，D.，和Jeon，H. 2019.了解深度学习工作负载的gpu架构漏洞。在2019年IEEE国际研讨会缺陷和容错在VLSI和纳米技术系统（DFT），16. 美国电气与电子工程师协会。Trame`r，F.; 张，F.; Juels，A.; Reite r，M. K.的; Ris-tenpart，T. 2016.通过预测api窃取机器学习模型。第25 届 {USENIX} 安 全 研 讨 会 （ {USENIX}Security16），601-618。扬波利斯基河五、Spellchecker，M.2016年。人工智能安全与网络安全：人工智能失败的时间轴arXiv预印本arXiv：1610.07997。扬波利斯基河五、2018年。人工智能安全与保障。Chapman和Hall/CRC。扬波利斯基河五、2019年。人工智能的不可解释性和不可理解性。张，J.;Gu，Z.;Jang，J.;吴，H.;Stoecklin，M.P的; 黄，H.;和Molloy，I. 2018.用水印保护深度神经网络在2018年亚洲计算机和通信安全会议的会议记录中，159ACM。