可解释的数字取证AI：处理AI驱动的数字证据提取和分析的可行性研究

法医科学国际：数字调查42（2022）301403DFRWS 2022美国-第二十二届年度DFRWS美国会议记录可解释的数字取证AI：使用可解释的模型减轻基于AI的数字取证分析阿比奥顿河Solanke意大利博洛尼亚大学CIRSFID Alma-AI我的天啊N F O文章历史记录：保留字：数字取证AI证据挖掘可解释AI可解释AIAI与法律A B S T R A C T法院、法律从业者和公众目前对基于人工智能（AI）的数字证据提取技术表示怀疑，这是可以理解的。人们对封闭式人工智能模型的透明度及其在数字证据挖掘中的适用性表示担忧。虽然人工智能模型牢固地植根于数学、统计和计算理论，但争论的焦点是它们的可解释性和可理解性，特别是在它们如何得出某些结论方面。本文探讨了闭盒模型的问题;目标;和可解释性/可解释性的方法。最重要的是，提出了可解释的基于AI的数字取证（DF）调查的建议。©2022作者出版社：Elsevier Ltd这是CC BY-NC-ND下的开放获取文章许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍在过去的二十年里，机器生成的证明大多已经接管了人类在事实发现中的功能，尽管准确性有所提高（Roth，2015）。人们对数字证据或机器生成的结论的合法性存在相当大的担忧，特别是考虑到这些决定可能会因相同的科学证据而有所不同，就像它们与人类专家一样。同样，正如庭外证词，如道听途说（古迪逊等人， 2015），机器证词（来源）可能会给司法系统带来封闭的问题，导致事实调查人员做出不正确/不完整的推断（Carr，2014; Pasquale，2015）。尽管设计、输入、模型和环境都可能导致机器驱动的DF分析的错误或不准确的解释，但最可能的原因是错误的算法/代码、偏斜或不成比例的数据集以及系统的有缺陷的OS、分布式平台等）。人类负责设计和构建机器的所有重要组件（包括其设计，输入和操作模块），因此一些学者断言机器的因此，true声明符2缩写：DFAI，数字取证AI。电子邮件地址：abiodun. unibo.it。1见第4节。2一台机器能够生产的任何输出的一部分都是人（Wolfson，2005）。虽然机器的设计者或操作者对其所做的陈述负有一定的道德责任，但她并不是这些陈述的唯一来源（Roth，2015）。她只是在向观众重复机器产生的输出。机器驱动的法医调查，就像专家意见一样，是人类和技术之间“分布式认知“的产物（Dror和Mnookin，2010）。如前所述，人类和机器以各种方式密不可分，这影响了从封闭的盒子到确定责任的一切。人工智能及其不可理解性（不透明性）仍然是活跃的研究领域;然而，鉴于人们对人工智能系统是否应该是可解释或可解释的普遍误解，达成统一共识的道路可能会更长。AI/机器学习（ML）驱动的系统在我们的日常生活中有着广泛的应用，在每个领域都有不同的影响。在判决对个人产生重大影响的地方，或者在需要问责、跨性别或遵守法律的地方（例如，在健康和法律方面），人们越来越担心人工智能系统的不可解释性（Coyle和Weller，2020）。这促使人们呼吁对人工智能系统进行法医调查（Baggili和Behzadan，2020），并对其在各种场景中的应用进行审计（Schneider和Breitinger，2020），以确定其行为。事实证明，智能系统在反驳或支持DF调查中的主张方面特别有用，因为它们识别或检测到了可能被遗漏或忽视的有趣线索。当试图解释法医调查的结果时，需要解决额外程度的复杂性。https://doi.org/10.1016/j.fsidi.2022.3014032666-2817/©2022作者。出版社：Elsevier Ltd这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表国际法医学：数字调查杂志首页：www.elsevier.com/locate/fsidiA.A. Solanke法医科学国际：数字调查42（2022）3014032结论，因为用于得出这些结论的方法可能在科学上有问题或不够透明。随着技术变得越来越复杂，随之而来的犯罪也越来越复杂，需要从传统方法（如律师，陪审员和其他人熟悉的法医工具）转向更强大，同样智能的系统，如人工智能来识别潜在的证据。这项工作的主要目标是首先研究人工智能中关于可解释性和可解释性的各种想法，特别关注它们如何影响使用人工智能算法挖掘的DF和证据。这是必要的，以便为这种模棱两可的想法提供坚实的基础从正确的角度来看，通过文献提供的指导可能有助于建立正确的联系，特别是与数字取证 AI （ DFAI ） 3 有关的联系（ Solanke 和Biasiotti，2022）。第二，讨论了为封闭盒子问题找到可行答案的许多方法和尝试（尽管这仍然难以捉摸）。然后，在讨论了几种解决方案后，提出了特定于领域的建议，以减轻对数字证据挖掘的不信任。本文的主要贡献是为减轻人工智能驱动的数字取证调查中的不信任提供了建议。此外，提出了可解释的数字取证AI的正式前概念，以及为AI模型提供可理解的解释及其对基于AI的DF分析的适用性的各种相关接下来的部分讨论了可解释性和可解释性的概念;解释AI模型的目标和方法;以及使AI在数字取证中的应用更具可解释性的建议。2. 的概念人工智能的承诺是能够更好地做出决策，正如在某些形式的医疗诊断中所看到的那样（De Fauw等人，2018年）或监测企图金融欺诈（阿齐兹和道林，2019年），但人们对它在司法和警务系统等关键环境中的使用提出了质疑（阿齐兹和道林，2019年）。迫切需要向可能对算法决策如何达成感到好奇的观众解释。可解释AI（XAI）（Samek等人， 2017，2019; Pedreschi等人， 2018; Guidotti等人， 2019年），是一个研究领域，专注于通过“玻璃盒”系统的功能组件使AI系统及其使用的数据透明（Gross-Brown etal.， 2015年）。鉴于人工智能在许多领域的广泛应用，不同的解释意味着不同的含义，重要性的权重是根据技术要求和结果的影响来分配的例如，推荐系统的决策过程需要很少或根本不需要解释，而犯罪预测或累犯算法的决策机制则会引起质疑。由于一个错误的机器生成的决定可能会对执法和整个刑事司法系统产生严重后果，XAI占有很大的分量。XAI的想法源于不断努力通过解构复杂变量来最大限度地减少（或完全消除）AI系统的不为此，3关于封闭式人工智能系统的结果是否应该解释的争论（Arrieta et al.，2020）或可解释的（Rudin，2019）;有些人认为系统是可理解的或负责任的（Benjamins等人，2019年）。然而，特别是可解释和可解释的人工智能，在文献中可以互换使用在Scopus 5数据库中进行简单搜索，可以发现这些误解随着时间的推移以及文献中推理逐渐转向可解释性。根据搜索，“可解释的人工智能”随着时间的推移越来越普遍，直到2018年，在可解释性开始正式化之前。可解释人工智能（IAI）和XAI现在广泛用于一系列研究领域，包括健康和决策科学（DF可能属于其中），以及该概念主要流行的主要领域（例如计算机科学，数学，工程，社会科学等）。为了更好地理解这些概念，可能需要对术语进行定义和区分;因此，下面提供了最广泛使用的术语的摘要。可解释性：涉及将机器的决策过程与准确且可理解的人类解释联系起来的想法（Guidotti等人， 2019年）。它体现了这样一种概念，即人工智能模型及其输出可以以人类可以接受和理解的方式进行合理尽管它们的性能较低，但经典的ML模型相当容易理解。深度神经网络/深度学习（DNN/DL）（LeCun等人，另一方面，2015年）表现更好，但被认为更难解释。真正可解释的人工智能系统使用知识库进行数据分析，并提供一种以逻辑上合理解释其输入数据的方式解构结果的技术（Hall等人，2021年）。根据Gunning（2019）的说法，“XAI将创建一套机器学习技术，使人类用户能够理解，适当信任和有效管理新兴的人工智能合作伙伴。“I nt er prtabil it y：是否有能力以一种可理解的方式来解释不确定性或意义（Arrieta et al.，2020年）。一个通用的定义可能是不可能的，因为可解释性是特定于领域的（Ruping，2006; Huysman等人， 2011年）。然而，重要的是要注意，机器生成输出的可解释性应该根据其与结构领域知识的一致性来考虑;因果关系;或物理约束;当然，（数据的）稀疏性;这可以根据人类认知能力来衡量（Miller，1956;Cowan，2010）。 除了能够可视化模型之外，可解释的系统还允许用户检查和理解输入如何转移到输出的数学基础（Doran等人， 2017年）。 它传达了一种透明和清晰的感觉。可解释的考虑可以通过三种方式帮助改进人工智能模型的实现：1）确保决策的客观性; 2）确保对可能损害预测的对抗性扰动的弹性;以及3）确保仅使用正确的变量来推断输出，即， 保证真正的因果关系支持模型推理（Arrieta等人，2020年）。 为了使一个可解释的人工智能系统有效，它所做的预测必须是可以理解的，它的判别规则必须是可视化的，任何可能干扰模型的情况都必须被披露（Hall，2018）。可理解性：或可理解性，是指一个允许其在其操作功能d方面自解释而无需描述其内部结构或用于处理数据的底层算法的模型（Montavon等人，在数字取证领域部署的技术（或支持AI的工具）4“数字证据挖掘”是指利用人工智能技术自动识别、检测、提取和分析数字证据的过程。Mining是从“数据挖掘”这个词中借用来的 。5https://www.scopus.com/home.uri。然而，更多的作品可能比（在本研究中）从单个数据库中考虑的标题、摘要或关键词更能A.A. Solanke法医科学国际：数字调查42（2022）30140332018年）。可理解性：通常根据模型的复杂性进行量化（Guidotti等人，2019 ） ， 其中 包 括 模 型 以可 理 解 的 方 式描 述 其 学 习 过程 的 能 力（Crave，1996; Gleicher，2016）。在AI中，可理解性通常是通过在模型的输出中包含演绎符号来实现的，这允许逆向工程，并通过在输出特征及其相应的输入之间建立联系来实现。透明度：光学透明度、可模拟性（即，系统可被复制的容易性），可分解性（即，分块，易于分析功能组件）和透明度都是透明模型应该具备的特征（Lipton，2018）。所有上述定义的概念都是交织在一起的，因为它们强调人工智能模型在决策中的重要性，这些模型是人们很容易误解这些概念的基本含义，当然，在本文中，它们可以互换使用最重要的是，本文相当重视两个概念：可解释性和可解释性，虽然提出了其他概念，但目标是确定哪一个对DFAI更重要3. 在法律和人工智能中得到解释的权利：简介很明显，法院不创造证据;他们不是证人，不受证据规则的约束。同样，法律和判例法也不是证据。然而，法院是为了维护法律和解释证据（Marcinowski，2021）。因此，执法或法医从业人员有责任查明这类证据。专员还必须证明（用令人信服的解释）用于确定所提出的事实的程序和方法的有效性。当这些方法涉及隐含的复杂应用程序时（例如，虽然这是一个封闭的系统），但控方和辩方也有一项基本权利：解释权（Doshi-Velez等人，2017年）。在“正义不仅必须得到伸张，而且必须让人看到正义得到伸张“的实际法律背景下，证明案件结果真实性所必需的透明度可能在没有解释的情况下缺失（Atkinson等人，2020年）。法律学科可能是第一个认识到解释人工智能系统重要性的学科，并且在近几十年来一直是这一方向的推动力。在他从社会科学的角度对人工智能进行的富有洞察力的评估中，Miller（2019）列出了他声称大多数人工智能研究人员都没有意识到的解释（人工智能）的四个关键特征。提交人认为，解释应当是：1. 对比：推理偶尔被表达为反事实假设;例如，如果预测分析将某些图像归类为包含儿童剥削内容（CSEM）（伊斯兰等，2019年），对这种分类的平衡解释将解释什么是这种推断（以及为什么不是其他东西）。一个有效的方法是调查是否假设的变化的情况下可能会影响他们的结论，提出了在HYPO（Risperson和阿什利，1987年;阿什利，1991年）2. 选择性：通常受认知偏见的影响，这意味着对事件因果关系的详尽分析很少合乎逻辑。相反，假设利益相关者之间有共同的背景知识，这可能并不总是这样，选择一些（选择性的;据称只有说服力）原因来解释无限数量的因果事件。3. 罕见概率：虽然真相和概率（在比率方面）在法医学中至关重要，但使用“最有可能”作为因果事件的语义解释可能是不合适的。因此，利用基于概率或统计相关性的解释作为对事件发生的一般性解释可能是无效的，除非伴随着因果解释，说明为什么这种概括是典型的。4. 社会性：指通过讨论或互动来传播（或传递）知识.因此，解释是根据解释者对听众信念的信念提出的解释作为一种权利，可以通过例子来传达（阿特金森等人，2020年），即普通法的传统是提供对比性的判例（即，以正面和负面的例子），以便说服可能偏袒一方而不偏袒另一方的陪审员或法官。使用先前案例中的假设特征来解释如果特征发生变化，案例的结果可能会有所不同，这是通过实例进行解释的一种说明（Risperson和Ashley，1987）。4. 简化和封闭箱模型：DFAI在本文的范围内，术语虽然神经网络是焦点，但其他具有相当复杂算法结构的浅层ML模型，如支持向量机（SVM）（Cortes和Vapnik，1995;Noble ， 2006 ） 或 随 机 森 林 （ RF ） （ Ho ， 1995 ，1998;Breiman，2001），也包括在封闭框类别中。下面强调的问题只是可能加剧对人工智能在数字取证中使用的怀疑的几个因素;这在很大程度上是由人工智能模型的不可解释性驱动的。“Closed-box我们使用机器，显然是因为它们拥有超人的能力来发现模式，区分并得出结论。然而，我们对这些过程的理解取决于模型的输出;我们无法遵循（Yampolski，2020）。一个封闭的系统并不总是意味着效率低下;它通常会按照预期发挥作用。令人担忧的是，如果系统声称拥有推理能力，并且能够在各种情况下得出与人类相似的结论，那么它应该能够解释它是如何得出特定结论的。值得注意的是，对一个系统的决策过程的低可信度解释会降低系统和解释在法律等高风险领域的可信度。这里的关键点是，解释与模型本身一样重要，这是DFAI迫切需要解决的问题通过无意识的非理性解释增加另一层不信任，可能会阻碍人工智能在DF中的全面采用。在解释封闭式系统方面的一个令人担忧的趋势可能是主要为正确分类的标签提供解释，这可能导致误解。一个很好的用例是显着图的描述（ Li ， 2002; Underwoord 等 人 ， 2006; Alqaraawi 等 人 ，2020）在对象检测/识别任务中。显着图是图像中最有可能被注意到的区域的视觉表示。 其主要目标之一是将图像中给定像素的重要性传达给人类视觉系统，并且它一直是法医图像分类方法的重要组成部分（Thakur和Jindal，2018; Yang等人， 2021年）。通常，显着图上每个类别的解释都是相同的，即使它们是不正确的。关于医学成像的最近研究（Arun等人，2021; Saporta等人， 2021年），发现使用A.A. Solanke法医科学国际：数字调查42（2022）3014034解释DNN的显着性不符合关键的关键实用性和鲁棒性要求。 这对许多旨在根据输入样本中可能影响某种预测/分类的重要特征提供解释的尝试提出了重大挑战。研究表明，DNN模型可以学习反直觉的解决方案，尽管它们具有表达能力（Szegedy et al.， 2013年）。基于DL的分类器已经显示出错误的预测与“高置信度“时，一个轻微的，但故意不可检测的扰动引入的例子（古德费洛等人，2014年a）。Goodfellow et al.（2014 a）使用一个具体的例子展示了对抗性情况（如噪声）如何破坏一个置信度为57%的正确分类的例子，导致模型错误地预测置信度为99%。考虑一个反事实的主张（如对抗性例子的影响），由对方提出，表明法医结论可能是不正确的，使用相同的技术推断的决定是不可靠的。这样的例子很容易说服一个合理知情的人工智能受众，更不用说那些不太知情的人了。尽管 如此 ，更 有 弹性 的 深度 生成 模 型， 如生 成 对抗 网 络（GAN ）（Goodfellow et al.，2014b，2020）和VAE（Kingma和Welling，2013）是由于这种对抗性发现而出现的。然而，GAN的博弈论基础对生成模型提出了独特的挑战。如果机器以意想不到的方式增加其操作参数，则可能会出现分析不准确性（Roth，2017）。 这可能是由样本较少的训练集造成的，这些样本要么不太代表真实世界的用例，要么不足以对未来的观察做出推断。在模型中加入太多的变量会冒着训练模型学习不合逻辑的表示的风险。例如，考虑安装在监控摄像头中的预测犯罪检测算法6，该算法可以在犯罪发生之前或犯罪发生时跟踪犯罪活动并向官员发出警报据报道，通过分析来自监控摄像头数据的犯罪相关样本，该算法学会了将连续三次握手识别为可能的麻醉交易。虽然这种推理似乎合乎逻辑，但如果不存在这种模式，它可能会忽视现实世界中与毒品有关的事件（Roth，2017）。在法庭案件中举例说明这种情况（作为人工智能方法不应被信任的原因）只会增加公众对机器生成证据的不信任。5. 可解释的DFAI：目标数字取证调查的最终价值是证据，由取证专家挖掘（提取，发现）并传达给事实发现者（例如，法律从业人员、执法机构、组织等）。大多数证据都是从因果关系的一系列相关性中推导出的事实，这需要解耦多个异质工件之间的复杂相互关系。法院或委托机构确定证据的重要性、相关性和实质内容。然而，法医专家的作用是对为得出结论而采用的方法和假设办法进行可理解的审查。解释基于人工智能的DF分析可能需要通过基于逻辑的形式化（反）论点（Besnard和Hunter，2008）来加权，比较或说服观众，或者通过降低复杂性来简化结果。鉴于高风险的观众，以证据为导向的6见https://www.govtech.com/public-safety/smart-cameras-aim-to-stop-crimes-before-they-occur.html。在 这 种 背 景 下 ， 对 演 示 至 关 重 要 的 人 来 说 ， 可 解 释 的 DFAI（xDFAI）可以被称为“基于AI的数字取证方法，为其功能和推理推理的特性提供明确和可理解（以及可评估）的理由。” 根据Clancey（1983）的解释概念（适用于xDFAI），xDFAI的目标应该是解释以下内容：为什么一个特定的事实最终被使用？当一个事实被忽视时，为什么会发生这种情况？为什么调查员没有得出不同的结论？DFAI中所用技术的性能和准确性的评估受到了相当大的关注，但较少关注所用技术的可解释性。考虑到上述情况，可以通过将xDFAI与研究中与XAI广泛相关的概念联系起来来阐述xDFAI的目标。以下是XAI的一般目标，在此表示为xDFAI在检查和展示衍生结果阶段可以追求的目标：C可信度：模型在给定上下文中（总是）按照预期（或定义）行事的能力是由其可信度衡量的，但这并不能保证它可以被解释。模型的信任随着时间的推移而建立，只要它始终符合利益相关者的心理模型，并提供准确和可验证的预测（Bhatt等人，2020年）。利益相关者可能会忽略可信系统中的意外故障，因为它不会对他们的信心产生重大影响。然而，在DFAId的情况下，“信任但核实”是可行的，因为由于其故障的严重影响，预计系统将始终以最佳方式运行。发现因果关系：因果关系是在观察到的数据之间建立（或推断）因果关系的过程（Pearl，2020）。因此，为了确定这些关系，研究者必须在该领域拥有广泛的先验知识（或专业知识），并且必须意识到数据之间存在某些关系并不意味着因果关系。一个强大的xDFAI应该能够提供直观的证据和解释的因果关系内的可观察的文物，或协助验证因果关系推理方法的输出。C可再现性：模型中的训练和测试（以及验证）阶段可以进行验证，并验证其适用性。因此，在这种情况下，可解释性的目的应该是阐明模型的功能，以便于理解其约束（或边界），以及知识的无缝转移以进行复制（Arrieta等人，2020年）。 缺乏解释可能导致对模型的错误假设（Kim等人， 2017年）。事实上，在ML研究中，文献中提出的解释已经促进了对最先进技术的改进。因此，当功能参数被明确阐明并且其方法被广泛复制时，DFAI模型的置信度可能会增加。C信息性：DFAI模型的输出几乎完全是数字（某种概率）。要在这些价值观与证据所涉及的调查问题之间建立联系，需要时间和努力。A.A. Solanke法医科学国际：数字调查42（2022）3014035寻找。xDFAI描述这些值如何表示以及它们如何帮助调查人员推断事实是至关重要的解释和信息都是复杂的;没有另一个就不可能。在某种程度上，一旦一个模型证明了它在一系列情景中可靠预测的能力，它的可信度将取决于它可以传达的关于其推理过程的信息量及其输出的准确性。C信心：在一个稳定的系统中，这是一种实际上与信任和信念同义的品质。当要求可靠性时，信心是相对的;它是有形的（Arrieta等人， 2020年）。信心是可以表达的;与可信度一样，DFAI模型中的信心可能不容易适用于可解释性的概念，因为它是通过操作和结果的一致性获得的，而不一定是通过其操作参数的明确性获得的。尽管如此，xDFAI在提供有关每个模块化组件的置信水平的信息方面可能至关重要该系统通过这种方式，可以评估决策过程的每个组成部分，并分配适当的置信度。C.公平：相对于系统的具体目标，公平可以被视为可解释性的目标之一。在法律领域，公平被认为是遵守道德原则，知情权和对决定提出异议的权利（古德曼和弗拉克斯曼，2016年;瓦赫特等人，2017年）。为了实现算法公平，有必要清楚地描绘可能影响某个决策的假设成分之间的关系。这包括考虑到反事实成分。调查人员有可能无视与自己的看法相矛盾的事实。因此，可能会得出错误的推论。如果这个（错误的）结论是基于算法分析得出的，它有可能破坏对机器生成结果的信任;这应该避免。C可用性：这涉及无障碍环境，包括将可解释性作为一种策略，以吸引最终用户参与增强特定AI模型的过程（Miller et al.， 2017年）。这意味着DFAI算法的开源和同行评审应该理想地帮助技术用户掌握技术，而xDFAI几乎可能帮助非技术用户与算法进行交互。因此，如果法医专家被要求在法律程序中报告（或作证）算法的决定，一个容易获得的开源和/或同行评审的程序很可能被理解和接受。6. 可解释的DFAI：方法本节将介绍几种解释AI模型的方法。目的是阐述XAI，并在适当的时候与xDFAI建立相关联系。人们已经讨论过是否过度简化人工智能模型，以牺牲性能和准确性为代价使它们更容易理解（Shalaginov，2017）。考虑到可解释性和模型性能（在很大程度上）是XAI的基本目标，事后解释技术越来越受欢迎。相反，基于更简单、可自我解释的模型（例如，决策树、基于规则的模型、线性模型等）是可能图1是xDFAI结构模型的图示。6.1. 事后可解释性方法为了阐明某些模型，事后解释可以使其显著特征更清楚（Ribiero等人 ，2016; Lundberg和 Lee ， 2017; Davis 等 人 ，2020 ） ， 训练 点（Koh和Liang，2017; Yeh等人， 2018），反事实推理（Wachter等人， 2018））或决策边界（Ribiero等人，2016; Lundberg和Lee，2017）（Bhatt等人，2020年）。事后技术旨在通过各种手段提高闭盒模型的可解释性，包括通过以下方式进行解释：模型简化、可视化、本地化、特征重要性、示例和文本。本文在两个独特的背景下研究了事后可解释性：模型不可知和模型特定。一方面，模型不可知的可解释性以独立于模型内部结构的方式内置于 模 型 的 内 部 机 制 中 ， 并 且 在 模 型 经过 训 练 后 实 现 （Molnar ，2019）。使用这种方法，可以更多地了解模型如何预测结果（Arrieta等人， 2020年）。另一方面，特定于模型的可解释性方法受到限制，仅适用于特定的算法类型。事实上，所有内在方法都是模型特定的。在本文中，模型特定的方法是从它们在DNN中的使用的角度来描述的，因为它们的不透明性是本文的重点。事后可解释性方法的简要描述如下所示。此外，在这项工作的范围内，并根据不透明模型的背景，重点主要是适用于深层神经网络的方法，然而，浅层模型的方法（例如，SVM、RF等）在少数情况下被提及重要的是要强调，这里讨论的模型远不是详尽无遗的;它们只代表表1和表2概述了模型不可知和模型特定的事后可解释性方法及其对DFAI任务的潜在适用性6.1.1. 模型简化解释最广泛的模型不可知的事后解释似乎是模型简化。虽然他们主要关注规则提取技术，但Bastani等人（2018）提出了一种不同的提取方法，该方法基于将透明模型近似为复杂模型。方法，例如G-REX（Johansson等人，2004 a，b; Konig等人， 2008）和CNF（合取范式）或DNF（析取范式）（Su等人，2016）基于这种方法，试图通过以规则的形式提取信息来简化可解释性。6.1.2.按特征重要性通过量化和分析每个训练变量对模型预测的影响、相关性和重要性，这种方法阐明了闭箱模型的可操作性。SHAP（SHapley加法解释）SHAP（Lundberg和Lee，2017）框架，以及一种基于显着性检测方法的可解释图像分析的有趣方法（Dabowski和Gal，2017），为特征重 要 性 做 出 了 重 大 贡 献 。 此 外 ， 自 动 结 构 化 识 别 （ ASTRID ）（Henelius和Ukkonen，2017; Henelius等人， 2014）是一个有用的工具，用于确定预测模型中的特征重要性。然而，已经提出了几种替代方法，超越了干扰措施。这里强调的方法提供了非常有价值的技术，A.A. Solanke法医科学国际：数字调查42（2022）3014036Fig. 1. 思维导图表示可解释的数字取证AI（xDFAI）模型的说明。图二. 可解释DFAI模型的典型结构。表1概述了一些模型无关的可解释性方法，建议的工具，以及它们在数字取证中的潜在应用可解释性技术事后解释工具对DF的模型不可知论模型简化G-REX、CNF或DNF模式识别、数字文件取证分析、文本分析等。特征重要性SHAP、ASTRID、干扰函数、显著性检测（Koh和Liang，2017;Dabowski和Gal，2017）图像取证、对象分类、预测分析等。可视化SA全局SA、ICE模式识别、对象识别/分类、文档分类等。&当地石灰，公平（Dwork等人，2012）、L2X（Chen等人，2018）、AIX360（Dhurandhar等人， 2018年）对象分类、预测分析、多媒体取证等。文本文本攻击（Gao等人， 2018）、HotFlip（Ebrahimi等人， 2018）垃圾邮件检测，电子邮件取证，归因，恶意软件检测等。xDFAI，可以在未来的研究中进一步探索。6.1.3.可视化解释视觉解释也是实现模型的一种策略不可知的解释，但是它非常有效，并且在特定于模型的方法中最常见;特别是DNN。在典型的模型不可知的设置中，仅基于不透明模型的输入和输出来开发可视化可能是一个不确定的问题。A.A. Solanke法医科学国际：数字调查42（2022）3014037表2概述了一些基于DNN的模型特定的可解释性技术，提出/开发的工具及其在数字取证中的潜在应用可解释性技术事后解释工具对DF的模型特定MLNN模型简化特征重要性DeepRED Forensic图像分类、对象识别/检测、模式识别、CSEM分析等。Deep Taylor，DeepLift，Deconvnet可视化树视图CNN可视化LRP、DGN、Grad-CAM、CNN CRF-LSTM（Ma和Hovy，2016）文本CNN RNN（Xu等人，（2015年）法医图像/视频重建、法医数据可视化、对象识别、源识别、深度伪造、图像识别等。RNN特征重要性保留语音识别、作者归属、意图确定、取证语言学、时间轴/事件重构、恶意软件检测、电子邮件取证、电子发现、物联网取证、网络入侵检测等。可视化有限n-gram时域递归神经网络局部递归神经网络隐马尔可夫模型（HMM）困难的任务（Arrieta等人， 2020年）。在这种方法中经常使用的技术用于可视化sha-low ML模型的显著方法（例如，SVM、RF等）在（Cortez和Emrechts，2011，2013）中基于敏感性分析（SA）和独立条件期望（ICE）（Goldstein等人，2013）用于估计任何监督学习技术。虽然特征重要性对于xDFAI是有益的，但可视化方法提供了一种创新的方式来物理观察过程中重要变量的相互作用。虽然该方法相当复杂，但它为xDFAI提供了一个有前途的研究方向。6.1.4.当地解释考虑到DL模型具有高度的维度和曲率，局部解释的概念源于以下事实：洞察生成可解释方法可以应用于个体或分组特征中具有可检测变化的微小区域。使用网络的特征空间来表示每个案例（数据点）或其邻居，局部解释为特定案例提供了语义解释（Leslie，2019）。然而，全局解释需要捕捉每个预测或分类的内部逻辑和功能，这些预测或分类是由一个不透明的模型作为一个整体（而不是一个小区域）做出的（Leslie，2019）。该技术被称为LIME（局部可解释模型不可知解释）（Ribiero等人，2016）是设计用于简化解释的模型不可知方法的示例，其通过本地学习可解释模型并将其建模为子模块优化问题来解释模型预测。6.1.5.文本解释在闭盒模型中添加简单自然语言的解释是一种在文献中没有很好讨论的方法。模型的每个决策组件都可以使用文本进行描述。在某些情况下，文本解释以基于规则（或如果...那么）的风格进行合并这种方法，当与其他方法（例如，特征重要性和可视化），对于xDFAI来说非常有益6.2.解释深度学习模型本节简要讨论DNN的可解释性。考虑了三种不同的神经网络架构：多层神经网络（MLNN），卷积神经网络（CNN）（O′shea和Nash，2015; Albawi等人，2017）和递归神经网络（RNN）（Mikolov等人，2010年）。选择是基于他们的适用于DFAI。然而，在深度和广度方面，这里提供的描述在很大程度上是有限的，敦促读者检查（Linardatos等人， 2021; Arrieta等人，2020），以全面概述可解释的方法。MLNN是一种封闭的，但强大的AI模型，擅长推断数据变量之间的复杂关系，在大多数情况下，无法证明其基本假设的合理性。利用三种基本的可解释方法来解释多层神经网络：通过从神经网络的隐藏层（DeepRED）中提取规则来简化模型（Zilke等人，2016; Sato和Tsukimoto，2001）;使用DeepTaylor等模型的贡献元素的特征重要性（Montavon等人，2017）和DeepLift（Shrikumar等人，2017）;以及可视化，其中TreeView（Thiagarajan等人，2016年）提出。由于DeepLift和deep Taylor以图像分类为例，因此它们可能是法医图像分析以及基于模式识别的调查的绝佳xDFAI选项。CNN（O'shea和Nash，2 01 5;Alb awi等人， 2 017）结构反映了DNN极其复杂的内部核心。它们为计算机视觉从对象识别和图像分类到实例分割的独特基础奠定了基础（Arrieta等人， 2020年）。因为CNN的表现是视觉的，它们与人类的思维模式联系得很好，使它们稍微可以解释。解释CNN功能的一种方法是将输出映射回输入，以确定哪些输入数据对输出有区别，或者基于层如何看待外部世界进行解释。一种常见的特征重要性和局部解释方法是Deconvnet（Zeiler等人， 2010，2011; Zeiler和Fergus，2013），其在训练期间重复地遮挡图像的敏感区域以确定哪个部分产生期望的影响。基于特征重要性和定位的另一种方法是加权类别激活映射（Grad-CAM）（Selvaraju等人，2017年）。分层相关传播（LRP）（Bach等人， 2015）提出了一种可视化有助于预测的相关元素的方法。 其他方法（Dong等人，2017年; Xu等人， 2015）结合了CNN模型和RNN，用于通过文本解释描述视觉材料。也许一种优秀且易于解释的方法是深度生成器网络（DGN）（Nguyen等人，2016年），它不仅生成了一个令人难以置信的逼真的合成图像，而且还揭示了每个神经元学习的特征。鉴于某些DF分析需要对象识别，DGN方法似乎具有这两种功能质量和适合xDFAI开发的特性。RNN是DFAI最重要的技术之一，因为它们能够使用顺序A.A. Solanke法医科学国际：数字调查42（2022）3014038数据d对于法医事件重建是关键的（Solanke等人， 2021年）。RNN以其保留有关数据的时间依赖关系的信息的能力而自豪有两种方法来解释RNN模型：1）通过特征重要性技术，试图了解模型随着时间的推移学到了什么; 2）通过修改其架构（局部解释）来提供对模型决策过程的见解（或解释）（Arrieta et al.，2020年）。在这方面提出了许多建议，可能会引起DFAI专业人员的兴趣有了RNN，一些解释方法（Donadello等人， 2017; Donadello，2018; Garcez等 人 ， 2019 ） 已 经 证 明 了 合 并 概 率 和 逻 辑 推 理 的 可 能 性（ Manhaeve 等 人 ， 2021 ） （ 基 于 背 景 知 识 ） 在 符 号 / 子 符 号（Haugeland，1989; Ilkou和Koutraki，2020）的方式。一些其他方法包括基于有限水平n-gram模型的可视化方法（Karpathy等人，2016）来研究预测，RNN与简单透明的隐马尔可夫模型（HMM）（Krakovna和Doshi-Velez，2016）的组合来解释语音识别表示，以及在（Choi等人， 2016），用于检测过去的访问模式和模式中的重要变量。 这种技术可能是有用的，例如，在对用户的日志历史执行取证分析（例如，互联网浏览历史）在CSEM调查期间。与前面的方法相比，这些方法要么是模型-提出了一种称为上下文重要性和效用（CIU）的新技术（Framling，2020，2022; Anjomshoae等人，2019年）。它基于语境重要性/影响力（CI）和语境效用（CU）理论。CIU看起来很有前途，因为它适用于线性和非线性模型，并且可以用视觉或自然语言表示。此外，特征表示可以直接从输入输出图中读取和验证。虽然CIU方法刚刚发展，但其特点表明它有可能大大有助于xDFAI。7. DFAI中的可解释性：需要要使一个系统可信，它必须超越简单的准确性评估。有时，准确性并不总是反映现实世界的用例。因此，决定一个系统的结果是否正确的一个关键组成部分是其决策的可解释性和其特征的可理解性。模型的特定领域约束可能会使其难以将可解释的组件合并到封闭的盒子模型中。由于受约束的问题本质上更难解决，当AI模型应用于DF调查时，解释能力实际上转化为一组特定于应用的约束。因此，需要领域专家来实现模型中的可解释功能。可解释性主要关注为预测提供事后推理，而可解释性不仅回答了预测的问题（这只是问题的部分解决方案），还回答了为什么做出这样的预测（或者是什么导致了这些预测）。通过将可解释的特征纳入DFA