人工智能中人类与机器解释的关系

人工智能267（2019）1人工智能中的解释：来自社会科学的见解蒂姆·米勒澳大利亚墨尔本大学计算与信息系统学院Ar t i cl e i nf o a b st r a ct文章历史：2017年6月22日收到收到修订版，2018年5月17日接受，2018年在线发售2018年关键词：解释性可解释性可解释性AI透明度最近，可解释的人工智能领域出现了复苏，因为研究人员和从业者试图为他们的算法提供更多的透明度。这些研究的大部分都集中在向人类观察者明确解释决定或行动上，并且不应该有争议地说，研究人类如何相互解释可以作为人工智能解释的有用起点。然而，公平地说，大多数可解释的人工智能的工作仅仅使用了研究人员对什么构成“好”解释的直觉。在哲学、心理学和认知科学中，存在着大量有价值的研究，研究人们如何定义、生成、选择、评估和呈现解释，这些研究认为，人们在解释过程中会使用某些认知偏见和社会期望。 本文认为，可解释的人工智能领域可以建立在现有的研究基础上，并回顾了哲学，认知心理学/科学和社会心理学研究这些主题的相关论文。它引出了一些重要的发现，并讨论了如何将这些发现与可解释的人工智能工作相结合。2018 Elsevier B.V.保留所有权利。1. 介绍最近，可解释的人工智能的概念在三十多年前专家系统中的解释工作爆发后有所放缓;例如，参见Anglasekaran et al. [23]，[168]以及Buchanan和Shortliffe [14]。有时缩写为XAI（可解释的人工智能），这个想法可以在拨款申请[32]和大众媒体[136]中找到。这种复苏是由许多人工智能应用程序由于道德问题[2]和缺乏对用户的信任[166，101]而受到限制或根本没有被占用的证据驱动的。运行的假设是，通过构建更透明，可解释或可解释的系统，用户将更好地理解并因此信任智能代理[129，25，65]。虽然有很多方法可以增加智能代理的信任和透明度，但两种互补的方法将成为许多可信自治系统的一部分：（1）生成决策1，其中在计算过程中考虑的标准之一是人类在给定上下文中理解决策的程度，这通常被称为可解释性或可解释性;（2）明确地向人们解释决策，我们称之为解释。解释的应用被认为是在人工智能的许多子领域，如证明自主代理行为[129，65]，调试机器学习模型[89]，解释医疗决策[45]，并解释分类器的预测[157]。电子邮件地址：tmiller@unimelb.edu.au。1 我们将使用决策作为通用术语来涵盖AI系统的输出，例如分类，动作选择等。https://doi.org/10.1016/j.artint.2018.07.0070004-3702/ 2018 Elsevier B. V.保留所有权利。目录可在ScienceDirect人工智能www.elsevier.com/locate/artint2吨。 米勒/人工智能267（2019）1-38Fig. 1. 可解释的人工智能的范围。如果我们想设计和实现真正能够向人们提供解释的智能代理，那么可以公平地说，人类如何相互解释决策和行为的模型是开始分析的好方法。 问题所在研究人员认为，人们在生成和评估解释时会使用某些偏见[82]和社会期望[72]，我认为这种偏见和期望可以改善人类与解释性人工智能的互动。例如，de Graaf和Malle [34]认为，由于人们将类似人类的特征分配给人工代理，人们将期望使用用于解释人类行为的相同概念框架进行解释尽管最近人工智能中的解释和可解释性复苏，但这一领域的大多数研究和实践似乎都使用了研究人员对什么是“好”解释的直觉。Miller等人[132]在一个小样本中显示可解释人工智能的研究通常不会引用或建立在社会科学的解释框架之上。 他们认为这可能导致失败。 那些最了解决策模型的专家并不处于正确的位置来判断解释对外行用户的有用性-这是Miller等人提出的一种现象。指（释义库珀[31]）为因此，对人们如何定义、生成、选择、评估和呈现解释的深刻理解似乎是至关重要的。在哲学，认知心理学/科学和社会心理学领域，有大量成熟的工作专门研究这些主题的几千年来，哲学家们一直在问什么是解释，解释的功能是什么，解释的结构是什么。 50多年来，认知和社会心理学家一直在分析人们如何在物理环境中归因和评估他人的社会行为。 二十多年来，认知心理学家和科学家一直在研究人们如何产生解释，以及他们如何评估解释的质量。我在这里认为，有相当大的空间将这一有价值的研究注入可解释的人工智能。构建能够解释的智能代理是一项具有挑战性的任务，在真空中处理这一挑战只考虑计算问题不会解决人工智能中更大的信任问题。此外，虽然最近的一些工作建立在专家系统解释的早期发现之上，但早期研究是在社会科学解释的大部分工作之前进行的。我认为，更新的理论可以构成可解释人工智能的基础--尽管围绕设计和实现的可解释人工智能的早期工作本文旨在促进将现有的研究纳入人工智能的解释领域。作为这项工作的一部分， 调查了250多个社会科学场所的解释性出版物。 本文根据这些问题的普遍性和与本专题的相关性，选择了其中一个较小的子集。本文介绍了解释的相关理论，在许多情况下，描述了支持这些理论的实验证据，并提出了如何解释的想法， 工作可以被注入到可解释的人工智能中。1.1. 范围在本文中，“可解释的人工智能”一词然而，重要的是要注意，可解释AI的解决方案不仅仅是“更多AI”。最终，这是一个人机交互问题。人机交互可以定义为人工智能、社会科学和人机交互（HCI）的交叉点可解释的人工智能只是人机交互中的一个问题。T.米勒/人工智能267（2019）1-383本文重点介绍了图1中最上面的一个圈：哲学、社会和认知心理学以及认知科学的解释观，以及它们与其他两个圈的关系：它们对人工智能设计的影响以及我们与它们的互动。考虑到可解释的AI的范围，本文的范围有三个方面：调查：调查和评论有关解释的哲学，认知和社会基础的相关文章，重点是“日常”解释。日常解释：专注于“日常”（或本地）解释，作为一种工具和过程，我们称之为解释者的代理，向我们称之为被解释者的人解释自己或另一个代理所做的决定。“日常”解释是解释为什么特定的事实（事件，属性，决策等）发生，而不是解释更一般的关系，如那些在科学解释中看到的。我们根据人工智能文献的观察来证明这一点，即当用户无法理解所观察到的行为或决策的痕迹时，信任就会丧失[166，129]，而不是试图理解和构建一般化的理论。尽管如此，日常的解释有时也会涉及到一般化的理论，正如我们将在第2节后面看到的那样，因此科学解释是相关的，这方面的一些工作在本文中进行了调查与可解释人工智能的关系：从相关文章中得出可解释人工智能的一些不同子领域的重要观点。以下主题被认为超出了本文的因果关系：虽然因果关系在解释中很重要，但本文不是对因果关系的大量工作的调查。我回顾在这个领域的主要立场，因为它们涉及到与解释模型的关系可解释的人工智能：本文不是对人工智能中现有的解释或可解释性方法的调查，除了那些直接有助于范围内主题或建立在社会科学基础上的方法。有关机器学习解释的优秀简短调查，请参阅Biran和Cotton [9]。1.2. 主要发现作为这篇评论的一部分，我强调了调查文献中的四个主要发现，我认为这些发现对可解释的人工智能很重要，但我相信大多数人工智能的研究和从业者目前都没有意识到这一点：1. 解释是对比性的--它们是为了回应特定的反事实案例而寻求的，在本文中被称为陪衬。也就是说，人们不问为什么事件P发生，而是问为什么事件P发生而不是某个事件Q.这对可解释的人工智能具有重要的社会和计算后果。在第22. 解释是选择的（以一种有偏见的方式）-人们很少，如果有的话，期望一个解释，包括一个事件的实际和完整的原因。人类善于从有时无限多的原因中选择一两个原因来解释。然而，这种选择受到某些认知偏见的影响。在第4节中，我们回顾了人们如何选择解释的模型，包括这与对比案例的关系。3. 概率可能最可能的解释并不总是对一个人的最佳解释，重要的是，使用统计概括来解释事件发生的原因是不令人满意的，除非伴随着对概括本身的潜在因果4. 沟通是社会性的--它们是知识的传递，作为对话或互动的一部分呈现，因此，相对于解释者对被解释者的信念的信念来呈现。在第5节中，我们回顾了人们如何就解释进行互动的模型。这四点都集中在一个点上：解释不仅仅是对关联和原因的呈现（因果归因），它们是上下文。虽然一个事件可能有很多原因，但通常被解释者只关心一个小的子集（与上下文相关），解释者选择该子集的子集（基于几个不同的标准），并且解释者和被解释者可以交互并争论该解释。我断言，如果我们要构建真正可解释的人工智能，特别是能够提供解释的智能系统，那么这三点在许多应用中是必不可少的1.3. 纲要本文的提纲如下。第1.4节介绍了一个激励性的例子，在整个文件中使用的解释代理。第二节介绍了解释的哲学基础，定义了什么是解释2 请注意，这并不意味着解释必须用自然语言给出，而是意味着解释是解释者和被解释者之间的社会互动。·····4吨。 米勒/人工智能267（2019）1-38表1一种简单的区分常见节肢动物的层模型类型号腿毒刺号眼睛复眼翅膀蜘蛛8✘8✘0甲虫6✘2✔2蜜蜂6✔5✔4飞6✘5✔2问：“为什么图像J被标记为蜘蛛而不是甲虫？””解释者：“因为图J中的节肢动物有八条腿，与蜘蛛类中的一致，而甲虫类中的节肢动物有六条腿。人：“为什么你推断出图J中的节肢动物有八条腿而不是六条？””解释者：“我数了一下我找到的八条腿，就像我现在在图像上突出显示的那样。“（ExplAgent显示的图像包含八条腿）。问： “ 你 怎 么 知 道 蜘 蛛 有八 条 腿 ？ ””解释者：“因为在我接受训练的训练集中，几乎所有八条腿的动物都被标记为蜘蛛。人 ：“但是章鱼也可以有八条腿。”为什么你不把图像J归类为章鱼？”解释者：“因为我的功能只是对节肢动物进行分类。”图2. 一个人和一个解释代理人之间的对话。它们不是什么，如何与原因联系，它们的意义和结构。第三部分集中在一种特定类型的解释-那些与人类或社会行为有关的解释，而第四部分调查人们如何产生和评估更普遍的解释;也就是说，不仅仅是社会行为。第五部分描述了解释者和被解释者之间互动的动力学研究。第6节总结并强调了人工智能解释的几个主要挑战。1.4. 例如本节提供了一个简单的示例，用于说明本文中的许多重要概念。 它是一个假设的系统，根据某些物理特征将节肢动物的图像分为几种不同的类型的节肢动物，如腿的数量，眼睛的数量，翅膀的数量等，该算法被假定为已它是在大量有效数据集上训练的，并且非常准确。 它被昆虫学家用来对他们的研究数据进行自动分类。表1概述了节肢动物特征的简单模型，以供说明。节肢动物系统具有解释功能现在，考虑人类用户和“解释代理”之间的理想化和简单的对话这种对话并不打算是现实的，而仅仅是说明一个特定的解释代理人如何互动：回答提出的问题，使用混合模式-在这种情况下，语言和视觉图像-并能够回答一系列关于其决策的问题。这个例子显示了不同类型的问题，并表明解释代理需要跟踪解释的状态;例如，通过注意它已经告诉被解释者的内容，并且可能必须推断被解释者自己推断出的内容。我们将在整个论文中引用这个例子，并将工作的不同部分与上面对话的不同部分联系起来。2. 哲学基础--什么是解释？“解释一个事件就是提供一些关于它的因果历史的信息。 在解释行为中，某个人掌握了关于某个事件的因果历史的某些信息--我将称之为解释性信息--试图把它传达给另一个人。”217]。在本节中，我们概述了解释的基础工作，这有助于定义因果解释及其区别从其他概念，如因果归因和可解释性。2.1. 定义在解释中有几个相关的概念，这些概念似乎在作者之间和文章中可以互换使用，通常表明术语的某些含义。 特别是，这一部分描述了因果归因和因果解释之间的区别。我们还将简单地讨论解释性和可解释性之间的区别。2.1.1. 因果关系因果关系的概念吸引了大量的工作，有几个不同的帐户是什么构成了一个事件或财产的原因。因果关系的各种定义可以分为两大类：依赖理论和移情理论。T.米勒/人工智能267（2019）1-385因果关系和反事实。休谟[79，第七节]被认为是推导出所谓因果关系的规律性理论的人。这一理论指出，如果第一类事件总是发生，那么两类事件之间就存在一个原因第二个事件。然而，正如刘易斯所论证的，休谟的定义实际上是关于反事实的，而不仅仅是依赖性。休谟认为，从经验中观察到的事件C和E相反，应该相对于一个想象的、反事实的案例来理解原因： 如果在某个假设的反事实情况下，事件C没有发生，那么E将没有发生。这个定义已经被争论和完善，许多因果关系的定义都是基于这个想法以这样或那样的方式;cf.[71]第98话：我的世界这种经典的反事实因果关系模型很好理解，但存在相互竞争的定义。干涉主义理论因果关系[191，58]指出，事件C可以被认为是事件E的原因，当且仅当事件E的任何变化可以仅仅通过干预事件C来实现。概率论是干涉主义理论的延伸，它指出事件C是事件E的原因，当且仅当C的发生增加了E发生的概率[128]。另一方面，移情理论[5，43，39]并没有定义依赖性，而是描述了物理因果关系。物体之间的能量转移。简而言之，如果E是代表物体O的能量变化的事件，那么C导致E，如果物体O与导致C的物体接触，并且有一定量的能量转移。虽然这里的目的不是对因果关系的详细调查，但是，相关的是要注意到，依赖理论都重点围绕反事实的概念：一些没有发生的事件会导致的事态。 即使是没有明确定义为反事实的移情理论，也认为因果关系是一种非自然的能量转移到接收对象，意味着否则会发生什么。因此，“反事实”的概念在因果关系中很重要。Gerstenberg等人[49]在一个涉及碰撞球的实验中测试了人们在做出因果判断时是否会考虑反事实。他们向实验参与者展示了两个球碰撞的不同场景， 每个场景具有不同的结果，例如一个球穿过门、刚好错过门、或者错过门很长距离。在佩戴眼动追踪设备的同时，参与者被要求确定如果候选原因没有发生（球没有碰撞），结果会是什么（反事实）。 利用跟踪的眼睛注视数据，他们表明，即使在这些物理环境中，他们的参与者也会跟踪球没有碰撞的情况下球会去哪里，从而证明他们使用反事实模拟来做出因果判断。必要和充分的原因。Kelley [87]提出了社会归因中因果关系的分类，但具有更普遍的适用性，并指出导致事件的因果图式主要有两种类型：多个必要原因和多个充分原因。前者定义了一个图式，在这个图式中，一组事件都是导致所讨论的事件所必需的;而后者定义了一个图式，在这个图式中，有多种可能的方式来导致事件，并且只需要其中之一。显然，这些可以是交错的;例如，事件E的原因C1，C2和C3，其中C1是必要的，C2或C3是必要的，而C2和C3都足以引起复合事件（C2或C3）。内部和外部原因。海德[66]是社会心理学中因果归因的鼻祖，他认为原因分为两个阵营：内部和外部。事件的内部原因是由于行为者的特征，而外部原因是由于特定情况或环境。显然，事件的起因可能是两者兼而有之。然而，海德的工作重点不是一般的因果关系，而是社会归因，或行为的感知也就是说，人们如何评价他人的行为。尽管如此，正如我们将在第3节中看到的，这一领域的工作在很大程度上建立在反事实因果关系的基础上。因果链。在因果关系和解释中，因果链的概念很重要。因果链是一组事件之间的原因路径，其中从事件C到事件E的原因表明C必须在E之前发生。任何没有原因的事件都是根本原因。希尔顿等人[76]定义了五种不同类型的因果链，如表2所示，并指出不同的因果链与不同类型的解释有关。人们不需要理解一个完整的因果链来提供一个合理的解释。这显然是正确的：原因的物理事件可以追溯到大爆炸期间发生的事件，但尽管如此，大多数成年人可以向一个为什么一个弹跳的球最终会停止。因果关系的形式模型。虽然已经提出了几种因果关系的形式模型，例如基于对比逻辑的模型[53，98]，但我相信许多人工智能领域的人会感兴趣的因果关系模型是Halpern和Pearl [58]对因果关系的形式化。这是一个任何有计算机科学背景的人都可以访问的通用模型，已被哲学家和心理学家采用，并伴随着许多额外的结果，如公理化[57]和一系列关于复杂性分析的文章[40，41]。Halpern和Pearl [58]定义了一种基于模型的方法，使用两组变量的结构因果模型：外生变量，其值由模型外部的因素确定，内生变量，其值由与其他（外生或内生）变量的关系确定。每个内生变量都有一个函数来定义它的值。上下文是将值分配给变量。直觉上，上下文表示==6T. 米勒/人工智能267（2019）1-38表2根据希尔顿等人的因果链类型[76].类型描述示例时间远端事件不约束近端事件。事件可以在不改变结果的情况下及时切换偶然的远端事件不限制近端事件。这种因果关系只在个别情况下成立，而在一般情况下则不成立展开远端事件强烈约束近端事件。因果关系在一般情况下和这种特殊情况下都成立，不能转换。A和B一起导致C; A和B的顺序是无关紧要的;例如。如果两个硬币都是正面，那么两个人各掷一枚硬币获胜;谁先掷硬币无关紧要。这次A导致B，但一般的关系并不成立;例如，一个人吸烟导致房屋火灾，但这通常不会发生。A引起B，B引起C;例如，开关电灯开关会使电流流向电灯，从而使电灯打开。机会链远端事件启动近端事件。A启用B，B导致C;例如：安装一个电灯开关，从而使灯亮起来。抢先远端先于近端，防止近端导致事件。B导致C，如果B没有发生，A会导致C;例如，如果我的妻子没有用钥匙打开车门，我用遥控锁打开车门的动作就会打开车门。模型的“可能世界”。模型/上下文对被称为情境。 给定这种结构，Halpern和Pearl将事件X=x（即，内生变量X接收值x）的实际原因定义为一组事件E（每个事件的形式为Y=y），使得（非正式地）以下三个标准成立：AC1事件Xx和原因E在实际情况下都为真。AC2如果E中事件的变量有一些反事实值，那么事件X x就不会发生。AC3E 是最小的-也就是说，在这个案例中没有不相关的事件。一个充分的原因只是一个非最小的实际原因;也就是说，它满足了上面的前两项。我们将在后面的5. 1. 2节中回到这个模型来讨论哈尔彭和珀尔2.1.2.解释“解释既是一个过程，也是一个产品，正如Lombrozo所指出的那样[104]。然而，我认为，实际上有两个解释过程，以及产品：1. 认知过程（Cognitive process）：溯因推理的过程，用来在社会科学中，确定特定现象的原因的过程被称为归因，作为整个解释过程的一部分2. 产品--认知过程产生的解释是认知解释过程的产品3. 社会过程-解释者和被解释者之间传递知识的过程，通常是一群人之间的互动，其目标是被解释者有足够的信息来理解事件的原因;尽管存在其他类型的目标，正如我们稍后讨论的那样但什么才是解释呢？这个问题在哲学中引起了很多争论，但哲学和心理学的解释都强调因果关系在解释中的重要性-也就是说，解释涉及原因[159，191，107，59]。然而，非因果解释也有定义[52]，例如解释“发生了什么”。或解释某个特定评论的含义[187]。这些定义超出了本文的范围，对可解释的人工智能提出了一系列不同的挑战2.1.3.作为产品的我们认为解释是对一个为什么问题的回答[35，138，99，102]。根据Bromberger [13]的说法，why-question是一个whether-question的组合，前面是“why”。whether-question是一个疑问句，它的正确答案是“yes”或“no”。为什么问句中的预设是问句中所指的事实，被解释，表达得好像它是真的（如果问句是否定句，则为假）。 例如，“他们为什么这么做？“是一个”为什么“的问题，其内在的”是否“的问题是“他们这样做了吗？”, and thepresupposition being “ 然而，正如我们将在2.3节中看到的，为什么问句在结构上比这更复杂：它们是对比性的。然而，其他类型的问题可以通过解释来回答。在表3中，我提出了一个基于Pearl和Mackie因果关系阶梯的解释性问题模型该模型将解释性问题分为三类：T.米勒/人工智能267（2019）1-387表3解释性问题的分类和回答所需的推理问题推理描述什么？联想考虑到观察到的事件，未观察到的事件可能发生的原因怎么做？干涉主义模拟情况的变化，看看事件是否仍然发生为什么？反事实模拟其他原因，看看事件是否仍然发生(1) 什么问题，如“发生了什么事件？（2）how -问题，如“那件事是怎么发生的？”（3）为什么问题，如“为什么会发生这样的事件？”“.从推理的角度来看，为什么问题是最令人困惑的，因为它们使用了最复杂的推理。什么问题要求事实的叙述，可能使用联想推理来确定，从观察到的事件，哪些未观察到的事件也发生了。 如何问题也是事实性的，但需要干预主义的推理来确定一系列的原因，如果删除，将阻止事件的发生。这也可能需要联想推理。我们将“如果”问题与“如何”问题进行了分类，因为它们只是分析在不同情况下会发生什么的对比案例。为什么问题是最具挑战性的，因为它们需要反事实推理来撤销事件并模拟其他不真实的事件。这也需要联想和干预的推理。Dennett [36]认为“为什么”是模棱两可的，有两种不同的意义的为什么问题：为什么？为什么呢.前者要求一个过程叙述，而不解释它是为了什么，而后者要求一个原因，这意味着原因背后的一些有意的想法。丹尼特给出了以及“为什么滚珠轴承是球形的？"。前者要求基于物理学和化学的解释，因此是一个为什么的问题，因为行星不是圆的。后者要求一个解释，给出了为什么设计师使球轴承球形的原因：一个原因，因为人们设计他们的方式。给出一个“为什么”问题，奥弗顿[138]将解释定义为一对，包括：（1）答案：哪一个是答案（2）和（2）和（3），这是前提。2.1.4. 溯因推理解释作为一种认知过程，与溯因推理密切相关。皮尔士[142]是第一个将溯因推理视为一种独立于归纳和演绎的推理形式的作者，但溯因推理与归纳一样，是从结果到原因的。他的工作集中在通过科学实验（归纳）接受一个假设和推导一个假设来解释观察到的现象（溯因）之间的区别。他定义了在诱拐中使用的推理形式如下：观察到令人惊讶的事实C但如果A为真，那么C就是理所当然的，因此，有理由怀疑A为真。显然，这是一个从假设A解释事实C的推论，它不同于演绎和归纳。然而，这并不能解释相互竞争的假设。 Josephson和Josephson [81]将这种更具竞争性的绑架形式描述为：D是数据的集合（事实、观察、给定）。H解释了D（如果为真，将解释D）。没有其他假说能像H那样解释D。因此，H可能是真的。Harman [62]将这一过程称为因此，我们可以把溯因推理看作以下过程：（1）观察一些（可能是意料之外或令人惊讶的）事件;（2）对这些事件产生一个或多个假设;（3）判断假设的可接受性;（4）选择哲学和认知科学的研究认为，溯因推理与解释密切相关。 特别是，在试图理解事件的原因时，人们使用溯因推理来确定他们认为是“最好的”解释。Harman [62]也许是第一个承认这种联系的人，最近，实验评估已经证明了这一点[108，188，109，154]。波普尔[146]也许是科学过程中溯因推理最具代表性的支持者他强烈主张科学的方法是基于经验的可证伪性，假设，而不是当时的经典归纳主义观点。早期的哲学著作认为溯因是一种神奇的直觉过程--一种不能被形式化规则捕捉的东西，因为它不适合标准的演绎模型。然而，当人工智能研究人员开始研究溯因推理来解释观察结果时，这种情况发生了变化，例如在诊断（例如医疗诊断，故障诊断）[145，156]，意图/计划识别[24]等中，以合适的计算形式编码过程的必要性导致了公理化，Pople [145]似乎是第一个这样做的人，以及如何实现这种公理化的特征;例如Levesque [97]。从这里开始，溯因过程作为一个有原则的过程获得了牵引力，现在人们广泛接受溯因、归纳和演绎是逻辑推理的不同模式8T. 米勒/人工智能267（2019）1-38本文并不直接将溯因推理等同于解释，因为解释也指的是产品而溯因推理属于解释的认知过程范畴。在第4节中，摘要本文综述了溯因推理的认知科学观点，特别是溯因推理在假设形成和评价中的认知偏差。2.1.5.可解释性和合理性在这里，我们简要地讨论了本文中使用的可解释性，可解释性，正义化和解释之间的区别;因为它们似乎被用于人工智能。Lipton [103]提供了可解释AI的必要条件和方法的分类。本文采用了利普顿我使用Biran和Cotton [9] 因此，解释是观察者可以获得理解的一种模式，但显然，还有其他模式可以采用，例如做出内在更容易理解的决定或通过内省。我把“可解释性”等同正当化解释了为什么一个决策是好的，但不一定是为了解释实际的决策过程[9]。在阅读本文时，理解这些术语之间的相似性和差异是很重要的，因为讨论的一些相关研究仅与解释相关，特别是第5节，讨论了人们如何向彼此提供解释;而其他部分，特别是第3节和第4节讨论了人们如何生成和评估解释，以及解释他人的行为，因此范围更广，可用于创建更多可解释的代理。2.2. 为什么人们要求解释人们可能会要求解释的原因有很多。好奇心是人类使用的一个主要标准，但其他实用的原因包括考试-例如，老师要求她的学生解释考试以测试学生在本文中，我们对人工智能中的解释感兴趣，因此我们的重点是智能代理如何解释他们的决策。因此，本节主要关注的是为什么人们要求很明显，解释的主要功能是促进学习[104，189]。通过学习，我们获得了更好的模型特定的事件或属性是如何产生的，我们能够利用这些模型来为我们服务。Heider [66]指出 人们寻找解释来提高他们对某人或某事的理解，这样他们就可以推导出可用于预测和控制的稳定模型。 这一假设得到了研究的支持，研究表明，人们倾向于对他们认为从自己的角度来看是异常或意外的事件或观察提出问题[77，73，69]。Lombrozo [104]认为解释在推理学习中的作用正是因为它们是解释，而不仅仅是因为它们揭示的因果信息。首先，解释在某种程度上为事件的因果信念提供了“过滤器”。第二，先验知识通过解释而改变;也就是说，通过要求某人提供关于某个特定属性是真还是假的解释，解释者改变了他们对该声明的感知可能性。第三，提供较少原因的解释和解释多个观察结果的解释被认为更可信，更有价值;但这不适用于因果陈述。Wilkenfeld和Lombrozo [188]进一步表明，参与解释但无法得出正确的解释可以提高一个人的理解力。 他们将此描述为马勒[112，第3章]在解释社会行为/互动的背景下，对日常解释进行了可能是最完整的讨论，他认为人们要求解释有两个原因：1. 找到意义：调和我们知识结构要素之间的矛盾或不一致2. 管理社会互动：创造一个共同的意义的东西，并改变他人创建一个共享的意义对于AI中的解释很重要。在许多情况下，一个聪明的人提供的解释代理将正是为了做到这一点-创造一个共同的理解，是自己和一个人类观察者，至少在某种程度上。Lombrozo [104]和Wilkenfeld和Lombrozo [188]注意到，解释除了知识转移之外还有几种功能关于人工智能的解释，说服肯定是有趣的：如果 来自智能代理的解释的目标是从人类观察者那里产生信任，那么在某些情况下，说服决定是正确的可能被认为比实际传递真正的原因更重要。例如，如果我们想让被解释者在某种程度上采取行动，那么最好给出一个可能性较小的解释，这对被解释者来说更有说服力。T.米勒/人工智能267（2019）1-389积极的方式。在这种情况下，解释者的目标（产生信任）与被解释者的目标（理解决策）不同。2.3. 对比解释“关键的洞察力是认识到，人们不能解释事件本身，但人们可以解释为什么令人费解的事件发生在目标案例中，而不是在一些反事实的对比案例中。” - Hilton [ 67]。我将专门用一个小节从可解释人工智能的角度讨论哲学和认知科学文献中最重要的发现之一：对比解释。研究表明，人们并不解释事件本身的原因，而是解释事件的原因与其他没有发生的事件的关系;也就是说，解释的形式总是“为什么是P而不是Q？”,in which 这就是所谓的对比解释。一些作者将Q称为反事实情况[108，69，77]。然而，重要的是要注意，这与确定因果关系时所指的反事实不同（见第2.1.1节）。对于因果关系，是假设的Lipton [102]将P和Q这两种情况分别称为事实和陪衬;事实是确实发生的事件，陪衬是没有发生的事件。为了避免混淆，在本文的其余部分，我们将采用这个术语，并使用反事实来指代原因C没有发生的假设情况，并使用foil来指代预期的假设情况Q而不是P。这一领域的大多数作者认为，所有的为什么问题都要求对比解释，即使衬托并不明确[102，77，69，72，110，108]，人们善于推断衬托;例如，从语言和语气。 例如，给定的问题，“为什么伊丽莎白打开了门？”，有许多，可能是无限数量的陪衬;eidegg：“为什么伊丽莎白打开门，而不是让它关闭？“，“为什么伊丽莎白开的是门而不是窗？”或者“为什么是伊丽莎白开门而不是迈克尔开门？“. 这些不同的对比有不同的解释，没有一个内在的必然是这个问题的陪衬。 被否定的预设not（伊丽莎白打开了门）指的是一整类陪衬，包括所有已经列出的陪衬。Lipton [102]指出，“一个明智的对比问题的核心要求是，事实和陪衬有一个很大程度上相似的历史，与之相比，差异突出。当历史是不同的，我们不知道从哪里开始回答这个问题。”这意味着人们可以利用历史事实和可能的陪衬的相似性来确定被解释者的陪衬到底是什么重要的是被解释者理解反事实的情况[69]。例如，如果问“伊丽莎白为什么要开门？””, the answer “但如果箔是“而不是打开空调”，就不是一个好答案如果我们接受第2.2节中概述的论点，即人们要求对他们认为不正常或出乎意料的事件或观察进行解释，那么的观点[77，73，69]。在这种情况下，人们期望观察一个特定的事件，但随后观察另一个事件，事件是事实，预期事件是陪衬。Van Bouwel和Weber [175]定义了四种类型的解释性问题，其中三种是对比性的：简单的事实：为什么对象a具有属性P？P-contrast：为什么对象a具有属性P，而不是属性Q？O-对比：为什么对象a具有属性P，而对象b具有属性Q？T-对比：为什么对象a在时间t具有属性P，但具有属性Q 在时间tr？Van Bouwel和Weber注意到，差异发生在对象内部（P-对比度）、对象自身之间（O-对比度）和对象内部随时间的变化（T-对比度）。他们反对所有的“简单事实”问题都有一个隐含的陪衬的想法 他们认为，简单事实问题通常是由于好奇心而提出的，例如希望知道某些事实如何融入世界，而对比问题通常是在观察到意外事件时提出的Lipton [102]认为，一般来说，事实P和陪衬Q例如，考虑1.4节中的节肢动物分类算法。要成为甲虫，节肢动物必须有六条腿，但这并不导致节肢动物成为甲虫-其他 原因是必要的。利普顿认为我们可以回答P对比度问题，例如因为图片中的节肢动物有六条腿。我们不需要关于 眼睛，翅膀，或刺来回答这个问题，而解释为什么图像J是一个蜘蛛在非对比的方式，我们必须引用所有的原因。所有因果解释都是对比的这一假设不仅仅是哲学上的。 在第4节中，我们看到了几个支持这一点的工作，这些工作提供了更多关于人们如何选择和评估解释的细节。事实和衬托之间的对比10T。 米勒/人工智能267（2019）1-38图3. 奥弗顿在科学解释中的五个范畴和四个关系，转载自奥弗顿[ 139]。54，Fig.3.1]。2.4. 解释的类型和层次对一个问题的解释类型取决于所问的特定问题;例如，问为什么某个事件发生与问在什么情况下它可能发生是不同的;也就是说，实际与假设[159]。然而，为了回答为什么的问题，我们将专注于这一领域哲学工作的一个亚里士多德亚里士多德提出了一个分析方案，分为四个不同的元素，可以用来回答为什么问题[60]：1. 材料：构成某物的物质或材料例如，橡胶是汽车轮胎的物质基础2. 形式：使某物成为其所是的形式或性质。例如，圆是a的正式原因，汽车轮胎。这些有时被称为分类解释。3. 有效性：引起某些变化的近端机制。例如，一个轮胎制造商是一个有效的因为一个汽车轮胎。这些有时被称为机械解释。4. Final：事物的目的或终点。移动车辆是汽车轮胎的一个有效原因。这些有时被称为作为功能或目的论的解释。一个单一的为什么问题可以从任何这些类别的解释。例如，考虑这个问题：“为什么这支笔含有墨水？“.一种物质解释是基于这样的想法，即钢笔是由一种防止墨水泄漏的物质制成的。一个正式的解释是，它是一支钢笔，钢笔含有墨水。一个有效的解释是，有一个人用墨水填充它最后的解释是，钢笔是用来写字的，所以需要墨水。其他几位作者也提出了类似于亚里士多德的模型Kass和Leake [85]将异常的解释分为三种类型：（1）故意的;（2）物质的;和(3)social.意向和物质范畴大致对应于亚里士多德社会类别是指对人类行为的解释，而不是故意驱动。卡斯和莱克举了一个城市犯罪率上升的例子，虽然这是由于该城市中的个人故意行为，但不是这种现象可以说是有意为之。虽然个人犯罪是有意图的，但不能说这些人有增加犯罪率的意图--这仅仅是一群人的行为的结果。2.5. 解释的结构正如我们在2.1.2节中看到的，因果关系是解释的主要部分。亨佩尔和奥本海姆[68]对解释的早期解释主张逻辑演绎的解释模型。凯利[86]随后认为，人们在构建解释时会考虑协变，并提出了一个解释的统计模型。然而，在科隆-然而，随后的实验研究发现了这些模型的许多问题，目前，演绎和统计解释模型在大多数阵营中不再被认为是日常解释的有效理论[114]。奥弗顿[140，139]定义了一个科学解释的模型。特别是，奥弗顿[139]定义了解释的结构。他定义了科学中解释的五类性质或对象：（1）理论：形成模型的构建块;（2）模型：表示种类和 它们的属性;（3）种类：一个支持反事实推理的抽象通用类;（4）实体：一个种类的实例化;（5）数据：关于活动的陈述（例如测量，观察）。它们之间的关系如图所示。3.从这些类别中，奥弗顿[139]提供了科学解释结构的清晰定义。 他认为，在一个层次上对现象的解释必须与至少另一个层次相关，并且至少涉及另一个层次，而两个层次之间的解释必须涉及所有中间层次。例如，节肢动物（实体）有八条腿（数据）。 根据我们的节肢动物理论的模型，这种实体是蜘蛛。在这个例子中，解释是通过诉诸昆虫模型来构建的，而昆虫模型反过来又诉诸作为该模型基础的特定理论。T.米勒/人工智能267（2019）1-3811图第四章 奥弗顿的理论-数据解释的一般结构，转载自奥弗顿[ 139，p. 54，Fig.3.2]）。图4显示了理论-数据解释的结构，这是最复杂的，因为它在任何两个层次之间都有最长的关系链。关于社会解释，Malle [112]认为社会解释最好理解为由三个层次组成：1. 第一层：一个概念框架，概述了人们对人类行为和解释的假设。2. 第二层：用于构建解释的心理过程3. 第三层：语言层，具体说明人们在给出解释时使用的语言结构类型。我将在关于社会归因（第3节）、认知过程（第4节）和社会解释（第5节）的章节中更详细地介绍马勒这项工作被整理成Malle2.6. 解释和XAI本节提出了一些关于上述哲学工作如何影响研究人员和实践者的想法，夏伊2.6.1. 因果归因不是因果解释一个重要的概念是原因归因和解释之间的关系。提取一个因果链并将其展示给一个人是因果归因，而不一定是解释。虽然一个人可以使用这样的因果链来获得自己的解释，但我认为这并不构成给出解释。特别是，对于大多数AI模型， 无论因果链是如何呈现的，期望外行用户能够解释因果链是不合理的。在可解释的人工智能文献中，现有的大部分工作都是关于解释的因果归因部分--在许多情况下， 是问题中最简单的部分，因为其原因是很好理解的，形式化的，并且可以通过底层模型访问。在后面的章节中，我们将看到更多关于归因和解释之间的区别，为什