工程6（2020）218意见和评论如何解释机器知识李发申a，#，李连b，#，尹建平c，#，张勇d，#，周庆国e，#，邝坤f，#a兰州大学物理系，兰州430000b合肥工业大学计算机科学系，合肥230009c东莞理工学院计算机科学系，广东东莞523808d厦门大学物理系，厦门361005兰州大学计算机科学系，兰州430000f浙江大学计算机科学与技术学院，浙江杭州310058机器知识是指人工智能所包含的知识。本文讨论了如何获取机器知识，特别是因果知识的获取。后者是解释机器知识的过程。通过对物理学和人工智能领域中某些研究方法的分析，提出了机器知识解释的原理和模型，并讨论了解释过程的自动化和局部线性化等具体方法。人类已经进入了由自然世界、人类世界、信息世界和智能体世界组成的四维社会。智能主体已经成为我们世界的客观存在。智能代理可以做出预测，做出判断，表达情感，甚至主动调整其行为以适应环境的变化[1，2]。因此，我们可以将智能代理视为具有知识结构和功能的知识要建立一个普遍接受的知识定义，还需要不断深入研究。本文首先阐述了知识是现象变化规律的一般定义智能代理可以根据输入改变这种投入与产出--以及产出与产出之间的变化规律--是现象这种知识被称为基本知识。例如，将现象中的所有变化放入表格中是知识的表达（即，详尽的表达）。然而，人们需要的知识往往不是这种初级形式的知识，而是在更高层次上抽象出来的知识--即反映现象变化的一般的、普遍的这种知识被称为高级知识。先进的知识可以继续#这些作者对这项工作做出了同样的y本文所指的智能体是指基于硅技术和图灵算法的人工智能机器，例如各种学习模型、计算模型和仿真模型，不包括利用生物或遗传技术构建的智能体。根据抽象程度分层。以第谷·布拉赫和约翰内斯·开普勒的工作为例，通过详细的观测，第谷列出了大量行星运行的轨迹数据，这些数据只反映了现象的关联（即，行星运行）。当开普勒成功地总结了这三个定律，并揭示了这些现象之间的因果关系时，行星运行的高级知识就发展起来了。此外，牛顿第二定律是知识的更高层次的表达.关联和因果关系都是知识，但它们处于不同的层次。在人类获得知识的过程中，通过观察确定现象之间的联系是最基本的科学活动。为了确定因果关系，有必要分析和总结观察数据背后的现象。因果关系在人类科学体系中扮演着重要的角色，因为人类总是想知道并坚持不懈地追求在本文中，我们专注于人们是否可以从智能代理获得因果知识的问题，以及如何做到这一点。这个过程涉及到机器知识的解释。通过训练，智能体可以完成非常复杂的工作，他们的一些成就已经超过了人类几千年来的文化积累。然而，我们仍然不知道这些代理人是如何如此成功的。例如，对于神经网络这样的智能代理，过度拟合训练数据并不能使神经网络更具泛化性。我们不知道它成功的边界在哪里。我们不知道如何设计神经网络的结构来完成预期的任务。我们不知道是否可以改变训练集以使神经网络执行得更好。我们甚至不知道神经网络是基于什么来进行精确预测的，也就是说，它是基于数据还是基于特征。一句话，我们不理解智能代理的知识;因此，我们如何信任它？迄今为止，因果关系仍然是人类理解自然世界的根本基石，概率思维所描述的关联是驱使我们理解世界中因果机制珍珠[3] 他说，https://doi.org/10.1016/j.eng.2019.11.0132095-8099/©2020 THE COMEORS.由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表工程杂志主页：www.elsevier.com/locate/engF. Li等人 /工程6（2020）218-220219回想起来，我最大的挑战是摆脱概率思维，并接受：第一，人们不是概率思维者，而是因果思维者;第二，因果思维不能用概率的语言来表达;它需要一种自己的形式语言。第一点是，科学知识不是以概率思维的形式表达的，而是以因果思维的形式表达的。二是如何进行因果思维。珀尔认为，人类还没有发明出描绘因果思维的数学工具。不幸的是，目前最受欢迎的代理都是以概率的方式运行的，并且所表达的现象之间的关系都是关联的。我们能解释这些联想中包含的因果关系吗？这仍然是一个非常具有挑战性的问题。如果人类和智能体不能相互沟通和理解，或者人类不能将智能体的知识转化为因果关系的形式，那么人工智能的发展就会遇到很大的障碍，甚至可能带来隐患[4]。物理学是一门典型的用因果关系来解释自然世界的科学。自然界也可以是一个巨大的智能体，现象每时每刻都在变化。为了认识自然界的变化及其规律，人类总是采用因果关系的描述形式他们希望能对现象转化背后的规律给出清晰而准确的表述这主要是通过采用正则表达式和数学表达式来实现的，这不仅使人类有可能描述已经发生的事情，而且还使他们有可能预测可能发生的事情，其中后者尤为重要。然而，自然界的实际运行规律是不能直接获得的：人类只能即使有大量的现象数据，也很难准确、完整地总结出相应的规律因此，人类用两个原则（或信念）来解释自然界，这在牛顿的《自然哲学的数学原理》第三卷：论宇宙体系中有明确的表述这是“哲学推理的四条规则”中的前两条(1) 最简单的描述原则（即，奥卡姆(2) 功能相似性原则：因此，对于同样的自然结果，我们必须尽可能地赋予同样的原因。对于物理学来说，一些基本规律和原理不仅是对自然界现象规律的高度抽象和因果刻画，而且遵循上述两个基本原理，从而形成了对自然界的现有基础和认识，构建了人类自然科学知识的结构。例如，测量不能用来精确验证牛顿第二定律，那么为什么呢我们还接受吗？我们接受它，因为有一个良好的-隐藏在里面的原则。让我们回到对智能主体的解释上来。在大多数情况下，我们可以知道智能体的结构，但我们不能预测它的行为，就像我们不能根据它的神经连接结构来判断我们的大脑会做什么一样。我们只能观察它的输入和输出之间的关联，也就是数据。对于任何一个主体，如果有充分的观测和大量的观测数据，理论上都可以通过归纳计算得出因果关系，而不需要考虑主体的内部结构和运行模式。据说，如果与外部表现高度一致，因果关系就可以成立（即，代理的功能。这是由功能相似性原则保证的。这种方法在物理学中得到了充分的体现。例如，宇宙可以说像一个巨大的时钟，我们只能从外面猜测它的内部结构。随着准确性的不断提高，我们的猜测将越来越符合观察到的现象。然而，我们可能永远不会知道宇宙“时钟”内部的实际结构。尽管物理学知识不完备，但它促进了人类社会的发展和科学的进步。人类对因果关系的探索已有数千年的历史，但对因果关系的描述长期停留在定性和经验阶段，直到20世纪70年代，C. Granger，J.Pearl，and D.鲁宾提出了一个基于数学表达式的因果关系定义。在这一点上，人类开始建立因果关系的定量研究。Pearl的因果关系描述和方法是系统的、算法化的，因此可以处理变量间的混杂干扰，发现隐变量的存在，解决反事实等属性问题。基于Pearl因果关系的研究在实际应用中取得了很好的效果，可以用来解决因果悖论问题。因此，Pearl因果关系已成为人工智能理论和应用中的一个重要方法.原则上，珀尔然而，珀尔的因果关系仍然存在某些问题，使得它对于稍微复杂的问题不太令人满意。例如，Pearl的因果算法需要高度的数据分布和数量要求，这在许多实际应用中无法满足。另外，Pearl因果关系对隐变量非常敏感，因此，不充分或不准确的观测数据将极大地影响计算结果。在构造Pearl因果关系及其算法所要求的因果结构方程模型或因果结构图模型时，还存在许多不确定性随后，Imbens和Rubin[6]提出了另一种因果模型，称为潜在结果模型，通过研究数据中反映的潜在结果和现象关联来探索潜在的鲁宾然而，鲁宾虽然Pearl和Rubin的因果方法仍在研究中，但其他方法也已发展起来。 即使因果关系不能直接计算，它仍然可以从智能代理的知识中揭示深刻的关系。这些方法来自物理学和人工智能的研究。物理学家也在研究中应用机器学习方法，当很难得出因果关系来理解自然世界时。例如，机器学习方法已被用于理解多体系统的朗之万方程和刘维尔方程的玻尔兹曼描述（Bogoliubov-Born-Green-Kirkwood-Yvon（BBKGY）截断）。解释算法也用于人工智能中，以理解复杂数据或特征之间的内在关系。使用智能代理来解释智能代理是一个很好的想法。事实上，目前各种智能代理（或学习模型）的层次结构是透明的。也就是说，一些代理对人类更透明，例如线性模型和决策树模型，而其他代理对人类更模糊，例如神经网络和蒙特卡洛搜索树模型。这是令人遗憾的（但很有趣）220F. Li等/ Engineering 6（2020）218越是模糊的agent，其学习能力越强，包含的知识越多。如果很难直接解释代理，可以考虑通过更透明的代理来解释它。这个过程可以是递归的，使得解释的内容越来越容易被人类理解[7]。通过计算影响函数，可以分析智能代理中的数据或特征的重要性，从而可以分析哪些因素（即，原因）导致代理具有这样的性能。还可以分析数据的质量和分布，以找到更好的观测数据，在医学诊断和物理观察上都很有意义。对于给定的输入数据，智能代理将给出相应的输出（或下一个动作）。通过计算每个输入数据特征的Shapley值，可以估计不同特征对输出的贡献具有大贡献的特征可能是代理行为的原因[8]。对于复杂智能体，根据普遍的数学原理，智能体的局部行为应该类似于线性系统。因此，根据功能相似性，可以考虑用线性模型（例如，线性回归）在局部范围内[9]。线性模型具有良好的因果透明性，其因果关系可通过对其回归系数进行适当处理而得到。同时，通过残差分析，可以确定这种近似的精度，以及其他因素对主要变量的敏感性。另一种直接的方法是使用更透明的模型T来学习模糊模型V，以便通过输入数据x来获得标记为（x，V（x））的数据，其中V（x）表示V相对于x的输出。然后T基于这些数据重新学习。如果T和V具有基本相同的行为，那么，根据功能相似性原理，可以认为T和V具有相同的因果知识。该方法在分析智能体内部缺陷和黑盒攻击方面取得了较好的效果。人工智能的出现为人类发现新知识开辟了更多通过对智能主体知识的解读，我们可以丰富自身的知识体系，更好地为人类发展服务。目前该智能代理的解释仍需进一步研究。随着理论和方法的不断完善，人类和智能体之间的关系将达到更高层次的和谐，彼此之间将实现更好的沟通与合作。这将是人类进化史上的一个里程碑确认本文基于2019年7月兰州大学举办的机器知识与人类认知沙龙上与会者的谈话。所有参与者都为这篇文章做出了贡献，我们对其他参与者表示感谢。他们是物理学和计算机科学方面的专家，包括梁黄（兰州大学物理系）、宁安杨磊（合肥工业大学计算机科学系）（中国科学院近代物理研究所物理学系）（兰州大学物理系）刘莉（重庆大学计算机科学系）、张家林（中国科学院计算技术研究所计算机科学系）和于连春（兰州大学物理系）。引用[1] 潘Y。人工智能2.0专刊。前沿信息技术电子工程2017;18（1）：1-2.[2] 潘Y。2018年人工智能2.0特刊：理论与应用。前沿信息技术电子工程2018;19（1）：1[3] 朱迪亚珍珠对他的灵感和他的研究突破的时刻[互联网].剑桥：剑桥大学出版社;2012年[引用2020年1月03日]。可查阅：http://www.cambridgeblog.org/2012/07/qa-with-judea-pearl-part-one/。[4] 放大图片作者：PearlJ. 为什么之书：因果关系的新科学 纽约：基本图书; 2018。[5] 牛顿岛自然哲学的数学原理。London：A. Strahan; 1802.[6] Imbens GW，Rubin DB.统计学、社会学与生物医学的因果推理：导论。纽约：剑桥大学出版社，2015.[7] Lucci S，Kampton D. 21世纪的人工智能。出版社：StylusPublishing，LLC; 2015.[8] 莫 尔 纳 角 可 解 释 的 机 器 学 习 ： 使 黑 盒 模 型 可 解 释 的 指 南 2019. 可 查 阅 ：https://christophm.github.io/interpretable-ml-book/。[9] 李伟杰，李伟杰.“我为什么要相信你？”解释任何分类器的预测。在：第22届ACMSIGKDD知识发现和数据挖掘国际会议论文集; 2016年8月13日至17日;旧金山，加利福尼亚州，美国。New York：Association for ComputingMachinery; 2016. p.1135-44
我的内容管理
展开
