梯度下降训练专家系统的软件构建与优化

软件影响10（2021）100121原始软件出版物梯度下降训练专家系统杰里米·斯特劳布北达科他州立大学计算机科学系，1320 Albrecht Blvd.，房间258;法戈，ND 58108，美国自动清洁装置关键词：机器学习专家系统训练梯度下降规则-事实网络A B标准该软件用于构建、训练和呈现数据，以供梯度下降训练专家系统（GDES）进行评估。GDES以类似于神经网络的方式使用机器学习训练方法梯度下降;然而，它使用已知含义的规则-事实网络，而不是密集连接节点的多层网络。因此，节点（事实）之间的逻辑关系（规则）是人类（或者将来可能是自主）定义的，并且可以具有识别的含义;然而，它们的权重是优化的 使用机器学习技术。这为专家系统的可解释性提供了优化一个神经网络。代码元数据当前代码版本v1.0此代码版本使用的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-75可复制胶囊法律代码许可证Apache 许可证，2.0使用的代码版本控制系统无软件代码语言使用C#编译要求，操作环境&依赖性 Studio 2019如果可用，链接到开发人员文档/手册支持电子邮件，如有疑问，请联系jeremy. ndsu.edu软件元数据当前软件版本v1.0此版本可执行文件的永久链接https://github.com/jeremystraub/GDES/blob/main/Executable.zip可复制胶囊法律软件许可证Apache 许可证，2.0计算平台/操作系统Microsoft Windows和其他支持.Net框架的环境安装要求依赖性. Net Framework如果可用，用户手册链接-如果正式出版，请在参考列表支持电子邮件，如有疑问，请联系jeremy. ndsu.edu1. 介绍人工智能和机器学习系统已经在社会的许多领域得到了应用。他们被用于申请人筛选[1]，提出医疗建议[2]，甚至对那些被判有罪的人提出量刑建议[3然而，尽管--或者可能是由于-一个明显的关注领域是系统电 子 邮 件 地 址 ： jeremy. ndsu.edu 。https://doi.org/10.1016/j.simpa.2021.100121少数民族、穷人和其他人。有人担心，培训过程可能会导致系统学习，然后加强主导权力结构[8]。由于这些担忧，Noble恰当地将这些系统称为歧视性决策只是机器学习系统可能发生的问题类型的一个例子。更一般地说，它们可能会在非因果数据相关性之间建立虚假的联系，这可能导致某些数据的极端失败，而系统似乎（并且可以通过测试显示）整体运行良好机械的一个子领域接收日期：2021年7月7日;接收日期：2021年8月18日;接受日期：2021年8月24日2665-9638/©2021作者。由Elsevier B. V.发布，这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsJ. 斯特劳布软件影响10（2021）1001212Fig. 1. 基本规则-事实网络结构。可解释人工智能（XAI）的发展是由于AI系统的局限性虽然已经提出了各种XAI技术[11]，但可解释性的目标并不理想。在[12]中，提出了一种利用专家系统的“可防御”系统（参见，例如，[13]）规则-事实网络作为知识存储和反向传播（参见[14]）训练的基础，以优化规则加权值。因此，它提供了已知意义节点（事实）和关联（规则）的好处，同时还提供了机器学习和神经网络系统的优化好处这篇软件文章讨论了该系统的一个版本，该版本已被修改为更加用户友好，并为用户应用程序处理数据。具体而言，它提供了必要的功能来构建规则-事实网络，将数据加载到其中，训练网络（即，优化规则权重）并呈现用于评估的数据。因此，它有利于使用GDES的相关应用程序和额外的分析技术。2. 软件描述该软件分三个阶段运行：第一，规则-事实网络已定义;第二，对系统进行训练;最后，将数据装入事实，为数据的呈现做准备，并呈现数据以供评估。无论是使用系统来支持特定应用领域的研究或操作，还是测试系统本身，都可以使用相同的方法。在第一阶段，定义规则-事实网络该网络的基本结构如图所示。1.一、目前，该系统要求所有规则都有两个输入事实。事实必须具有介于0和1（包括0和1）之间的正值，并且规则包括介于0和1之间的每个事实的权重，每个规则的两个权重之和为1。利用这种基本结构，可以实现各种更复杂的结构。例如图2显示了如何创建一个规则，使一个事实的值设置另一个事实的值，这是制度的要求。类似地，可以使用多个规则来实现需要两个以上输入事实来对关联进行建模的概念。该系统还支持具有多个路径来设置事实值的网络设计。 图图3显示了一个事实如何通过两个规则设置其值，考虑多个不同的输入事实。一个事实最后被设定的值就是它的当前值。根据应用程序的需要，不同的路径可能会为一个事实产生冲突的值。在第二阶段中，通过呈现事实输入和期望输出，使用监督训练过程来训练系统。可以提供一个或多个事实值作为输入（必须至少提供一个在所有情况下，并且被包括在触发训练过程的命令中），并且目标事实被定义为输出。期望值 该目标事实的特征也被提供给训练系统。使用不同的输入和输出进行多次迭代训练。在每次迭代期间，规则的权重值被更新图二. 将一个事实设定为另一个事实的价值的规则。图三. 多个规则设置一个事实见图4。 培训网络。(the它们被更新的速率由用户指定的速度值确定）。这些权重在训练迭代之间（或在操作或测试数据呈现之前）不会重置。值得注意的是，虽然系统的结果是由训练形成的，但初始网络设计也对系统结果有重大影响。关于培训过程的更多细节可以在[12]和第3节中找到。该系统支持在网络的整个路径上进行训练，因为它将用于操作或测试，如图所示。四、或者，网络的不同区域可以单独训练，如图所示。五、最后，在第三阶段，提供数据供系统处理。设置一个或多个事实的值，然后启动系统以确定目标输出节点的值。值得注意的是，如果需要知道对多个事实的操作的结果，则可以使用查询事实命令来访问其他事实的结果值。J. 斯特劳布软件影响10（2021）1001213∏图五. 训练网络子集。虽然这三个阶段通常将以所描述的顺序运行例如，可以构建和训练网络。然后可以提供数据进行评估。随后可进行额外培训和额外提供数据以供评价。显然，在任何情况下，都必须在进行培训或介绍以供评估之前建立一个网络。如果需要，在进行训练和数据呈现之后，可以增强网络。表1中列出了系统的命令列表以及命令格式（有关每个命令的详细信息，请参阅参考手册）。3. 算法本文描述的软件实现了[12]中描述的算法。该系统包括一个专家系统引擎，它以正向方式处理规则，和一个训练模块，用于优化规则权重。过程中，如图所示。6，从用户提供他们的网络设计和初始规则权重值开始。该网络（包括规则权重）和训练数据用于训练。训练的网络和输入用于见图6。系统操作概述。结果），系统确定其贡献水平。一旦这些直接影响目标事实的初始节点被识别出来，它们就会被添加到贡献列表中。然后，迭代地识别间接影响目标事实的所有节点，计算它们的间接贡献，并将它们添加到贡献列表中。请注意，对所有其他适用贡献列表节点的贡献是针对所添加的每个节点确定的。节点添加过程将继续，直到运行迭代而不添加节点。每个规则的贡献要么是直接的，要么是通过将通过其他规则产生影响的规则乘以介入规则的累积影响来确定的。规则Ci对目标事实的贡献可以使用等式[12]来确定然后使用特定的操作或测试案例来生成结果。已实现的专家系统支持部分故障诊断，������={A}���（1）和模糊性。在这个系统中，事实可以具有范围在0和1之间的概率或部分成员值。正因为如此，规则利用加权值，这些加权值指示输入事实对输出事实值的比较影响。与事实值一样，规则权重必须介于0和1之间，并且总和必须为1。训练过程在图1A和1B中描绘。7和8图7描绘了训练过程的整体，而图8描绘了训练过程的整体。图8描述了如何确定应用于每个规则权重的变化水平。在高层次上，训练过程与神经网络非常相似。训练中的系统以数据记录指定的输入运行， 将输出结果与系统产生的结果进行比较。由用户指定的速度值确定的差异的一部分被应用于规则权重。根据用户的指定，可以为每个训练数据记录执行多个训练时期。这个过程，显示了一个单一的训练数据记录在图。7，直到所有的训练数据都被耗尽。本文描述的软件（以及[12]中描述的系统）与神经网络不同的一个关键方式是用于确定在每个训练时期应用于每个规则的变化量的过程。图8中描绘了用于此的算法。该过程开始于识别直接影响目标事实的所有节点（即，训练数据提供目标的事实对于这个等式，i是给定规则（i）的相关权重R（m，h）是每个规则的权重（m表示规则，h表示相关的权重值），值在最终事实之前通过该权重。该规则集由{APT}表示。值得注意的是，如果规则是多个路径的一部分，则它们可以具有多个贡献（i）值;然而，仅维护和使用最高贡献值。基于其贡献水平和事实值，将确定系统输出目标事实值和训练输出值之间的误差的百分比的速度设置值应用于每个贡献规则的权重。根据所需更改的类型，为较高值和较低值的输入事实权重提供额外或降低的权重将对特定规则进行的更改是通过对目标事实的所有贡献求和并将特定规则的贡献（i）除以贡献总和（Total）并应用速度（V）和 R值来确定的，R值是训练运行的预期值（训练数据值）和实际值之间的差。使用等式[ 12 ]计算差值（i）：为���（2）J. 斯特劳布软件影响10（2021）1001214||=表1系统命令和格式。命令类型命令格式创建事实F####：{FLOW}=000.000：描述（VAR）创建规则R#：{R1}：{F1}=0.000+{F2}=0.000>>{F3}：说明（VAR）列车TR：{Fmax}=000.000>#：0.00>{Fmax}=000.000存在评估PR：{FLOW}=000.000>>{FLOW}设置事实SF：{FLOW}=000.000查询事实QF：{Fffx}请注意，#和0表示数值，{0}表示.Net格式的全局唯一标识符（NULL），所有其他符号必须完全按照规则格式使用见 图 7 。 培 训 过 程 。 来源：修 改 自[12]。它使用使用公式[12]计算的 BRR值−A（，）（三）见图8。 节点变更算法[12]。系统，以更好地反映它正在建模的现实世界的现象对于这个等式，P是目标值，T是训练中的网络MAX函数返回传递给它的最大值。4. 该方法本文提出的软件提供了关键的优势相比，经典的专家系统和神经网络。相比对于经典的具有分数值支持的专家系统，它提供了自动优化规则的机制这允许并提供更好的建议、决策或预测。与神经网络相比，该系统提供了两个关键优势。首先，通过利用已知意义的网络，网络大小将固有地小于神经网络系统所使用的密集连接的网络。这将减少必须在每个训练时期计算和设置其值的节点数量，从而具有训练时间优势。第二，因为所有的节点（事实）和关系（规则）都有一个已知的值，系统做出的决策本质上是人类可以理解的，并且可以很容易地用考虑的决策因素和每个因素的相对重要性来解释。这使得决策能够J. 斯特劳布软件影响10（2021）1001215在逻辑上进行辩护，而不是对用户不透明或简单地根据系统状态和过程进行解释。这直接回应了第1节中讨论的公众关注的问题[6]和决策偏差[7所提出的方法的主要限制是，必须创建一个网络，以反映被建模的现象。目前，这是一个潜在的耗时的手动过程。此外，这种手工创建过程需要对现象有很好的理解.神经网络和其他一些机器学习技术提供了一个关键的好处，这是本文所述的软件5. 用途和影响该软件基于[12]中使用的软件，并进行了修改，以便于其更通用。具体而言，不包括专门为[12]中的实验开发并启用的网络生成和表征例程，并且已被用于构建规则-事实网络的命令格式和处理器所取代该系统目前正在用于两个电子法律项目（重点是美国和加拿大）。联邦量刑指南和专利性评估）、故意欺骗性在线内容识别项目和网络钓鱼链接识别项目。联邦量刑指南项目[15]正在使用该软件开发一个应用程序，该应用程序将根据刑事犯罪（或一系列相关犯罪）的关键事实，建议判刑。对于罪犯来说。它是根据联邦量刑指南规则[16]开发的，并使用联邦量刑指南委员会[17]的数据进行培训。拟议的系统将提供一个完全透明和人类理解的量刑过程，并考虑到量刑指南中司法量刑裁量权的典型应用。专利性评估项目[15]正在使用该软件开发一个应用程序，该应用程序将提供专利申请细节，并就专利性的几个关键特征提出建议。它是基于美国专利商标局（USPTO）专利审查员手册[ 18 ]开发的拟议的系统旨在提供更大的专利性决策的一致性，并提高专利评估处理速度。故意欺骗性在线内容识别和网络钓鱼链接识别项目[21]使用的是最初为使用神经网络的先前项目收集的现有数据集。这两个系统都旨在使用较小的网络尺寸（并且因此需要减少的训练时间）来产生与现有神经网络实现类似的结果。在这两种情况下，神经网络的不透明决策标准将被完全透明和人类可理解的决策过程所取代。竞合利益作者声明，他没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢感谢目前正在使用该软件的四个项目的研究人员对他们的系统需求和系统功能的反馈。这项工作得到了美国国家科学基金会（NSF Award#1757659）的部分支持。附录A.补充材料与本文相关的补充材料可以在https://doi.org/10.1016/j.simpa.2021.100121上找到。补充材料包括用户手册和示例脚本。引用[1]D.K.马尔霍特拉湾马尔霍特拉河Malhotra，使用机器学习技术评估消费者贷款，EmeraldPublishingLimited ， 2020 ， http://dx.doi 。 电 话 ： 0276-89762020000020004[2] X. Zhou，Y. Li，W. Liang，基于Cnn-rnn的在线医疗预诊断支持智能推荐，IEEE/ACMTrans.Comput.Biol.Bioinform.1（2020）http://dx.doi.org/10.1109/tcbb.2020.2994780。[3] A. Deeks，可解释的人工智能的司法需求，哥伦比亚法律Rev.119（2019）1829-1850。[4] N. Stobbs，D.亨特，M。Bagaric，使用人工智能可以提高量刑吗？天啊Law J. 41（2017）261 https://eprints.qut.edu。au/115410/（2021年2月24日访问）。[5] V. Chiao ，Predicting proportionality：The case for algorithmic sentencing，Crim. Justice Ethics 37（2018）238 http://dx.doi.org/10.1080/0731129X.2018.1552359。[6] T. Araujo，N. Helberger，S. Kruikemeier，C.H.我们相信人工智能吗？关于人工智能自动决策的看法，AI Soc. 35（2020）611http://dx.doi.org/10.1007/s00146-019-00931-w[7]C. O'Neil，Weapons of Math Destruction，Broadway Books，纽约，美国，2016年。[8] C. Klein，Data Feminism，MIT Press，Cambridge，MA，2020。[9] 鉴证组Noble，Algorithms of Oppression：How Search Engines ReinforceRacism，New York，NY，USA，2018.[10] D.冈宁，M. Stefik，J. Choi，T.米勒，S。Stumpf，G.Z. Yang，Xai-可解释的人工智能，Sci.机器人4（2019）http://dx.doi.org/10.1126/scirobotics。aay7120。[11]G. 维 洛 内 湖 Longo ， 可 解 释 的 人 工 智 能 ： 系 统 综 述 ， 2020 ， ArXiv ，http://arxiv.org/abs/2006.00093（2021年4月27日访问）。[12]J. Straub，专家系统梯度下降式训练：防御性人工智能技术的发展，Knowl。基于系统（2021）107275，http://dx.doi.org/10.1016/j.knosys.2021.107275。[13]D. Waterman ， A Guide to Expert Systems ， Addison-Wesley Pub.有 限 公司 、Reading，MA，1986年。[14]R. Rojas ， The backpropagation algorithm ， in ： Neural Networks ， SpringerBerlin ， Heidelberg ， Berlin ， 1996 ， pp. 149-http://dx.doi.org/10.1007/978-3-642-[15]L.布朗河，巴西-地Pezewski，J. Straub，使用机器学习训练的专家系统确定量刑建议和专利性，2021，https：//arxiv.org/abs/2108.04088v1（8月9日访问， 2021年）。[16]联合量刑委员会，美国量刑委员会可变代码手册，为个别罪犯标准化研究数据文件，1999年.[17]委员会数据文件，美国量刑委员会，2021年。[18]美 国 专 利 分 类 系 统 审 查 员 手 册 ， 2016 年 美 国 专 利 商 标 局 。https://www.uspto.gov/patents/laws/examiner-handbook-us-专利分类系统。[19]A.V. Giczy，D.科学家，匿名。图尔角经济学家，无国籍Pairolero，识别人工智能（AI）发明：一个 新的 AI专利数据集，2021年。[20] 人 工 智 能 专 利 数 据 集 ， 2021https://www.uspto.gov/ip-policy/economic-research/research-dataset/artificial-intelligence-patent-dataset。[21]B. Fitzpatrick，X. Sherwin Liang，J. Straub，Fake news and phishing detectionusingamachinelearningtrainedexpertsystem，2021，https://arxiv.org/abs/2108.08264v1（2021年8月18日访问）。