自组织和错误驱动神经网络在分类中的应用

可在ScienceDirect上获得目录列表计算设计与工程杂志首页：www.elsevier.com/locate/jcde计算设计与工程学报4（2017）282自组织和错误驱动（SOED）人工神经网络用于更智能的分类放大图片创作者：RuhollaJafari-Marandi，Mojtaba Khanzadeh，Brian K.史密斯，边林坎工业与系统工程系，密西西比州立大学，260麦凯恩工程大楼，MS 39762，美国阿提奇莱因福奥文章历史记录：2017年2月16日收到2017年4月12日收到修订版，2017年2017年4月19日在线发布保留字：分类人工神经网络（ANN）自组织映射（SOM）A B S T R A C T分类任务是科学、工业、商业和医疗保健系统的一个组成部分;作为一种如此普遍的技术，其最小的改进是有价值的。人工神经网络（ANN）是许多学科中用于分类的最强技术之一人工神经网络技术虽然具有很高的预测能力，但也有一些缺点，如不透明.本文从人脑的学习方式出发，弥补了人工神经网络的不足，提高了其预测能力。自组织映射（SOM）是一种具有强大无监督能力的ANN变体，而前馈ANN传统上用于分类任务，它们被混合以巩固它们的优点并帮助消除它们的局限性。所提出的方法，我们命名为自组织误差驱动（SOED）人工神经网络，与通常的人工神经网络相比，表现出显着的改善。我们通过对五个不同数据集的实验表明，SOED是一种更准确、更可靠、更透明的技术。©2017 计 算 设 计 与 工 程 学 会 Elsevier 的 出 版 服 务 这 是 一 个 在 CC BY-NC-ND 许 可 证 下 的 开 放 获 取 文 章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍1.1. 研究动机人类大脑的学习过程包括自组织学习和错误驱动学习。自然神经网络中的学习是神经元之间突触权重的修改。错误驱动学习是神经网络的权重操作，以使期望和结果之间更相似，从而获得更好的未来期望。自组织是权重修改，目的是巩固现有的神经元活动，以实现关于环境的更长时间尺度的统计和生成。大脑的每个区域都有一个基于它们所负责的任务的两种学习类型的组合。大脑中几乎没有一个区域是自我组织或错误驱动的（O'Reilly等人，2012年）。有趣的是，在数据分析领域，自组织学习和错误驱动学习分别被称为监督学习和无监督学习。分类是监督学习的一个例子，而聚类是一个非超由计算设计与工程学会负责进行同行评审。*通讯作者。电子邮件地址：rj746@msstate.edu（R. Jafari-Marandi）。数据分析中的可视化学习技术。不同的分类技术使用具有目标属性的数据集来揭示存在的隐藏模式，并根据独立属性构建系统的方法来预测目标属性。如果将分类和错误驱动学习进行比较，则在分类中，目标列的预测是期望，目标值是结果。或者，聚类没有奢侈的目标值，这将技术简化为一般化。受生物学自组织和错误驱动学习过程的启发，以及两者的聚集使人类大脑能够更好地调整并具有更好的功能，我们正在研究通过神经网络进行更有效的数据分析的可能性，神经网络需要自组织和错误驱动学习风格。通常，这两种风格分别在人工智能的各个领域的人工神经网络。分类任务为这项研究提供了一个非常具有挑战性的测试平台。之所以选择这种方法，是因为有一种非常强大的生物学分类技术-前馈（多层感知器）ANN。其次，ANN有一种变体，用于无监督学习任务，主要是聚类，称为自组织映射（SOM）。我们开始这项研究感兴趣的是如何结合两种学习风格前馈神经网络和自组织神经http://dx.doi.org/10.1016/j.jcde.2017.04.0032288-4300/©2017计算设计与工程学会Elsevier的出版服务这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。R. Jafari-Marandi et al./ Journal of Computational Design and Engineering 4（2017）2822831.2. 研究意义分类挑战在科学、商业和工业的不同学科和领域中无处不在。仅举几例，我们已经研究了医疗保健和制药（Belacel，2000; Hunger&Mullighan，2015; Xu，Xu，&Wunsch，2009）人工智能和模式识别（ Lee ， Anaraki ， Ahn ， &An ， 2015; Nieddu& Patrizi ， 2000;Zehtaban，Elazhary，&Roller，2016）以及商业，营销，金融和管理 （ Baier&Decker ， 2012; Keramati 等 人 ， 2014; Lima& deCastro，2014）。可以理解的是，提高现有分类技术性能的努力很多，例如半监督分类方法（Fouss，Francoisse，Yen，Pirotte，Saerens，2012），不平衡数据分类（Datta Das，2015），甚至引入新方法，例如基于分类的集合（Krawczyk，Woz'niak，Cyganek，2014）和广义分类器神经网络（Ozyildirim Avci，2013在预测类中，即使提高百分之一的准确率，这是信息时代的一项重大成就。看看所有这些努力，使尽可能小的改进表明，对分类任务的增强研究仍在以更快的速度进展。在其他技术中，人工神经网络（ANN）被认为是回归或分类分析中最强大的预测器之一（Gupta，2013）。它被许多人称为不同现实世界分类挑战的最重要技术（Arulampalam Bouzerdoum，2003; LisboaTaktak，2006; Melin，Amezcua，Valdez，Castillo，2014;Yusoff，Chrol-Cannon，Jin，2015）。然而，ANN也有其缺点。众所周知，它是一种不透明的技术，在文献中被称为&另一方面，我们在许多情况下看到ANN预测能力对于实现高命中率是重要的（Keramati等人，2014; Manolopoulos& Iliadis，2015）。这些都是证据，表明改进人工神经网络的研究是重要的，这种技术状态的改进是有价值的。1.3. 文献综述当涉及到“分类”一词时，人们可能会有不同的概念有两个版本的分类是突出的思想。在第一个版本和旧版本中，分类被视为将实体分配给不可识别的类，其中同一类的实体彼此有些相似。这一学派还 定 义 了 三 种 类 型 的 分 类 ： 分 层 、 分 区 和 聚 类 （ Cormack ，1971）。第二种观点与本文更加一致，并得到了文献中数据分析先驱 的 支 持 ， 如 Tan ， Steinbach 和 Kumar （ 2006 ） 以 及 Han ，Kamber和Pei（2011）是将病例分配到预定义类别的教育和循证值得注意的是，后一种思想流派通过术语聚类将前一种对在用于不同分类挑战的许多技术中，神经网络是数据分析行业最受欢迎的工具之一（Zhao，Zhang，Chow，Li，2014）。人工神经网络成功处理分类的进一步证据是有据可查的。例如，当有一个小的 训练 集时 ， ANN 在统 计上 更有 效（ Foody ， McCulloch ，Yates，1995）。然而，没有数学或硬科学证明为什么。从人工神经网络的起源可以提出一个直观的理由人工神经网络的灵感来自于人类大脑，在神经认知文献中，我们看到证据表明，大脑对分类和二元竞争的功能（O ′ Reilly等人， 2012年）。寻求提高分类效率和功效的研究从未停止过。这也适用于研究人员寻求人工神经网络的分类任务的改进的努力。 正如Zhang（2000）所提出和预测的那样，许多研究人员已经尝试了流行的杂交范式来增强ANN的能力。例如，Gorzalczany和Piasta（1999）将模糊逻辑与ANN混合，开发了一种神经模糊分类器，以改善医学领域的决策和支持系统。这种杂交开始了一个非常强大的激增，在文献中有更多的研究试图（1）有一个更好的理解杂交，(2)分析其在不同环境中的行为，以及（3）发现其在应对不同挑战时的能力和潜力（&Mitra，1999）。Tsakonas（2006）将遗传编程与其他三种技术一起注入到前馈神经网络中，以改善一般分类。Nourmohammadzadeh和Hartmann（2015年）提出了混合GA-ANN和GA-SVM（SVM：支持向量机）来改进离心泵的故障分类。此外，Gómez，Hernández，Coello，Ronquillo和Trejo（2013）也将遗传算法用于人工神经网络的训练，以更好地预测和分类火焰的燃 烧 过 程 同 样 ， Gupta ， Kumar ， Sahoo ， Sahu 和 Sarangi（2017）将ANN与GA合并，以提高板翅式紧凑型换热器的测量性能通 常 ， 前 馈神 经 网 络 是 用 于 分 类 挑战 的 ANN 方 法 （ Zhang ，2000）。尽管如此，已经表明有许多神经网络的变体至少可以接近分类任务（Lippmann，1989）。例如，SOM，ANN的最强大的变体之一，有时被用来接近分类。这是因为该技术的能力和特性更符合聚类任务。Olawoyin，Nieto，Grayson，Hardisty和Oyewole（2013）在分类任务中使用SOM，利用其强大的图形功能来探索和调查水，土壤和沉积物质量分类任务SOM也直接适用于解决分类任务。监督自组织映射（SupervisedSelf-Organizing Map，SSOM），由T. Kohonen本人（Kohonen，1990），当类的分类数据被包含在训练网络的输入向量中时，就会发生这种情况。Hagenbuchner和Tennis（2004）论证并表明，在某些情况下，这种包含会损害模式识别的成功。为了弥补和增加SOM的分类能力，已经提出了由成本函数驱动的不同类型的SOM。为了建立必要的基础，SOM网络中的每个神经元都被分配到其中一个类。 每个网络暴露中的最佳匹配神经元可能不符合神经元类分配。定义了成本函数以不同的方式来捕捉 不可调和的程度。例如，Majumder ，Behera和Subramanian（2014）使用逻辑sigmoid函数将SOM的输出转换为二进制变量，从而使他们能够将成本函数定义为已知类与sigmoid函数输出之间的差异。该代价函数的定义使作者能够用SOM进行情感识别，甚至在性 能上击败MLP。类似 地，直接采用 SOM（Konaté 等人，2015），以解决地球物理测井数据的分类问题。作者表明，SOM被证明是一种高度透明的技术，输出许多图形结果，增加了对数据中潜在隐藏模式的洞察力，但SOM在分类准确性方面无法在统计上击败前馈人工神经网络。然而，为了改进有监督自组织映射，使其具有更广泛的应用，284R. Jafari-Marandi et al./ Journal of Computational Design and Engineering 4（2017）282Hagenbuchner和Tennis（2004）介绍了一种新的程序：排斥反应。该过程排除了网络权重的变化，这种变化会导致暴露案例的类别与其神经元成员之间的不兼容。虽然，包括拒绝已经成功地使SOM分类，提出的SSOM没有设法优于多层感知器（MLP）的分类。相反，本文提出了另一种选择，而不是定义一个依赖于案例的成本函数或拒绝的过程。尽管拒绝概念的引入缓解了SOM的案例依赖性，但这一变化将限制SOM的泛化能力。在本文中建议的替代方案是另一个人工神经网络（MLP）的训练预测SOM这种替代方案的缺点是计算成本的增加。对不同学科的两种方法SOM和MLP 进行了比较。Hu和Weng（2009）比较了SOM和MLP在对不透水表面进行分类时的性能，得出SOM可以提供更有前途的替代方法的结论。de Albuquerque、deAlexandria、Cortez和Tavares（2009）在金相图像显微组织分割的情况下，对两种神经网络变体进行了另一项比较分析。与以前的研究不同，结论是MLP是解决问题的更好方法。此外，Kalteh和Berglessson（2007）比较了MLP与两种不同SOM的性能，以发现当包括SOM的区域化特性时，SOM是否在空间和时间上更好地内插降水数据虽然大多数同时使用SOM和MLP的研究更侧重于比较它们在相同任务中的表现，但它们也被混合以改进语言相关分类。Kuang和Kuh（1992）首先训练SOM作为顺序映射函数，这使得MLP更容易执行对词汇表中每个单词对应的轨迹进行分类的任务。SOM用于将语音信号的声学矢量序列转换为轨迹，并帮助MLP将轨迹模式连接到词汇单词。类似地，Eng和Ahmad（2005）使用SOM将语音信号的声学矢量序列变换为表示语音内容的1和0的2D图。实验证明，该映射简化了MLP的分类任务，识别15个马来语音节。这些努力已被证明是显著的改进，使用SOM提供更易消化的声学预处理水平的数据MLP的分类能力。SOM的工作是使MLP的输出更好地连接到输入列的事实在论文中也是类似的。然而，存在重大差异。首先，这项研究并没有将0和1二进制的地图与数据的每种情况相关联，而是基于SOM的输出在地图上的位置。第二，SOED被认为是一种通用的方法，可以应用于任何分类任务，而不仅仅是语音识别。最后，也是最重要的一点，与这里引用的两项研究不同，覆盖的输出是使用训练集的输入和输出列准备的。最后一点特别重要，因为SOM在SOED中的作用不仅仅是一种编码技术，因此MLP可以更好地处理大量的声学数据。事实上，SOED使用SOM将MLP任务的已二进制编码输出层更改为2D地图上的位置半监督分类的强大和不断增长的文献半监督学习（semi-supervised learning）也与这项研究有关。半监督学习的浪潮非常强劲（Bustillo，deLacalle，Fernán-Valdivielso，Santos，2016;Dehdarbehbahani，Shakery，Faili，2014; Peng，Lu，Wang，2015）。在半监督学习中，缺乏充分标记的数据以及因此产生的显著偏差估计通过监督学习和无监督学习的（Tseng，Aleti，Hu，Kwon，2016）。虽然许多假设是在同一部分考虑标记和未标记的数据集，但半监督学习在许多情况下在提高分类精度方面非常成功这种贡献混合背后的主要原因是利用现有的数据集（标记或未标记），使所有隐藏的模式化和提取的见解在预测类中发挥作用（Qi，Tian，&Shi，2012）。本文提出了一个类似的，但可区分的杂交模式，从半监督分类。与半监督不同，我们提出通过监督和无监督学习从同一标记数据集中提取见解和学习隐藏模式可以提高分类预测的准确性。需要强调的是，关键的区别在于，两种学习力量都从同一个数据集中提取见解。1.4. 贡献在本文中，两个力量，错误驱动和自组织学习类型的人工神经网络，相结合，以提高分类技术。这是本文创新点和贡献的核心所在然而，沿着同样的路线，MLP和SOM的合成已被用来解决分类的挑战。这两种技术都有自己的优势和能力，本文提出的技术将两者结合起来，每一种都放大了另一种虽然文献显示了SOM和MLP的混合以改善某些语音识别任务的一些努力，但本文涉及并利用SOM通过实验，我们表明自组织误差驱动（SOED）ANN比前馈ANN（MLP）更准确，更可靠，并且具有更多的图形提示工具来获得见解。通过这种方式，我们不仅完全解决了人工神经网络在分类任务中的1.5. 论文前言本文的其余部分组织如下：第二部分代表了一个正式的介绍人工神经网络和它们的两个变化，这是本文使用的前馈人工神经网络（MLP）和SOM。随后，第三节介绍了所提出的技术与逐步的程序。最后，第四节和第五节分别是论文的实验表征和最后的讨论部分。通常，第6节以结论和未来的研究结束文章2. 人工神经网络人工神经网络是一种数学技术，以大脑的工作方式为动力，可解决各种任务。在今天的研究中，人工神经网络被用于诸如模式识别、数据挖掘、分类、预测和过程建模等任务。人工神经网络以许多积极的特征而闻名：快速学习能力、稳定的泛化、并行处理和容错性（Azadeh等人，2013年）。这些优点使它们非常受欢迎。然而，人工神经网络在训练过程后的不透明性是臭名昭著的。相比之下，在Keramati等人（2014）指定的分类任务中，决策树和人工神经网络是透明光谱的两端，决策树非常图形化和透明，而人工神经网络是“黑匣子”。透明度暗示分类器在训练中显示数据属性重要性的潜在能力。例如，在训练决策树之后，人们可以只看树的第一个分支并识别最具影响力的分支R. Jafari-Marandi et al./ Journal of Computational Design and Engineering 4（2017）282285dxij有区别的属性。相反，由于人工神经网络的性质，通过观察训练网络中神经元之间的权重来得出这样的结论是不可能的。2.1. 前馈神经网络（多层感知器人工神经网络有许多变体，适合不同任务的目的然而，多层感知器（MLP）是主要用于分类的感知器。这种变化简单地将输入层（预测属性）映射到使用重连接隐藏层的输出层（目标属性）。图1示出了具有一个隐藏层的MLP网络。在分类任务中，输入层中的每个神经元代表数据集中的一个预测属性，而输出层中的每个神经元代表数据中的目标属性。例如，如果一个具有五个预测属性的二元分类任务由ANN求解，则输入层将具有五个神经元，输出层只有一个。随着问题复杂性的增加，隐藏层需要有更多的神经元和更高的层次。一个非常常见的做法是使用尽可能少的神经元和水平来完成任务。原因有二。首先，不必要的复杂隐藏层组件将在计算上更昂贵。其次，如果隐藏层中神经元的复杂性和复杂性不正确，那么在大多数情况下，它可能会导致网络在训练时过度拟合（Ripley，2007）。神经网络的训练过程包含看似复杂的数学公式-反向传播过程。然而，这些公式背后的想法非常简单。网络将与数据集中的每一个数据行一起呈现。事实上，每一行都可能在不同的时期向网络呈现不止一次。在每个epoch上，网络将暴露给数据集中的所有行。使用这些公式，每次向神经网络呈现一行数据时，神经元之间的权重都会发生变化，以便将输出层预测值移动到更接近目标列中数据集的值。反向传播的起源可以追溯到Werbos该方法的引入极大地促进了计算智能的发展（Ojha，Abraham，Snášel，2017）。反向传播过程的核心在于基于每个神经元权重的网络误差的偏导数。如果导数是正的，则向特定神经元Fig. 1. ANN前馈网络（Keramati等人，2014年）的报告。工作原因是偏导数的符号相反由于改变权重的过程从输出层开始，向隐藏层移动并在输入层结束，因此该方法被称为反向传播。重量变化的向后移动是必要的，因为背部神经元的重量变化会影响前部神经元的可能变化（Abraham，2005）。当量（1）示出了如何基于部分导数值和前纪这里，E、xij、g、a和n分别是所有的平均值平方误差，第i层中第j个神经元的权重，学习率、动量率和历元数。Dxijn-gωdEaωDxijn-11如果MLP用于预测一个以上的目标列，则将使用所有平方误差的平均值，而不是进行多次反向传播。原因是每个变量的不同反向传播不能训练具有一个方向的MLP网络。学习率和动量率是影响MLP训练行为的行为参数。学习率决定了网络在训练中变化的速度，而动量率决定了过去的权重变化会对权重变化在空间中的方向产生多大的2.2. 自组织映射SOM（自组织映射）神经网络，通常称为Kohonen神经网络系统，是人工神经网络的一种变体，最适合无监督学习任务。SOM的最强之处在于它对数据的可视化呈现。它将输入的数据映射到一个地图上，数据将驻留。换句话说，SOM通常定义了从输入数据空间的更高维度到公共2-D映射数组的映射（Pratiwi，2012）。这个映射实际上是神经网络的输出层。这在图2中示出。 该图表示具有三个属性的数据集的SOM网络。网络训练后的输出层是网络最重要的输出。在这一层上，每一个数据只会激活这一层中的一个神经元。存在连接图二.自组织映射神经网络样本（Keramati Jafari-Marandi，2014）。286R. Jafari-Marandi et al./ Journal of Computational Design and Engineering 4（2017）282初始化初始化初始化停下停下来？来？是结束结束培训培训更新获胜更新获胜更新获胜的的神经神经神经元元元及其邻居及其邻居决定获胜的神决定获胜的神经元经元选择案例（数据选择案例（数据行）行）随机权重随机权重分分分配配配×SOM网络的输出层中的神经元之间的连接，这与ANN的大多数变体不同。这些连接可以是四边形或六边形。在图2的情况下，这种类型是四边形的，因为每个神经元与其相邻神经元最多有四个连接。SOM SOM网络，在初始化和分配随机权值给神经连接后，网络至少一次暴露于每行数据，与时期的数量一样多，用于学习。每次将新的一行数据提交给网络的输入层时，根据神经元之间存在的连接的权重，输出层的神经元将具有比其他神经元更高的值。根据这一结果，将更新权重，以巩固案例布局。当输入病例引起的变化数据是无穷小的。图3显示了SOM在SOM初始化时，在随机构建网络之前，需要确定五个不同的概念：SOM拓扑，邻域半径，排序相位，距离度量和停止准则。SOM拓扑可以根据其维度和类型而改变。选择的任何维度都可以用于不同的问题。例如，在图2中，SOM的输出层具有34维。拓扑的类型可以是四边形或六边形。此外，邻域半径和有序相位是相互联系的概念。每次一个新的情况下，将识别其获胜的神经元，基于这两个概念，神经元可能有不同数量的相邻神经元。在初始化之后，只有邻域半径将确定相邻神经元的数量。例如，如果邻域半径为2，则不仅获胜神经元的邻居将在邻域半径内，而且直接神经元的邻居也将被视为“邻居”，并且它们的然而，当一个时代结束时（即，数据集中的所有情况都被呈现给网络一次），邻域半径基于所确定的排序阶段的长度而减小排序阶段由时期的数量呈现给SOM在排序阶段开始时，确定的邻域半径将开始减小，并且在排序阶段结束时，它将达到小于1的数字这将表明，就更新过程而言，在排序阶段结束后，获胜神经元将没有“距离度量是几乎所有聚类技术中需要选择的参数。距离度量确定了每两个案例之间的相似性的函数或方式。欧几里德距离是最常用的度量;然而，存在许多其他度量可以用作距离度量，诸如平方欧几里德、归一化平方欧几里德、曼哈顿、棋盘、BrayCurtis、堪培拉、余弦、相关性、翘曲和规范翘曲。最后，停止标准将确定算法何时停止。SOM有不同类型的停止标准。最著名的一个是当输入的情况下不会显着改变权重（Tan等人，2006年）。这通常表明网络已经过充分训练。然而，这种停止算法的方式可能变得非常主观，因为什么是不重要的变化的问题可能因情况而异。出于这个原因，在实践中，许多人只是使用算法在停止之前所经历的一些时期。3. 自组织误差驱动人工神经网络SOED分类技术简单地利用了人工神经网络的自组织和错误驱动潜力，以提高其分类性能。 自组织映射（SOM）和前馈人工神经网络已被用来包括这两个。图图4和图5分别表示用于SOED的逐步程序和流程图。在第一步中，训练集将简单地用于在SOM地图中绘制除了SOM图的维数外，SOM的其他行为参数在本文的实验中也被设置为常数。出于复制目的，表1列出了这些设置参数。选择拓扑没有Step-0将所有属性转换为-1和1之间;初始化W = 1（夹紧重量）Setp-1使用SOM对列车集进行聚类Setp-2检查SOM输出是否被箝位，否：将W增加1并转到步骤-1，是：继续步骤-3在SOM输出的映射中识别具有不同类别的聚类：决策映射步骤-4为训练集定义两个新目标步骤5使用两个新定义的目标的训练集训练前馈ANN步骤6使用训练好的ANN网络预测测试集中的每个案例将在何处着陆第7比较每个案例在测试集中的位置，基于决策图的分类步骤2.图三. SOM流程图见图4。 逐步SOED程序。R. Jafari-Marandi et al./ Journal of Computational Design and Engineering 4（2017）282287表1使用SOM参数。图五. SOED流程图。有一个纯神经元邻居，它有其他类的成员。换句话说，箝位映射具有特定于每类数据的清晰切割区域。例如，图7（a）示出了虹膜数据的箝位SOM图。数据有三个类，我们可以看到每个类都有自己的映射部分。以确保如果步骤1的输出映射被箝位，则存在检查循环：2.如果图未夹紧，则程序将使用更高的夹紧重量再次运行步骤1。钳制权重是一个从1开始的整数正值，它在SOM训练过程中赋予类属性更多的重要性。SOM不会规范化其训练的输入属性;因此，如果其中一个输入乘以整数值，则该输入将在指定映射的边界方面发挥更大的作用。步骤2将继续增加夹紧重量，直到输出映射被夹紧。该输出导致更简单的步骤3，即识别SOM图中与每个类对应的部分。我们称之为决策图，因为我们将在步骤7中使用此图来为新用例（测试集）查找类。在步骤3中，一个非常关键的问题是在地图的每个部分之间画一条分隔线。这将通过确保每个类将有一个公平的地区，是不确定的类方面。例如图 7(a)显示了该标识和虹膜数据的分隔线实际上，第四步是将分类任务从预测病例的类别改为预测每个类别将落入地图的哪个部分。为此，SOM图上每个神经元的中心xy坐标将与它们的所有所属情况相关联。在步骤5中，经典的前馈ANN分类使用隐藏层的复杂性来映射数据集的输入特征以预测目标类成员。实际上，第4步是定义通常研究的“成本函数”，其中采用了由成本函数驱动的SOM。成本函数是前馈神经网络对决策图上每行数据的位置的期望与该行数据的实际位置之间的差。SOED使用前馈神经网络的预测能力来最小化该成本函数。该过程将继续进行到步骤6，使用经过训练的ANN来预测决策图上测试集上案例的位置。在第7步中，通过检查测试集案例是否落在决策图的相应区域，计算准确性度量。在整个研究中，SOED中使用的前馈ANN使用具有Levenberg-Marquardt反向传播的MATLAB内置函数（Demuth，Beale，DeJess，Hagan，参数集地图拓扑四边形，六边形邻域半径3订购阶段100 epochs距离测度欧几里德停止标准1000 epochs是一个主观的问题，可能因情况而异;选择一个好的大小的一般指导原则是在不同的大小上运行多个SOM，并找到适合目的的SOM。SOM拓扑的更大尺寸为该技术提供了更好的区分能力;然而，过大的拓扑难以理解和进一步分析（Kohonen，2013）。在决策树分类的上下文中，存在称为不纯的概念（Keramati等人，2014年）的报告。我们将从源代码中借用纯度一词来解释钳制映射的概念。这个过程的第一步的输出必须具有纯神经元。一个神经元是纯的，当它的所有成员都来自同一个类。为了澄清，作为神经元成员的一行数据意味着如果将该行呈现给训练的SOM，则该行将最激活该神经元。因此，SOM中的钳制映射可以由其中所有神经元都是纯的并且仅可以是纯的映射来定义。2014）培训功能。然而，在最终使用之前，隐藏层和神经元的数量在调谐过程中被调谐。在此过程中，前15%的车组用于验证目的。使用剩下的85%的训练集，训练具有不同层和不同隐藏神经元的ANN利用训练集的15%保留部分，对这些神经网络中的每一个进行比较，并选择最合适的网络进行进一步的训练和使用。3.1. 理论支持前馈神经网络在从数据集中提取信息方面表现良好的启发式原因是，通过每层神经元，数据和模式的编码方式与它们在数据集中的隐藏方式不同。因此，多个层的存在将有助于在给定的权重内找到回归类型的连接（Ripley，2007）。然而，分类任务的输出层通常是由数字编码或二进制编码表示的。编码与网络的其他部分无关，或者前馈网络有任何机会塑造它以获得更好的性能。更糟糕的是，在人工神经网络的许多实践中，常见的是将类整数编码。这样做在统计学上是不正确的，并使用ANN初始化W=1输出是否箝位？没有是的报告结果利用决策图确定测试集查找测试集的目标值用新的目标值训练ANN定义ANN的新目标（xy）创建决策W=W+1列车上的SOM288R. Jafari-Marandi et al./ Journal of Computational Design and Engineering 4（2017）282-存在于错误编码的数据集中。SOED通过在应用ANN之前使用SOM映射训练集，实际上在这方面有助于模式识别。每个数据在地图上的位置与数据中存在的模式相关，因为这些模式用于它们的放置。SOED不是使用不相关的，有时是错误的输出层（类）编码，而是设法提出了一种方法，将数据中隐藏模式的投影也带到输出层。这一事实本身就可以促进更好和更容易的寻找联系的过程从另一个角度来看，SOED比MLP单独使用更多的洞察力和信息。当MLP应用到改进的分类问题中，在新的分类目标下，案例在SOM上的位置，没有信息丢失。同样的独立变量用于预测编码的因变量。因变量的编码并不造成任何信息的丢失，而是导致一些信息的增加。用作MLP的输出值的二进制编码的目标值是简单的并且没有知识或信息。然而，当使用地图的位置而不是二进制编码时，地图上的病例的位置具有MLP可以拾取的相关和有意义的信息。4. 实验实验和比较是了解SOED分类如何改进典型ANN分类器的最佳方法。为此，我们使用五个著名的和公共的数据集来运行实验。下一节将介绍这些数据集。 为了比较前馈神经网络和SOED神经网络在处理分类任务方面的性能，简单的训练测试分类过程采用了数据集的很大一部分，通常是70%，通常用于训练分类器。这意味着分类器将使用训练集来学习数据集中的隐藏模式。在ANN的情况下，网络反复暴露于这些数据以更新其权重。当训练分类器时，通过使用分类器从未接触过的数据集的剩余部分来测试其准确性和性能：测试集。测试集实例的预测类与它们的实际类之间的比较提供了测试床比较。原因是分类器没有看到或接触到测试集中的实例，如果它成功地预测了它们的类，这是一个伟大的成就。有许多不同的测量方法可用于比较预测类和实际类，但最简单的是错误分类的数量。分类器的错误分类越少越好。提出了在SOED步骤中采用前馈神经网络的方法事实上，本研究假设在前馈预测过程中加入SOM可以获得更好的结果。为了保持实验的合理性，可复制性和可调整性，无论是SOED还是前馈ANN本身，前馈ANN都要为每个实验进行调整。调优过程将训练集分为两部分：训练集和验证集。验证集是一个不同于测试集的概念。验证集用于在真正的训练发生之前调整网络参数。我们使用15%的训练集作为验证集。使用验证集，在实际训练和测试过程之前，使用具有不同权重初始化的不同网络来为每个实验找到最佳网络。网络4.1. 数据集UCI机器学习库（Asuncion Newman，2007）用于精心挑选五个数据集，这些数据集为比较SOED和前馈ANN提供了足够的分类测试平台这 五 个 数 据 集 分 别 命 名 为 Iris 、 Acute Inflammations 、 CreditApproval、Heart SPECTF和Mushroom。表2显示了这些数据集的摘要本文中的数据集的选择已经执行的目的是给SOED足够的空间来改进现有的方法。然而，如本文所述，SOED需要图形映射，因此较大的数据集不用于实验。Fisher（1936）提出的虹膜数据是用于模式识别和分类的经典数据集之一。该数据集有150个鸢尾属植物的实例，平均分为三种类型：IrisSetosa ， Iris Versicolor 和 Iris Virginica 。 Fisher 的 研 究 结 果（Fisher，1936）表明，一个类别与其他两个类别是线性可区分的;其他两个 数据集中的每个观测都有四个属性，分别为间隔长度、间隔宽度、花瓣长度和花瓣宽度。为了使用数据集，对数据进行了两次转换。首先，数据中的类列（名义型（分类）数据）使用三个二进制列进行编码。每一列将专门代表三个类别之一的存在。第二、所有的数据都被缩放到1和1之间。值得注意的是，当使用SOM时，强烈建议进行第二次转换（Keramatia等人，2014年），它也适用于所有其他数据集。最后，我们为训练集设置了127个数据集案例（85%），为测试集设置了23个案例（15%）。此外，收集急性炎症数据集仅用于构建专家系统以诊断两种疾病，泌尿系统（Czerniak& Zarzycki，2003）。该数据集有120个实例，由六个预测属性和两个决策属性表示。这些预测属性是（1）患者的温度（35-42 °C），（2）恶心的发生，（3）腰部疼痛，（4）推尿（持续需要排尿），（5）排尿疼痛，和（6）尿道灼热、瘙痒或尿道出口肿胀。在正常设置下的数据集，85%的训练集和15%的测试集，不会对强大的分类提出挑战，如前馈ANN。前馈ANN和SOED可以预测25-75%的训练集与测试集的比率，具有100%的准确率。将数据集用作作为一个比较测试平台，我们将训练集和测试集的比率控制为训练集的17%和测试集的83%信贷审批数据集最初是为了构建而引入的使用决策树来更好更快地做出信贷申请的决策（Quinlan，1987）。该数据集给编写工作带来了挑战。它有六个具有两个以上值的分类属性，因此需要对所有这些属性进行二进制转换。此外，由于数据具有如此多的实例（在删除具有缺失值的实例之后为653个），为了简化进一步分析，将训练集与测试集的比率设置为95-5%。Mushroom数据集是一个分类任务，通过其外观相关特征来预测蘑菇是否有毒。数据集有许多实例，但数据集中表2数据集摘要有一到两个隐藏层，每层包括在2到12个神经元之间，N.实例N.属性N.类缺失数据ing. 此外，由于神经网络在很大程度上依赖于其权重，D1初始化，每个网络结构被给予五个不同的初始化机会，以揭示其关于验证集的适应性。具有权重初始化的网络结构将用于实际训练和测试程序，该权重初始化导致验证集的最佳拟合。D2120 6 4否D3690152是的D48124222是的D5367442是的R. Jafari-Marandi et al./ Journal of Computational Design and Engineering 4（2017）2822890.5,6.51.5,6.53.5,6.5 4.5,6.55.5,6.56.5,6.50.5,5.51.5,5.53.5,5.5 4.5,5.55.5,5.56.5,5.50.5,4.51.5,4.52.5,4.55.5,4.56.5,4.50.5,3.51.5,3.53.5,3.54.5,3.56.5,3.52.5,2.53.5,2.54.5,2.55.5,2.50.5,1.51.5,1.52.5,1.53.5,1.5 4.5,1.55.5,1.56.5,1.50.5,0.51.5,0.52.5,0.53.5,0.5 4.5,0.55.5,0.56.5,0.5挑战性不够，因此该数据集的比率设定为13- 87%。此外，它有22个分类属性，其中一些需要二进制编码转换。另一方面，对于心脏SPECFT数据集，唯一的分类属性是其类，因此不需要转换。然而，HeartSPECFT以及Credit Approval和Mushroom数据集存在缺失值。为了解决本研究中的缺失值，采用了删除简而言之，所有具有缺失值的实例都将从实验中删除。选择此策略的原因是这些数据集仅用于作为试验台，因此基础是这样一个事实，即即使没有缺失值，本研究中的所有技术将使用相同的数据。4.2. 结果图6表示来自SOED过程的步骤1的输出。图 6（a）是SOM命中率表示，显示该成员-图中每个神经元的运输计数。例如，神经元在地图的左下角有三个成员，正如我