Egyptian Informatics Journal（2013）14，183开罗大学埃及信息学杂志www.elsevier.com/locate/eijwww.sciencedirect.com原创文章自适应竞争学习神经网络艾哈迈德河Abas*Umm Al-Qura大学Lith计算机学院计算机科学系，沙特阿拉伯Makka Al-Mukarrama Zagazig大学计算机和信息学院计算机科学系，埃及接收日期：2013年4月30日;接受日期：2013年2013年9月14日在线提供本文提出了一种自适应竞争学习（ACL）神经网络算法。该神经网络不仅将相似的输入特征向量分组在一起，而且还确定这些向量的适当组数。该算法使用一个新提出的标准称为ACL标准。该标准评估ACL神经网络为输入数据集产生的不同聚类结构。然后，为该数据集选择最佳的聚类结构和相应的网络结构所选结构由最小紧凑且大小均衡的集群数量。所选择的网络架构在其复杂性方面是有效的，因为它包含最少数量的神经元。这些神经元的突触权重向量表示输入数据集中分离良好、紧凑且平衡的簇对ACL算法的性能进行了评估，并与最近提出的ACL算法进行了比较。提出的算法在文献中聚类输入数据集，并确定其数量的clus-特斯实验结果表明，ACL算法在确定聚类数目和将输入特征向量分配到聚类中方面都比其他算法更准确、更鲁棒，尤其是在稀疏分布的数据集上。©2013制作和主办由Elsevier B.V.代表计算机与信息学院开罗大学。1. 介绍聚类分析是模式识别中的一项重要任务。它感兴趣的是将输入中的相似特征向量*地址：埃及Zagazig Zagazig大学计算机和信息学院计算机科学系。联系电话：+966 580016325，+20 1009013037。电子邮件地址：arabas@zu.edu.eg，armohamed@uqu.edu.sa。开罗大学计算机和信息系负责同行审查。将数据集划分为多个集群。一个聚类中的特征向量比其他聚类中的其他特征向量彼此更相似。在文献中提出了不同的聚类算法，例如竞争神经网络（CNN）和有限混合模型（FMM）[1竞争网络的神经元学习识别相似的输入特征向量组。FMM产生每个特征向量对输入数据集中的每个聚类的成员关系的但这些算法有一些局限性。首先，它们产生次优结果，因为它们收敛到目标函数到起点的最近局部最优值[6]。其次，当聚类分离不好或聚类大小不平衡时，它们会产生聚类中心的偏置值，即，1110-8665© 2013由Elsevier B. V.代表开罗大学计算机与信息学院制作和主办。http://dx.doi.org/10.1016/j.eij.2013.08.001制作和主办：Elsevier关键词自适应竞争学习神经网络;良心学习;死亡神经元;簇数;鲁棒聚类184A.R. AbasW一pnCTF1BR数据分布稀疏[7，8]。这些算法需要给定聚类数[5]。确定输入数据集的最佳聚类数是聚类分析中的一个困难问题[5，9]。文献中提出了几个标准，用于确定FMM的簇数[参见综述，[10然而，这些标准往往会高估集群的数量，聚类形状不是高斯的[8]，当聚类重叠或给定数据集的大小很小时，会低估聚类的数量[13]。此外，这些标准对于稀疏分布的数据表现不佳[10，11]。另一方面，据我们所知，文献中没有提出自动确定CNN中代表聚类的神经元数量的标准。边缘 或者，CNN中的神经元数量为通过去除在收敛后表示输入特征向量时没有赢得竞争的神经元来手动确定[14]。这些神经元被称为死神经元[5]。然而，这种方法对学习率的选择很敏感[5]。另一种方法通过找出CNN的突触权重向量之间的差异来确定神经元或集群的数量，并且如果差异是-如果权重向量之间的差值大于指定值，则簇的数量增加1，否则簇被合并[15]。在本文中，一个新的算法，被称为自适应竞争学习神经网络（ACL）算法，提出了集成无监督学习和CNN的优化。它学习和评估不同的CNN架构，使用新提出的标准（称为ACL标准）对输入数据集进行聚类。就其复杂性而言，与ACL标准的最小值相对应的CNN架构被认为是最有效的CNN架构。这个CNN由最少数量的神经元组成，这些神经元代表紧凑和在输入数据集中的平衡聚类。这些集群之间具有最小的组件内的变化。本文的其余部分组织如下：第2节介绍了CNN的体系结构。 第3节提出了建议标准和提出的ACL算法。第4节介绍ACL算法和EMCE算法的评估和比较研究[12]。这项研究表明，每个算法在确定聚类的最佳数量和使用不同属性的数据集将输入特征向量分配到这些聚类中的重要性。第5节讨论了所获得的结果。最后，第6节给出了结论和未来的工作。2. CNN的架构CNN是一个单层神经网络，其中每个输出神经元都完全连接到输入节点。当输入特征向量被呈现给网络时，输出神经元竞争变得活跃[1，2，5，6，16]。的激活具有最大净输入的神经元被设置为1，并且所有其他神经元的激活被设置为0。这种情况被称为如果一个神经元赢得了竞争，它的权重向量将根据等式wjn1 wjnn pi- wj1其中n是学习速率，wj是输入特征向量pi的获胜神经元j的权重向量。该网络随机调整其神经元的权重向量。新-RON通过在呈现给网络时将它们的权重向输入特征向量移动来学习。 数据集中的特征向量被随机地呈现给网络多次，称为epoch。在训练之后，每个输出神经元应该通过将其自己的突触权重向量移动到该聚类的中心来表示输入数据集中的聚类。换句话说，竞争层中的神经元将自己分布在特征空间中，以识别网络的频繁输入特征向量。 因此CNN对输入数据集执行聚类。 然而，CNN的性能取决于输出神经元的数量及其权重vec的初始化tors[6].不同的初始权重向量可能会导致不同的最终聚类，因为公式中的更新规则。(1)仅将获胜神经元的权重向量移向其最近的特征向量。CNN的另一个缺点是它可能会将一个集群分成许多小集群[6]。CNN的架构如图所示。1.一、输入向量p和输入权重矩阵W被馈送到块||Dist||.输入向量的特征数量为R，而CNN的神经元数量为S。块的输出||Dist||是具有S个元素的向量。这些元素是输入向量p与由输入权重矩阵W的行形成的向量之间的欧几里德距离的负值。竞争层n的净输入由通过找到输入向量p和权重向量之间的负距离并加上偏差b。当所有偏置为零时，任何神经元的最大净输入为0。当输入向量p等于该神经元的权重向量时，会发生这种情况。竞争传递函数块CTF具有净输入向量作为层的输入，并且对于除了输出为1的获胜者之外的所有神经元产生为0的神经元输出。获胜神经元是具有净输入向量的最正元素的神经元。如果所有偏差都为零，则权向量最接近输入向量的神经元（即具有最小负净输入的神经元）赢得竞争，其输出变为1。在CNN中学习权重向量的过程中，当一些神经元可能没有被分配或在输入数据集中的几乎所有特征向量的竞争中获胜时，发生被称为死亡神经元的LEM。当一些神经元的权重向量开始远离任何输入特征向量时，就会发生这种情况，因此，这些神经元永远不会赢得输入竞争层图1竞争性神经网络的结构。自适应竞争学习神经网络1850.20.20.20.20.218161412108642020表1ACL和EMCE算法在聚类输入数据集和确定其聚类数方面的比较。阴影单元格包含每个数据集的聚类数的正确值和NMI度量的最高值。10.90.80.70.60.50.40.30.20.1EMCE10.90.80.70.60.50.40.30.20.1ACL00 0. 2 0. 4 0. 6 0. 81特征100 0.10.20.30.40.50.60.70.80.9 1特征1(a)（b）第（1）款2.521.510.5EMCE1.21.110.90.80.70.60.50.40.3ACL电话：+86-21 - 8888888传真：+86-21 - 88888888KK(c)（d）其他事项图2从EMCE和ACL算法获得的聚类以及这些算法中使用的标准相对于第一数据集的聚类数k特征2EMCE特征2ACL186A.R. Abas竞争，它们的权重向量不需要学习。 这些神经元在CNN中不执行有用的功能。为了防止死亡神经元的发生，使用偏置来使很少赢得竞争的神经元比经常获胜的神经元具有优势。 增加了积极的负距离使远处的神经元更有可能获胜。为了完成这项工作，每个神经元的输出为1的次数的百分比被存储。该百分比用于更新偏差，使得频繁活动的神经元的偏差将较小，并且不频繁活动的神经元的偏差将较大。用于更新偏差的学习率被称为良心学习率，并且其值被设置为小于竞争学习率n。在这个实验中，论文中，竞争学习率被设置为0.01，而对照组，科学学习率分别设置为0.001。将偏差学习与CNN神经元的竞争学习相结合称为良心学习[17]。这个学习过程允许不经常活动的神经元响应并向更多的输入特征向量移动最终一个神经元将响应与其他神经元相同数量的特征向量。由于学习与良心，死者神经元问题得到解决，CNN中的每个神经元被迫表示大致相同数量的输入特征向量[18]。3. 提出的自适应竞争学习神经网络自适应竞争学习（ACL）神经网络算法使用一种新提出的ACL准则来确定CNN中用于聚类输入数据集的输出神经元的最佳数量。该标准基于以下理论：用于聚类输入数据集的最佳CNN为了实现这一理论，ACL标准选择代表最小集群内变化和给定数据集中集群相对权重乘积的最小值的CNN为了引入符号，令D={p1，p2，. . ，pn}是由在R-特征空间中独立且同分布的n个特征向量组成的给定数据集。每个特征上的值都将缩放，使其范围从0到1。这一重新10.90.80.70.60.50.40.30.20.1EMCE10.90.80.70.60.50.40.30.20.1ACL00 0.2 0.4 0.6 0.81特征1（一）000.10.20.30.40.50.60.70.80.9 1特征1（b）第（1）款2.5EMCE1.5ACL211.510.50.5020181614121086K4 2001 2 3 4 5 6 7 8 9 10K(c)（d）其他事项图3从EMCE和ACL算法获得的聚类以及这些算法中使用的标准相对于第二数据集的聚类数k0.333330.333330.33333特征2EMCEACL特征2自适应竞争学习神经网络1870.366330.300340.33333X. ΣnIJ我Jpj<$n引入了输入数据的稀疏性，并提高了估计其聚类结构的准确性[10]。使用表示输入数据集的CNN来1KACLE2k最大值1/41log10Jð4Þ假设输出竞争层中的每个神经元代表在输入数据集中发送一个聚类。然后，使用在其输出层中包含k个神经元的CNN，该数据集中的平均簇内变化被定义为：其中kmax是输出中的最大神经元数CNN中的层。CNN的最佳架构由用于最佳聚类给定数据集的最佳输出神经元数量组成，其对应于最小值nACL标准的k。最小化ACLcri中的第一项Ek1XXrkp-wk22联系我们其中pieD，wj是神经元j的权重向量，并且如果当输入向量pi被呈现给网络时神经元j赢得竞争，则ri j被设置为1，否则它被设置为0。在CNN中由neu-ronj表示的数据集中某个聚类的相对权重定义为：1Xn1/1最小化集群内变异，进而导致最紧凑和密集的簇。此外-最小化第二项产生了对应于具有大致相等权重的良好分离的聚类的最小数量的聚类相对权重的最小乘积。这反过来又导致了最有效的CNN在其复杂性方面。因此，最小化ACL标准会产生最有效的CNN，它代表给定数据集中紧凑、分离良好和平衡的聚类。从具有k个最大神经元的CNN开始，ACL标准将太小，而第二个 term有然后，提出了评估不同的ACL标准，由不同数量的神经元组成的CNN架构定义为：最大值。随着k的减小，第一项增加，因为集群的大小增加，而第二项减少，因为集群的相对权重变为10.90.80.70.60.50.40.30.20.1EMCE10.90.80.70.60.50.40.30.20.1ACL00 0. 2 0. 4 0. 6 0. 81特征3000.10.20.30.40.50.60.70.80.9 1特征3(a)（b）第（1）款2.5EMCE1.4ACL21.510.50201816141210 8 6 4 20K（c）第（1）款1.210.80.60.40.201 2 3 4 5 6 7 8 9 10K（d）其他事项特征4EMCE特征4ACLRijp188A.R. Abas图4从EMCE和ACL算法获得的聚类以及这些算法中使用的标准相对于Iris数据集的聚类数k自适应竞争学习神经网络189更大。最小ACL准则值确保了集群的紧凑性与其数量之间的最佳折衷，即，CNN的复杂性。ACL算法使用良心学习[17]或-从而解决了输出神经元权向量竞争学习过程中的死神经元问题。此外，该学习过程确保这些神经元代表平衡的簇，即，聚类的输入特征向量的数量大致相等。该算法从一个大的CNN开始实验中设置为10的神经元数量kmax显示在本文中。输入特征向量被随机地呈现给网络许多时期。 本文中所示的实验中的epoch数良心学习[17]用于学习输出神经元的权重向量。收敛后，ACL准则计算当前CNN架构的值。神经元的数量递减，并且学习新CNN架构的权重向量。这个过程一直持续到CNN架构中有一个神经元。 最后，具有最小ACL标准值的CNN被认为是用于聚类输入数据集的最佳CNN这个CNN具有最少数量的神经元，代表良好分离和平衡集群这些集群具有最小的集群内变化。这种CNN是有效的，因为它有少量的神经元，即，复杂性小，EMCE算法证明了在对输入数据集进行聚类并确定其中的聚类数方面优于文献中的其他算法[12]。它使用混合模型和基于似然和互信息理论的标准，用于评估具有不同数量的聚类的不同混合模型。利用MATLAB软件实现了该算法，并进行了实验使用具有不同聚类结构的不同数据集。这些数据集描述见第4.1节。用于量化从每个算法获得的聚类结果有多好的度量在第4.2节中描述。4.1. 数据集实验中使用的数据集在特征空间中具有不同的聚类结构，包括聚类数、聚类分离度和数据稀疏度。这些数据集说明如下：4.1.1. 第一个数据集这个数据集是人工生成的，它由150个特征向量组成，每个特征向量都是10特征空间中的向量这些特征向量是从五个具有相等概率的独立高斯形状聚类中生成的。这些星团的中心是11 =[2，2，2，2，2，2，2，2] T，l2=[6，2，2，2，6，6，2，2，6，6] T，l=[2，6，6，6，2，2，6，6，2，2]T，l=[4，4，4，4，4，4，4，4]T，以及平衡和良好分离的集群。最后，3T的步骤4建议的ACL算法如下所示：l5=[6，6，6，6，6，6，6，6，6]，而它们的协方差矩阵是相同且等于R=0.5×10。使用此数据集的目的是测试数据聚类分离时比较的算法并且当特征的数量与特征向量的数量相比较大时，即，数据集是稀疏分布的。4.1.2. 第二数据集该数据集是人工生成的，使得它由90个特征向量组成，每个特征向量是10特征空间中的向量这些特征向量是从具有相等概率的三个分离不好的高斯形状聚类中生成的这些中心集群是l1 =[0，0，0，0，0，0，0，0，0，0]T，l2=[- 2，- 2，-2，-2，-2，- 2，-2，-2，- 2，-2，-2]T和13=[2，2，2，2，2，2，2，2，2]T，而它们的协方差矩阵是相同的并且等于R=I10。使用此数据集的目的是在数据聚类分离不佳以及要素数量大于要素数量时测试比较算法矢量即，数据集是稀疏分布的。第一个和第二个数据集都在文献中用于比较不同的聚类算法[12]。4. 实验结果与评价ACL算法的性能与最近提出的EMCE算法[12]在聚类输入数据集和确定数量方面4.1.3. Iris数据集它由150个特征向量组成，每个特征向量是四特征空间中的向量。这些特征向量表示三个大小相等的聚类。两个聚类在数据空间中重叠。使用该数据集的目的是测试当数据聚类分离不良和特征数量较少时比较的算法。4.1.4. Seeds数据集它由210个特征向量组成，每个特征向量都是七特征空间中的向量。这些特征向量表示三个大小相等的聚类。这些集群部分重叠，程序CNN=ACL（数据）第0步。将每个输入数据特征的值归一化为0到1。步骤1. 在优化过程中，簇内变异、簇的相对权重与神经元数目的乘积应最小化。步骤2. 从拥有大量神经元的CNNk= kmax和空的BestCNN。步骤3. 做什么？使用良心学习来学习当前CNN中神经元的权重向量。步骤4. 将输入特征向量呈现给训练好的CNN，并获得相应的输出向量和聚类索引。步骤5. 计算平均聚类内变化E（k）和聚类p j的相对权重，j=1：k。步骤6. 计算当前CNN的ACL（k）准则值（参见等式4）。步骤7. 如果（BestCNN为空或ACL（k）.[19] UCI机器学习数据库库，Irvine，CA：加州大学信息与计算机科学系，2013年3月。http://archive.ics.uci.edu/ml/>.[20] 封面TM，托马斯JA.信息论的基本原理。Wiley;1991.[21] Strehl A ， Ghosh J. Cluster ensembles- a knowledge reuseframework for combining multiple partitions.马赫学习研究杂志2002;3：583-617.[22] Fern XZ，Brodley CE.高维数据聚类的随机投影：聚类集成方法。2003年，第20届机器学习国际会议（ICML 2003）。p.186比93[23] 布鲁米·马迪亚·菲姆一种新的竞争神经网络模糊学习方案。JAppl Math Sci2012;6（63）：3133-44.[24] Zanaty EA.核化模糊 C-均值算法的聚类数的确定。 EgyptInform J2012;13：39-58.[25] Ossama O ， Mokhtar HMO ， El-Sharkawi ME. An extendedk-means technique for clustering moving objects. Egypt InformJ2011;12：45-51.
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
