没有合适的资源?快使用搜索试试~ 我知道了~
沙特国王大学学报基于灰狼优化的超参数优化卷积神经网络皮肤癌分类器设计Rasmiranjan Mohakud,Rajashree Dash计算机科学工程系,Siksha O Anusandhan(被视为大学),印度布巴内斯瓦尔阿提奇莱因福奥文章历史记录:2021年1月13日收到2021年5月1日修订2021年5月27日接受2021年6月12日在线提供保留字:CNNGWO超参数优化癌症检测A B S T R A C T近年来,卷积神经网络在解决图像处理领域的许多棘手问题方面取得了突破性进展。但是它的性能建立在其选择的超参数上,手动微调这些超参数是一项繁琐的工作。因此,在这项研究中,提出了一种自动超参数优化卷积神经网络,它进一步应用于揭示皮肤癌的类别。该方法利用灰狼优化算法优化CNN的超参数,通过采用适当的编码方案。通过与基于粒子群优化和遗传算法的超参数优化CNN在国际皮肤成像协作组织皮肤病变多类数据集上的应用性能比较,验证了该模型的有效性。仿真结果表明,该模型能够产生高达98.33%的测试准确率,这是约4%和1%,分别比基于粒子群算法和遗传算法的模型。与所提出的模型类似,实现的测试损失约为0.17%,与基于PSO和GA的模型相比分别减少了39.2%和15%实验结果清楚地表明,所提出的模型相比,其他报告的模型具有竞争力。版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。1. 介绍人体的主要部分是由皮肤所覆盖,皮肤保护内脏免受外界有害因素如灰尘、热量、污水、紫外线等的影响,但皮肤直接接触这些有害因素也会对其健康造成毁灭性的影响它可能是几种皮肤病的原因,如痣,酒渣鼻,湿疹和癌症,可以影响任何年龄组的人在这些疾病中,皮肤癌是一种常见的威胁。2018年发现了约30万例新病例,其中2490名女性和4740名男性在2019年丧生(Siegel例如, 2019年)的报告。皮肤癌分为8种类型,如,黑色素瘤,*通讯作者:Department of Computer Science Engineering,ITER,Siksha OAnusandhan(Deemed to be University),Bhubaneswar,751030,India.电 子 邮 件 地 址 : rashmiranjanmahakud@soa.ac.in ( R.Mohakud ) , rajashree-dash@soa.ac.in(R. Dash)。沙特国王大学负责同行审查坏疽性口炎、黑素细胞痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤、血管病变和鳞状细胞癌。在所有皮肤癌中,黑色素瘤是最危险的一类,对皮肤造成严重伤害并扩散到人体的其他部位。研究表明,皮肤癌的早期检测大大降低了死亡率(Razmjooy等人,2012年)。皮肤癌的早期诊断对于皮肤科医生来说是一项繁琐的工作,这促使我们建立一个简化的自动皮肤癌检测器,从早期阶段检测皮肤癌,这反过来又可以帮助皮肤科医生很多。近几十年来,深度学习在计算机视觉和图像处理中发挥着重要作用,如对象检测、图像分割、皮肤病学图像中的病变检测(Kharazmi等人,2017),皮肤病变表征(Maglogiannis和Doukas,2009)。卷积神经网络(CNN)由于其自动特征检测、更高的预测和分类精度,在图像处理领域有着广泛的应用。CNN的高精度促使研究人员将其应用于解决肿瘤检测、皮肤病变分类、乳腺癌检测等图像处理问题。CNN的多层结构由卷积层、Relu层、Dropout层、Pooling层和Dense层组成。每一层随后发现https://doi.org/10.1016/j.jksuci.2021.05.0121319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。制作和主办:Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页:www.sciencedirect.comR. Mohakud和R. Dash沙特国王大学学报6281××从简单特征中分离出复杂特征。CNN的深度在预测和分类准确性方面起着重要作用(Simonyan和Zisserman,2014)。CNN深度的增加会增加超参数的数量。CNN模型具有多个超参数,诸如层数、每层中的核大小、每层中的核数量、与最大池化相关联的核大小、在dropout中使用的dropout率、密集层的大小、学习率、卷积的数量、卷积的最大池的数量,密集层的数量,epoch的数量,批量大小,优化器,激活函数等等。通常,这些超参数的选择是在昂贵的试错基础上手动处理的,这反过来又导致CNN的训练时间很长,因为在不同的轮次中评估不同的超参数配置。在此期间,新的CNN往往具有越来越多的层,超参数的数量迅速增加。因此,在合理的成本下手动确定CNN的接近最佳超参数配置几乎是徒劳的。另一方面,适当的超参数调整可以提高CNN模型的整体性能。因此,这一雄心迫使许多研究人员将CNN超参数的调整作为一个优化问题来解决。粒子群优化(Wang等人,2019),univari-ate动态编码(Yoo,2019)和多级进化优化(Cui和Bai,2019)是一些优化技术,它们成功地应用于CNN超参数的优化。虽然这些文章给出了一个有希望的结果超-参数优化,仍有进一步改进的空间。近年来,灰狼优化(GWO)技术通过模仿灰狼的社会等级和狩猎能力,作为解决不同标准优化问题的有前途的Meta启发式技术出现(Mirjalili等人,2014年)。尽管它已经被用于解决特征提取问题(Garg等人,2019; Maddikunta等人,2020)、CNN的权重初始化(Kumaran等人,2018),CNN的培训( Chen et al. , 2019 年 ; Xie 等 人 , 2020; Agarwal 和 Sharma ,2020),但它还没有应用于超参数优化问题。因此,在这项研究中,它首次被应用于调整应用于皮肤癌分类的CNN的超参数。然后,优化的超参数用于创建有效的CNN模型,该模型使用反向传播算法进一步训练,以处理皮肤癌多类分类问题。在处理分类任务之前,首先通过图像去噪、颜色转换和滤波步骤对收集的皮肤癌图像进行预处理。通过在小样本数据集上使用轻量级CNN测试不同的图像预处理技术,选择合适的图像预处理技术。样本数据集是通过对原始数据集应用随机采样技术生成的,而轻量级CNN模型是由三个卷积、三个relu、三个droput、三个max-pooling、一个flatten层和两个dense层构建的。图像重建将随机大小的数据重新整形为与模型相似的形状。将图像缩小到真实大小可以节省CNN模型的训练和测试时间。通过对最近邻插值(NNI)、双线性插值(BI)、基于像素面积关系的插值(RPAR)、4 4像素邻域内的双三次插值(BIPN)等5种常用的图像插值技术进行仿真,Lanc-zos插值在8 8邻域(LIN)上的小样本,在Ple图像数据集上,BI技术被认为是更好的技术,因此被进一步应用于所提出的模型中。再次检查皮肤癌数据,发现颜色在分类中起的作用不太重要。因此,在对图像进行去噪后,将其从彩色转换为灰度,以进一步节省训练时间。色彩转换后,图像滤波该方法用于去除图像中不需要的特征,如毛发、噪声、小的未受影响区域等,以提高进一步的分类性能。通过对样本数据集进行四种不同类型的图像滤波技术(如平均,高斯,中值和双边)的实验,发现高斯滤波提供了更好的准确性,因此它进一步用于所提出的模型。预处理后,一个有效的编码技术已被用于超参数,以适应它到GWO。在文献中,优化目标根据超参数的定义而不同。有些人采用狭义的超参数,只包括每一层的参数,而不改变整体结构,其他人则从更广泛的意义上考虑,通过考虑层数,学习率以及每一层的超参数。考虑到前者,在确定了CNN的结构之后,本文的主要目标是达到主要涉及卷积层、丢弃层和池化层的超参数的接近最优值。超参数调整中最耗时的部分是CNN的训练,CNN被定义为在GWO优化过程中要评估的适应度函数。因此,为了提高超参数调整效率,设计了一个合适的适应度函数,该函数将能够在有限的时间内以CNN精度的形式计算适应度值。使用皮肤镜图像从早期阶段对皮肤癌进行分类对于专家来说甚至是困难的,因此需要高效的自动化。因此,在本研究中,我们使用了CNN的端到端训练能力,自动特征选择和分类准确性。通过使用通过GWO产生的优化超参数来创建具有成本效益的CNN模型。最后,使用国际皮肤成像协作组(ISIC)皮肤镜皮肤癌图像数据集训练CNN模型。实验结果清楚地表明,该方法的优越性相比,粒子群优化(PSO)和遗传算法(GA)的超参数优化方法的CNN的精度和优化CNN的损失。本研究的主要贡献如下:适当的图像预处理可以节省CNN的整体训练时间CNN的超参数使用GWO进行优化,以模拟具有成本效益的CNN分类器。该模型还比较了基于粒子群算法和遗传算法的超参数优化方法。在ISIC皮肤镜多类皮肤癌图像数据集上进行了大量实验,验证了该模型的有效性。本文的其余部分组织如下。第2介绍了相关工作的调查。第3节讨论了详细的拟议模型第四是实验结果及其分析。最后在第5节中简要介绍了结论和未来的范围2. 文献调查几十年来,目标检测和图像分类是两个新兴领域;神经网络,特别是CNN,在这个领域似乎更受欢迎。神经网络隐层的全连通性导致了目标检测问题的高代价和较大的时间复杂度。作为解决这一问题的一种方法,CNN被广泛用于图像分类. CNN由不同的层组成,例如卷积,最大池,relue,dropout,dense和softmax。存在一些●●●●R. Mohakud和R. Dash沙特国王大学学报6282与CNN模型的每一层相关的超参数,诸如核大小、核的数量、核中的stried、卷积层中涉及的激活函数、与最大池化相关联的核大小、dropout中使用的dropout率、密集层的大小、学习率、卷积的数量、最大池化的数量,CNN模型的结果高度依赖于这些超参数。为了提高CNN模型的准确性,一些研究人员建议增加CNN的层数在CNN应用于自动特征检测的情况下,简单特征由初始层检测,然后是在后面的层中提取的对于复杂特征的提取,模型的深度起着重要的作用。每层的特征选择取决于核的数量和核的大小。为了获得更好的特征,研究人员使用在初始层使用更少的内核和在后一层使用大量特征的概念。在使用任何训练算法(如梯度下降,Adam优化器,带动量的梯度下降等)训练CNN模型时,学习率起着重要的作用。如果学习率太小,梯度会缓慢收敛到最优解。如果它很大,梯度在解附近加速。因此,选择合适的学习率是另一个重要因素。正则化是由辍学率决定的。适当的辍学率推广模型。在文献中,一些有前途的CNN模型,如GoogleNet(Szegedy等人,2015)、VGG(Badrinarayanan等人,2015)、SegNet(Ma等人, 2020)和ResNet(Li等人, 2019)可用于对象检测和图像分类领域。在(Szegedy等人,2015年)共有22层,池化层的5 X 5核大小,卷积层中使用的校正线性单元,1024的全连接层和70%的丢弃率。在(Badrinarayanan等人,2015)使用了不同的深度网络,从11层(8个卷积和3个完全连接)到19层(16个卷积和3个完全连接)。在该网络中,卷积层的宽度(即内核的数量)从64变化到512,内核大小为3X 3,丢弃率为50%,学习率在10- 1到10- 2之间初始化,梯度下降的动量被设置为0.9。类似地,SegNet应用于(Ma等人,2020)是一个13层编码器和13层解码器架构,它使用的内核数量从64到512,内核大小为3X3,学习率为0.1,动量为0.9。观察这些网络,很明显它们具有非常复杂的结构,包含许多超参数。手动调优如此大量的超参数是一项乏味的工作。CNN的层次也在逐渐扩展,以完善庞大的复杂数据。不同的研究人员提出了不同的方法,包括基于自然的算法来优化它们。超参数注释因研究人员而异,导致不同的优化目标。有些人在有限的意义上考虑超参数,即他们考虑现有CNN的超参数。而有些超参数优化算法是广义的,包括层数、学习率、丢包率等。基于自然启发的超参数优化算法需要对超参数进行适当的编码,初始化种群,定义目标函数计算解的适应度,搜索最优解,并根据最优解更新最差解。关于用于CNN超参数优化的自然启发算法的调查见(Mohakud和Dash,2019)。WANG等人已经利用规范PSO(cPSO)来优化四种类型的CNN模型(诸如VGG、segNet、resNet和GoogLeNet)的超参数(Wang等人,2019年)的报告。作者没有使用完整的CNN模型,而是在适应度计算中使用了一个轻量级模型。此外,他们还根据超参数的范围调整了cPSO的加速系数。提出了一种遗传算法(GA),(Ma等人,2020)用于优化DeepCNN的超参数。在将DCNN参数编码到GA之后,创建初始种群,然后重复交叉,变异和选择过程以增强个体的适应度。在(Cui和Bai,2019)中,提出了一种多尺度和多级进化GA来优化CNN超参数。所提出的方法是通过将多级进化优化(Akbari和Ziarati,2011)的特征与基于高斯过程的贝叶斯优化(GPEI)(Snoek等人,2012)的方法。在这里,作者使用了具有三个卷积和两个全连接层的CNN。在对种群进行随机初始化后,采用轮盘赌选择过程来选择两个最优解。然后通过反复应用交叉、变异和选择过程来获得最优参数。量子行为PSO(BQPSO)在(Li等人,2019年),以发展CNN的架构。这里使用固定长度的二进制字符串来表示编码的CNN架构参数。在(Lopez-Rincon等人,GA用于优化CNN的超参数,CNN用于癌症中microRNA的分类。在(Albelwi和Mahmood,2017)中,Nelder-Mead方法通过引入新的目标函数来优化CNN的超参数。在目标函数中统一使用错误率和来自映射特征集的学习信息,从而通过提高收敛速度来开发更好的架构虽然这些文章给出了一个有希望的结果超-参数优化,仍有进一步改进的空间。受灰狼优化(GWO)技术在其他应用领域的成功应用的启发,我们致力于使用该技术优化CNN模型的超参数。在(Garg et al.,2019)用于云设置中的高效网络异常检测,其中CNN用于异常分类,GWO用于解决多目标特征提取问题。两阶段特征提取技术在(Maddikunta等人,2020年)通过将PCA与GWO相结合,增强基于DNN的入侵检测系统的性能,以预测不可预见的网络攻击的类别标签。在(Kumaran等人,2018)GWO被提出来生成CNN的初始权重,该初始权重进一步用于通过梯度下降算法训练网络。将提出的混合CNN-GWO方法应用于无约束视频中的人体动作识别.作者还观察到通过融合GWO产生的分类器的证据来增强分类性能。在(Chen等人,2019)GWO应用于飞行状态辨识中,对神经网络的权值进行了优化。通过应用程序考虑两个案例研究,可以清楚地观察到高识别精度所提出的模型。CNN-LSTM网络的网络拓扑和学习参数也在(Xie etal.,2020)的改进GWO算法应用于时间序列分析。在(Agarwal和Sharma,2020)中,提出了一种用于乳腺癌分类的递归ELM,其中GWO用于优化网络的权重,CNN用于初始阶段的质量检测。广义相对论在超参数优化问题中的应用还不多见.因此,在这项研究中,它被应用于调整CNN的超参数,并且使用这些优化的超参数创建的网络被用来解决皮肤癌多类分类问题。3. 相关方法本节介绍CNN及其超参数和基于GWO的优化方法。R. Mohakud和R. Dash沙特国王大学学报6283----½]--3.1. 卷积神经网络自动特征选择和端到端训练是CNN的一些令人兴奋的功能,因此它被广泛用于图像分类。除了卷积层之外,池化、丢弃和密集层也在CNN中发挥着至关重要的作用。CNN可以通过其卷积层的自动特征选择,池化层的特征减少以及密集层的分类来执行有效的图像处理。CNN网络的结构如图所示。1 .一、CNN的每一层都有自己的意义。从每层中提取的特征数量取决于核的数量和核的大小。核权值的初始化是在模型训练过程中训练得到的随机权值卷积层的输出被用作relu层的输入。非线性激活函数relu保持卷积层的值在特定的范围内。Relu激活函数是CNN中最受欢迎的,因为它简单,不可调和,本质上是非负的。在Relu之后,dropout层用于防止模型过拟合。然后池化层用于对特征图进行下采样。它帮助表示变得对输入中的小变化不变。池化层分别对每个特征图进行操作,以创建一组新的池化特征。在不同的池,如最大池,平均池等,我们选择最大池,它使用的最大值从每个补丁的特征映射。它有助于提取低级别的特征,如图像的点和边缘。CNN的较高层通常是全连接层。这些密集层采用池化层的最终结果并生成分类决策。CNN模型的最后一层使用softmax激活函数,该函数输出多类分类的概率分布。正则化是处理CNN模型中过拟合的一种方法。正则化通过对损失函数增加惩罚来减少过拟合。Dropout是一种通过减少相互依赖学习来处理CNN中过度拟合的方法。一旦定义了CNN的结构,就会调整其内部权重以适应目标问题3.2. 灰狼优化2014年,Seyedali Mirjalili通过模仿灰狼的社会行为,领导等级和群体财产中的狩猎提出了GWO(Mirjalili et al.,2014年)。在野生动物区,灰狼通常群居。组大小范围为5到12岁他们维持着严格的社会统治等级制度。大多数占统治地位的公狼或母狼都是等级最高的阿尔法狼,他们主要负责决定狼群的饮食,睡眠,狩猎,栖息地等。所有其他狼都跟随阿尔法狼。等级中的下一级狼是贝塔狼;他们遵循阿尔法狼的决定并控制低级狼。下一类代表三角洲狼,帮助阿尔法狼和贝塔狼狩猎和寻找猎物。他们守卫领地的边界,通知其他狼任何危险,并照顾受伤和虚弱的狼。欧米加狼是最低级的狼,他们服从所有其他狼的命令。狼的狩猎成功主要建立在它们的社会等级上。以猎物位置为最优解,以狼的位置为搜索空间中的解,可以对灰狼的社会行为进行数学建模。阿尔法狼是最好的解决方案,因为它们离猎物最近。贝塔狼和德尔塔狼根据它们的社会等级分别是下一个最佳解决方案。在搜索空间中,欧米茄狼会根据阿尔法狼、贝塔狼和德尔塔狼的位置更新自己的位置。设阿尔法狼、贝塔狼、德尔塔狼和欧米茄狼在搜索空间中的位置分别表示为Xa、Xb、Xd、Xx。猎物的围猎、狩猎、攻击和搜索是GWO的主要步骤。猎物包围是狼在狩猎时包围猎物的过程,其在数学上由等式(1)至等式(4)表示。!D¼. !C·!Xpt-!我知道了。ð1Þ通过反向传播。同样,存在许多与CNN模型的每一层相关的超参数,例如内核大小,内核数量,内核中的stried,卷积层中涉及的激活函数,与最大池化相关的内核大小,使用的!快去!Xpt-!答:D!C22!a·r-a-n!d1-!一ð2Þð3Þ在dropout中,密集层的大小,学习率,卷积的数量,最大池的数量,密集层的数量等等。CNN模型的结果高度依赖于这些超参数。实际上,通过在合理的成本下探索所有可能的组合来手动导出CNN的接近最优的超参数配置是不可能的。因此,CNN的适当超参数调整被构造为优化问题,其目标是提高CNN模型的整体性能。!一个四分之二!d2204 小时在哪里!X !Xp 表示当前迭代中灰狼和猎物的 位 置 向 量 。 !C,!一是系数向量。 ran!d1,ran!d2是0 ; 1中的两个随机向量。 !a是其值在从2到0的迭代中减小的向量。狩猎的过程猎物由头狼指引贝塔和德尔塔也参与了这一过程。据推测,这三只狼对可能的猎物区域很了解,这有助于Fig. 1. CNN电视网.R. Mohakud和R. Dash沙特国王大学学报6284--3. .. .. .--××¼ðÞ-两个D2.3.1导出三个最佳搜索代理,并且这些代理进一步帮助更新其它狼的位置,如等式(5)至(11)所示。实现更高的分类精度。目标函数定义如下:根据CN N.-H!p;-W!;Tdi1000000!Da¼。!C1!Xa-!X.ð5Þ最大化Σ..H!psRkCNN-H!p;-W!;Tdiwhereiimax13<!Db¼. !C2!Xb-!X.ð6Þ等式(12)表示表示以下结构的函数:!D1/4。!C!X-我知道X.ð7ÞCNN,输入s;-H!p,-W!,Tdi.-H!p代表超!X1¼!Xa-!A1·188此函数返回模型的精度等式(13)表示用于最大化CNN的准确度的目标函数,!X21/4!XB-我知道一个2·!Dbð9Þ超参数其中一个重要参数imax由用户设置,以控制CNN优化超参数所需的迭代次数。imax值越大,!X3¼!Xd-!一个3!Dd10与较小值相比,优化时间更长因此,用户必须巧妙地设置imax值,以使模型具有成本效益。!快去!X1!X2!X3ð11Þ4.2. 总体设计攻击步骤也是剥削,是通过因素来实现的!a. 当祈祷停止时,移动的狼攻击祈祷。 的价值!A是范围[2r]中的随机值,2r],并且r2的值在范围[ 1,1]中。搜索代理的下一个位置是其最近位置和猎物位置之间的任何位置。 所以进攻条件合适的时候!的1.根据狼的搜索行为对最优解的搜索或探索进行建模。狼在寻找猎物时会分开,找到猎物时会聚集狼群分道扬镳寻找更好的猎物一 >1,并向猎物收敛,如果!一 1<.一、 随机!C用于避免局部最优和有利于-探索。它不仅在算法的初始阶段而且在算法的最后阶段给出随机值,增强了无偏探索的思想。GWO算法的基本步骤如下:- 初始化灰狼种群和控制参数a,A,C,max_iteration。- 用目标函数计算初始种群的适应度功能图2示出了所提出的基于GWO的超参数优化CNN模型的示意图。该模型有三个基本步骤,如图像预处理,使用GWO优化超参数和创建,使用得到的优化超参数训练CNN。详情解释如下:4.2.1. 图像预处理在采集皮肤癌图像后,通过图像去噪、颜色转换和滤波等步骤对图像进行预处理。图像重构导致将随机大小的数据重新整形为与模型相似的形状。将图像缩小到真实大小可以节省CNN模型的训练和测试时间。收集的ISIC数据集数据集具有25,000个皮肤镜检查图像,大小从700700至10001000.多层CNN需要一个处理这么大的图像需要很长时间 所 以 它 把减 少 图 像 大 小 的 必 要 性 , 保 持 宽 高 比 不 变( Amanatiadis 和 Andreadis , 2008 年 ) 。 最 近 邻 ( NNI ) 插 值(Olivier和Hanqiang,2012)、双线性插值(BI)(Parsania和Virparia,2016)、使用像素面积关系的恢复(RPAR)(Wang和Yuan,2014)、4X4像素邻域上的双三次插值(BIPN)(Parsania和Virparia,- 代表最好的狼!Xa,第二好的狼as!XB最好的狼!XD- while{it max_iteration} do- 对于{每个搜索代理}得双曲余切值.2016 年 ) 和 8X8 邻 域 上 的 Lanczos 插 值 ( LIN ) ( Parsania 和Virparia,2016年)是文献中用于图像预处理的一些流行的图像缩放算法在我们提出的模型中,BI是用于图像渲染,由于其简单的功能。通过BI获得的准确度也- 使用等式(11)更新当前代理的位置。- 更新a、A、C- 计算所有智能体- 更新!Xa,!Xb,!XD- end while- 回来!Xa与NNI、RPAR、BIPN和LIN方法进行了比较双极插值在X和Y方向上使用线性插值。为了求出点(p,q)处的未知值,即fp;q,假设函数f在四个点N111 1/4p1;q11,N121/4p1;q2,N211 1/4p2;q1,N22处的值p2;q2 是已知的。X轴上的线性插值计算-使用以下公式计算:fp;qp2-pfN11p-p1fN21144. 基于GWO的超参数优化CNN模型在皮肤癌检测中的应用1个p2-p1p - -p的值p2-p1p-p14.1. 问题定义Dk维参数向量W!表示权重向量在CNN中,Tdi是分别从训练数据中选择的一些数据1R. Mohakud和R. Dash沙特国王大学学报6285fp;q2p2pfN12p - -p的值fN2215在这项研究中,识别CNN的超参数是然后,使用如下等式(16)计算沿Y轴的定义为优化问题;其中参数为用实数列表表示。目标是使用GWO优化超参数,然后将其用于皮肤癌分类。fp;qq2-qq2-q1fp;q1q-q1q2- q1fp;q216R. Mohakud和R. Dash沙特国王大学学报6286;;3- 1 3- 13- 1 3- 1图二.提出了基于GWO的超参数优化CNN模型。通过简单地跳过交替像素来缩小图像的尺寸可能会丢失图像的一些重要特征,而图像插值基于周围像素处的值提供像素的强度值的最佳近似插值可以应用于放大或缩小图像。下面说明使用等式(14)至(16)的灰度图像的缩小处理令f(x,y)表示灰度图像的积分晶格位置处的强度值。在图3中,部分A表示灰度图像的强度矩阵。通过对每行1和3上的列1和3处的值应用等式(14)和(15),像素(2,1)和像素(2,3)的内插值计算如下:电话:+86-21-6221000传真:+86-21 -6221000传真:+86-21 -62210001234 5 6 7 8 9 1011 1213 14 15 1617 18191;然后,像素(2,2)处的强度使用以下等式计算:(16)关于先前计算的内插值,如下:123 45 6 7 8 9 10 11121314 1516 171819 19 1类似地,计算(3,2)、(2,3)和(3,3)的值。在图3的部分B中表示对应的内插缩小尺寸图像。相同的过程应用于RGB图像的红色、绿色和蓝色通道以缩小其尺寸。通过对ICSC皮肤癌数据集的观察,发现皮肤镜图像的主要区域是灰色。由于像素点的亮度在分类中起着重要的作用,因此在对图像进行灰度化后,将其从彩色转换为灰度,以进一步节省训练时间。在一些流行的颜色转换方法中,如亮度,平均值,亮度,在这个模型中,我们使用亮度方法来转换3- 1页3- 1页将彩色图像转换为灰度图像。亮度使用加权图3.第三章。使用BI缩小图像的图示R. Mohakud和R. Dash沙特国王大学学报6287X;;;平均概念,但考虑到人类的感知,即人类对绿色比其他颜色更敏感,因此给予绿色的权重比其他颜色更大亮度方法使用等式(17)来将颜色转换为灰度图像。灰色R;G;B灰色0: 21R灰色 0: 72G灰色 0: 07B灰 色17灰色在颜色转换之后,应用图像滤波方法从图像中去除不想要的特征,例如毛发、噪声、小的未受影响区域等,这可以增强进一步的分类性能。高斯(He等人,2010)、中位数和双侧(Van De Ville等人,2003)是图像处理中使用的一些流行的图像滤波方法。在该模型中,我们使用双边滤波器作为图像平滑工具,其性能也比较平均,高斯和中值滤波方法。双边滤波器是一种非线性图像平滑滤波器,它用附近像素的加权平均值代替像素值。该滤波器的权值基于高斯分布。使用双边滤波器,使用以下等式导出像素的强度Intensity强度强度1XIntensity强度强度-Intensity强度-p强度-p强度-p强度W而更少的可以重复地包括相同的特征因此,在这项研究中,通过将卷积层和池化层的数量范围保持在2到10之间来进行这些数字在几次测试后固定下来,以在性能和时间之间取得良好的平衡。4.2.3.基于GWOCNN的超参数注释因研究人员而异,导致不同的优化目标。有些人在狭义上通过考虑不同层的超参数来解决这个问题,保持网络的架构固定。而有的则从广义上考虑超参数,包括层数、学习率、丢包率等,本文只研究前一个参数。在确定了CNNN的结构后,通过参数编码、种群初始化、适应度评估和下一代种群生成4个步骤,利用GWO进行了CNNN的超参数优化。在参数编码步骤中,CNN的超参数(诸如与卷积层(Cv)相关联的核大小(Ks)和核的数量(Nk)、池化层中的核大小(Ps)、丢失率(Dr))被编码为具有k个参数。对于l个卷积层,m我R ipi2SS Ið18Þ池化层数和d 辍学率,编码参数被表示为k维向量,其中k=(2L + m + d)。这些参数的值被设置为一些W¼frkIntensitypi-Intensitypkgskpi-pk19pi2S4.2.2.创建CNN架构CNN模型是不同层的阵列,如卷积,指定范围内的随机值。 每个参数向量是称为代理,其中第i个参数向量如等式(20)中所定义。-H!Pi¼.Pi1Pi2Pi3:Pik20relu、dropout、pooling和dense layers。每一层都有它自己的意义。尽管CNN已经在几个分类问题中显示出有希望的结果,但为特定应用找到最佳CNN布局远非易事(Lopez-Rincon等人,2018年)。在文献中提出的布局大多是通过尝试和错误的基础上得出的或由早期的相关工作的推动。在我们的具体情况下,通过参考(Wanget al.,2019; Yoo,2019; Szegedy等人, 2015; Badrinarayanan等人,2015; Li等人,初始CNN结构由3个卷积层,3个relu层,3个dropout层,3个池化层,一个平坦层和两个密集层构成。CNN的每一层都与一些超参数相关联,例如需要在CNN的卷积层中指定核的数量及其大小。内核大小用于选择特征。核大小的范围不应太小,如2× 2或1× 1,因为它有助于细粒度的地方,没有信息在3个卷积层、3个丢弃层和3个池化层的情况下,参数向量将包括总共12个超参数(Cv1_Nk、Cv1_Ks、Mp1_Ps、DL1_Dr、Cv2_Nk、Cv2_Ks 、 Mp2_Ps 、 DL2_Dr 、 Cv3_Nk 、 Cv3_Ks 、 Mp3_Ps 、DL3_Dr),其中Cvi表示第i个卷积层,Mpi表示第i个池化层,DLi表示第i个丢弃层,Nk表示核的数量,Ks表示核大小,Ps表示池化大小,Dr表示丢弃率。在对CNN超参数进行编码之后,初始种群Sn(n个代理的集合)被随机初始化如下:Snnn-H!P1;-H!P2;-H!P3· ··· ··:-H!Pno2012在哪里-H!是CNN超参数的k维向量,要包括在特征提取中的邻居。 此外,它不应该太大,因为大于6 X 6,这会导致排除细节在我们的研究中,核大小的范围是在3x 3和5x 5之间。每个层中的核的数量表示要为下一层选择的特征。初始层选择简单特征,而后续层选择复杂特征。因此,在初始层中,与后面的层相比,该数量被设置得更少池化层由其池化大小控制,该池化大小对下一层的特征进行下采样。大的池尺寸可以排除细节,小的池尺寸可以细化局部。因此,在本研究中,范围选择在3x 3和5x 5之间。通过丢弃率控制丢弃层,使模型规则化。丢弃率对防止网络过拟合有很大的影响.辍学率的范围被认为是在0: 2至0: 4之间。致密层起分类作用。卷积的数量和池化的数量控制着CNN的整个架构。卷积数的增加会使模型过拟合,而卷积数的减少会使模型欠拟合。池的数量越多,可能会排除要素在编码方案部分中指定的范围的随机值的向量。CNN的超参数优化最耗时的部分是训练,它也被用作启发式方法的适应度函数。 为了找到候选解决方案的适应性,一些研究人员已经训练模型直到它收敛(Szegedy等人, 2015),其他一些人使用选择性数据集,如(Xie et al., 2020年)。在这项研究中,我们使用具有小随机样本的轻量模型来训练模型,并通过检查精度的变化是否微小来丢弃不必要的迭代。从ICSC数据集中选择的数据,对于预定义的迭代,已被用于找到智能体使用等式(13)。 系数向量!A和!GWO的C分别使用等式(3)和(4)生成。 随机参数!A,而且!C协助念珠菌的解决方案有超-不同半径的矛。在使用等式(12)计算每个代理的适应度值之后,群体中最好的三个代理分别表示为阿尔法狼、贝塔狼和德尔塔狼。然后,根据下式更新其他代理的位置:R. Mohakud和R. Dash沙特国王大学学报6288¼¼¼分数一. X¼B@1/1我b我的立场!X ,!X!X使用等式(11)。适应的过程AP¼. XnumofclassesPrecisson=numofclasses28对于每个指定的迭代重复新代理的存在性计算、三个最佳代理的选择和其它代理的位置更新。最后,将导致CNN准确性最大化的最佳代理视为CNN的优化超参数,并将这些优化超参数用于创建优化的CNN模型。所提出的方法的一般程序如图所示。 四、4.2.4. 模型评价标准所提出的模型最终基于一些标准分类矩阵(诸如准确度、精确度、召回率、F分数、宏F、平均精确度(AP))来评估(Siegel等人,2019;Szegedy等人,2015; Badrinarayanan等人,2015; Li等人,2019)以及定义的分类交叉熵损失(损失)值如下所示其中Tp、Tn、Fp、Fn是指真阳性、真阴性、假阳性和假阴性。然而,度量是在整个图像级别而不是像素级别上测量的。5. 实验结果分析在本节中,通过将所提出的模型与其他两种自然启发的技术(如PSO和GA)应用于ISIC皮肤病变多类数据集,验证了该模型的有效性。所有实验都是在Python中进行的,使用Keras,Scikit-learn和Opencv库,在Intel Xeon处理器上使用128 GB RAM和一个NVIDIAGeForce GTX 1080 Ti GPU卡。ISIC数据集是8个类别的25330个皮肤镜皮肤病变图像的集合,例如黑色素瘤(Me),黑色素细胞痣(MN),基底细胞癌(BCC),光化性角化病(AK),良性角化病(BK)、皮肤纤维瘤(Bb)、血管病变(VL)损失1/4-Xy i·logbyi损失1/4-Xyi·logbyi22μ g和鳞状细胞癌(SCC)。80%的图像被选中1/11/1用于培训目的;而20%用于测试。表1其中N是类别数,y是第i个类别的模型预测值,y介绍了有关模拟中使用的数据集的详细信息。的对应于训练i是相应的目标值。准确度Tp/TnTpTnFpFn普雷森TpTpFp召回TpTp FnF2Tp2TpFp Fnð23Þð24Þð25Þð26Þ测试集见表2。该模型在两个CNN模型上实现;一个是轻量级模型,另一个是主模型。轻量级模型用于发现GWO中代理的适应度。通过GWO优化超参数,设计了CNN主模型轻量级模型由3个卷积层、3个重路由层、3个丢弃层、3个最大池层、1个平坦层和2个密集层构成。对应于三个卷积层的核的数量分别设置为50、70、100,卷积层的核大小固定为3。池化层的核大小固定为2,而丢弃率设置为0.2。第一密集层包括500个节点而作为输出层的第二致密层包括MacroFnumofclassesF1/1得分i =numofclasses8个节点对应于原始数据集的8个类输出层使用softmax激活函数生成最终的R. Mohakud和R. Dash沙特国王大学学报6289见图4。 拟议模型的流程图。R. Mohakud和R. Dash沙特国王大学学报6290表1ISIC数据集。数据集名称图像总数总班训练集中的图像数量(80%)测试集中的图像数量(20%)ISIC25,330820,2645066输出类。轻量级CNN由随机梯度下降优化器训练,保持学习率固定在0.0010,批量大小为64。在对实际数据集进行图像预处理之前,使用200个epoch的样本数据集对轻量级CNN模型进行测试,其训练准确率为75.23%样本数据集由从大小为700x700至1000x1000的ISIC数据集中随机选择
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C++标准程序库:权威指南
- Java解惑:奇数判断误区与改进方法
- C++编程必读:20种设计模式详解与实战
- LM3S8962微控制器数据手册
- 51单片机C语言实战教程:从入门到精通
- Spring3.0权威指南:JavaEE6实战
- Win32多线程程序设计详解
- Lucene2.9.1开发全攻略:从环境配置到索引创建
- 内存虚拟硬盘技术:提升电脑速度的秘密武器
- Java操作数据库:保存与显示图片到数据库及页面
- ISO14001:2004环境管理体系要求详解
- ShopExV4.8二次开发详解
- 企业形象与产品推广一站式网站建设技术方案揭秘
- Shopex二次开发:触发器与控制器重定向技术详解
- FPGA开发实战指南:创新设计与进阶技巧
- ShopExV4.8二次开发入门:解决升级问题与功能扩展
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功