−⃝×可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 8（2022）271www.elsevier.com/locate/icteDFU_SPNet：基于CNN的堆叠并行卷积层，用于改善糖尿病足溃疡分类Sujit Kumar Das Das，Pinki Roy，Arnab Kumar MishraDepartment of CSE，National Institute of Technology，Silchar 788010，Assam，India接收日期：2021年6月2日;接收日期：2021年8月12日;接受日期：2021年8月27日2021年9月16日网上发售摘要糖尿病足溃疡（DFU）是糖尿病的一种并发症，可导致下肢截肢。在这项工作中，提出了一种独特的基于堆叠并行卷积层的网络（DFU_SPNet）来执行DFU与正常皮肤分类。这项工作的主要目的是设计一个有效的基于CNN的分类模型，以及适当的优化器设置微调。DFU_SPNet由3个具有多个内核大小的并行卷积层块组成，用于局部和全局特征抽象。建议的DFU_SPNet，使用SGD（具有动量）优化器在DFUNet数据集上以1e2学习率训练，表现优于当前最先进的结果，AUC为0.974。c2021韩国通信与信息科学研究所。由爱思唯尔公司出版这是CC下的开放获取文章BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：糖尿病足溃疡;并行卷积;卷积神经网络;分类1. 介绍糖尿病患者有多种并发症，DFU就是其中之一。DFU导致频繁住院、下肢或肢体截肢、生活质量低和治疗费用高。数据表明，15%的糖尿病患者患有DFU [1]。由于早期诊断的失败和缺乏及时的适当治疗，每年有超过一百万的糖尿病患者失去了部分腿[2]。DFU的传统医学诊断和治疗需要几种昂贵且耗时的临床测试，如MRI、CT扫描、X射线、血液检查等。近年来，医学成像领域的机器学习（ML）、计算机视觉（CV）和深度学习（DL）算法的主要发展[3- 5 ]表明了近年来，引入了多种方法来分类正常和异常DFU皮肤。Goyal等人[6]提出了一种新的CNN架构，并将其命名为DFUNet。DFUNet由并行卷积块组成，用于连接来自卷积运算和传统卷积运算的特征。∗ 通讯作者。电子邮件地址：dassujit88@gmail.com（S.K.Das），pinkiroy2405@gmail.com（P. Roy），gmail.com（A.K.Mishra）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2021.08.022单个卷积层。此外，为了创建DFU识别的基线结果，此外，标准的LeNet [8]，AlexNet和GoogleNet [9]已被用于提取高级特征。 这些特征被馈送到ML分类器用于DFU识别。所提出的基于并行卷积块的DFUNet的一个潜在限制是在并行卷积块之间缺乏足够的过渡层。如[10]所示，适当使用过渡层可以帮助从多层特征图连接中学习更好的抽象。在另一项工作中，Alzubaidi等人。[11]提出了一种新的CNN架构DFU QUTNet来提取多级特征，这些特征最终被馈送到支持向量机（SVM）和K-最近邻（KNN）分类器。新型DFU QUTNet架构的设计是在不牺牲计算成本的情况下增加网络宽度。基于DFU QUTNet的特征和SVM分类器的分类结果优于标准CNN模型（GoogleNet，AlexNet和VGG16）。尽管DFU QUT- Net模型获得了令人印象深刻的性能，但这种方法的潜在限制是由于并行卷积层使用相同的内核大小（3 3）。代替这种相同大小的卷积核，使用异构类型的核可以有所帮助。2405-9595/2021韩国通信和信息科学研究所。由爱思唯尔公司出版这是一篇开放获取的文章，CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。S.K. 达斯山口罗伊和A.K.米什拉ICT Express 8（2022）271272×××××××××改 善 整 个 网 络 的 接 收 域 。在 DFU Grand Challenge（DFUC）中，2020 Cassidy等人[12]使用Faster-RCNN [13]和 Inception-v2-Resnet 101 、 FRCNN Inception-v2-ResNet101、YOLOv 5 [14]和Effi- cientDet [15]来识别DFU病例。他们注意到，这些网络在提供有希望的结果方面具有重要意义。在DFU本地化任务中，Goyal等人[16]使用了具有InceptionV 2 [9]架构的Faster R-CNN [13]和两阶段迁移学习方法。Yap等人。[17]使用Faster R-CNN [13]，YOLOv 5[14]和EfficientDet [15]进行DFU识别。更快的R-CNN专注于减少误报和提高检测性能。此外，蒙特卡罗交叉验证方法已在培训过程中使用。然而，对于正常与异常（DFU）皮肤斑块的分类，目前的文献缺乏适当的探索有效的技术。此外，在当前文献中没有研究DL网络优化器设置的适当微调。由于这一领域现有文献的局限性，目前工作的目标确定如下：设计一种新的CNN架构，以提高正常与异常DFU情况的分类性能，并借助具有适当过渡层的并行卷积层进行抽象。研究基于优化器设置的CNN模型微调，通过探索多个优化器和学习率，以提高其性能。2. 材料和方法2.1. 数据集描述DFU数据集不是公开的，但可以通过适当的程序访问。 我们根据数据集主要研究者提供的发布协议获得了它。1样本由DFU数据集创建者利用由来自英国兰开夏教学医院的292个溃疡足图像组成的数据库收集。此外，对于正常样本，从同一医院捕获105个健康足部图像的图像。所有样本均在患者同意和NHS研究伦理委员会批准下获得，以将这些样本用于研究目的。通过使用NikonD3300捕获设备在室内光线条件下捕获样品，确保样品的自然颜色特性。此外，使用附加镜片在距离溃疡区域30-40 cm处以平行方向在特写范围内捕获图像。在采集完整的足部图像样本后，提取感兴趣区域（ROI），并由医学专家将其标注为正常和异常类别。最后，数据集由1679个彩色图像块（641个正常和1038个异常类）组成。DFU数据集的正常和异常类别的几个例子如图所示。1.一、图像块在大小方面不均匀。因此，对于目前的工作，图像补丁被重新缩放到128 128计算简单。1http：//www2. docm. mmu。梭uk/STAFF/M. 你好。php图1.一、 来自数据集的图像块的示例。2.2. 方法图2所示的DFU SPNet由三个堆叠的并行卷积层组成，内核大小为11，33和55。核的数量按递增顺序排列（32、64和128）。这些不同的卷积核有助于有效地学习局部和全局特征抽象。在堆叠的并行卷积块中，1使用了1个带有ReLU激活的步幅对于每个卷积层。第一个堆叠的平行块的前一层是一个7 × 7的单卷积层，步长为2× 2，后面是一个过渡层。过渡层由BatchNormalization（BN）和LeakyReLU激活组成。它有助于标准化投入，以加快培训。每个堆叠的并行卷积块的级联输出通过1 1卷积、过渡和2 2 MaxPooling层的序列。最后，三个这样的堆叠并行卷积块及其连续序列层的平坦化输出通过具有丢弃层的32个节点的全连接层。输出层由一个sigmoid激活函数组成，以获得0（正常）或1（异常）类的二进制预测值。所提出的DFU SPNet具有多个不同大小的内核，被证明是一个重要的架构，从输入图像中学习的重要特征第一个卷积层的激活图是DFU SPNet的第一个堆叠并行卷积层的输入，如图所示。3 .第三章。3. 结果3.1. 实验装置这里的所有实验都是使用Tensorflow完成的[18]免费提供的Kaggle GPU环境中的python包。在初始阶段，数据集被分为80：20的随机分割，其中80%的数据用于训练，20%的数据用于测试。此外，保留20%的训练数据作为验证集，以克服过拟合问题。这些培训共进行了1074次，336次用于测试，269次用于验证。此外，为了增加训练样本的数量，··S.K. 达斯山口罗伊和A.K.米什拉ICT Express 8（2022）271273- -图二、建 议 的模型图（DFU_SPNet）。图3.第三章。第 一次卷积后DFU_SPNet的特征图。使用自然数据增强技术。训练图像的水平和垂直翻转将训练集增加到3222个图像块。DFU SPNet在多个优化器和学习率设置上进行训练。常用的是Adam，SGD（带动量）和Adagrad优化器，学习率为1e 2和1e 3。做了完整的六组实验。所提出的DFU SPNet的性能是根据各种重要指标来衡量的，如准确性、灵敏度、特异性、精密度、F1分数、AUC和错误率。为了观察模型性能的平均行为，在100个时期和50个时期的耐心（作为早期停止）上从10个不同的随机分裂收集结果。6组实验，每组10次运行集合导致了60次的培训和测试的建议DFU SPNet。表1申报DFU_SPNet的平均准确度、F1评分和AUCOpt_Lr精度F1-评分AUCAdam_1e-20.9440.9280.968Adam_1e-30.9220.9020.950SGD_1e-20.9640.9540.974SGD_1e-30.9520.9390.972Adagrad_1e-20.9340.9170.970Adagrad_1e-30.9250.9070.9683.2. 实验结果准确度、F1-Score和AUC是评估此类DL模型最常用的性能指标。在表1中，显示了DFU SPNet在测试样本上的多个优化器和学习速率设置（Opt Lr）、基于平均准确度、F分数和AUC结果。 结果在所有集合中都非常有希望，但当DFU SPNet使用SDG优化器和1e− 2学习率进行训练时，可以获得最佳结果。灵敏度和特异性度量给出了模型分别预测阳性和阴性类别的准确度。在自动疾病预测系统中，这些度量起着非常重要的作用。图中所示的条形图。4表示模型在灵敏度和特异性方面的性能。提出的DFU SPNet表现非常好，具有良好的灵敏度评分。DFUSPNet实现的最高灵敏度为0.984。特异性相对低于灵敏度，差异为0.032，值为0.952。所提出的模型在精确度、召回率和错误率评估指标上进行评估，结果如表2所示。拟议的DFU SPNet在考虑的所有这些评价指标中均显示出显著的结果。S.K. 达斯山口罗伊和A.K.米什拉ICT Express 8（2022）271274−图四、D F U _SPNet灵敏度和特异性条形图。表2建议DFU_SPNet的平均精度、召回率和错误率图五、 与标准CNN的ROC曲线比较。表3与SOTA方法的比较表。4. 讨论在这项工作中，正常和异常DFU皮肤补丁的分类进行。所提出的基于堆叠并行卷积层的CNN架构具有卷积层、过渡层和最大池化层的中间序列，被证明是该任务的唯一解决方案。所提出的DFU SPNet在正常与异常分类中的有效性通过各种优化器和学习率设置来测量。在考虑的所有设置中，SGD（带动量）优化器在1e 2学习率上在每个评估指标方面都取得了最高的结果。这种结果的可能原因是DFU数据集中的类是线性可分的，除了少数例子。在这种情况下，SGD（具有动量）具有更强的泛化能力，并且网络需要更少的epoch来收敛[19]。所提出的方法的优越性是由于以下提到的多种原因使用堆叠的并行卷积层有助于更好地处理不同大小的感兴趣区域，因为这种方法允许网络具有更好的接收场。多个不同核大小的使用进一步改进了在多个尺度上对疾病的检测此外，针对特定DFU分类任务的优化器设置的微调显著地增强了DFU SPNet的预测能力。此外，图中的ROC曲线。图5是DFU SPNet与几种最常用 的 CNN 架 构 （ AlexNet ， VGG16 ， DenseNet121 ，InceptionV3）在相同样本分割上的比较。它表明DFUSPNet在DFU正常情况vs.异常分类任务。DFU SPNet的结果与表3中的SOTA结果进行了比较。表3的结果表明，所提出的方法在几乎所有评估指标（精度除外）的DFU SPNet中这样的精度得分的仔细查看比较表可以发现DFU SPNet的召回率非常高。因此，真阳性值是非常有希望的，从而产生用于DFU异常情况的显著强大的预测模型。一个模型具有显着的召回率或灵敏度得分（0.984），具有良好的精度值，通常被认为是一个有效的自动预测系统。此外，在图6中，示出了正确分类和错误分类的几个示例以及来自两个类别的预测。高灵敏度和特异性的结果，已经表明，所提出的DFUSPNet在正确预测正常和异常类别方面表现得非常好。然而，从这两个类别的错误分类样本的观察结果表明，这些样本很难正确识别，即使是任何DFU专家。此外，大多数的误分类样本具有类间相似性问题。5. 结论在目前的工作中，提出了一种基于CNN网络的堆叠并行卷积层，该卷积层具有卷积层、转换层和最大池层的适当中间组合，通过对正常和异常DFU皮肤进行··Opt_Lr精度召回错误率Adam_1e-20.8970.9610.056Adam_1e-30.8690.9370.077SGD_1e-20.9260.9840.036SGD_1e-30.9120.9680.048Adagrad_1e-20.8780.9610.066Adagrad_1e-30.8650.9530.075·结果DFUNet[6]DFU_QUTNet[11]DFU_SPNet精度0.925–0.964灵敏度0.934–0.984特异性0.911–0.951精度0.9450.9540.926召回–0.9360.984F1-评分0.9390.9450.954AUC0.961–0.974S.K. 达斯山口罗伊和A.K.米什拉ICT Express 8（2022）271275图六、基 于 DFU_SPNet的预测示例。补丁.并行卷积层和每个并行块之间的中间层中的各种滤波器大小有助于从输入图像中提取重要特征。此外，增加训练图像的自然数据增强有助于解决有限的训练数据相关问题。使用多个优化器和学习率设置训练的DFU SPNet成功地优于最常用的标准CNN架构。DFU SPNet实现的有希望的平均准确度、灵敏度、F1评分和AUC也显示出在相同数据集上优于SOTA的改进。这些结果表明，DFUSPNet可以为DFU专家提供帮助，帮助他们更快地做出决策。CRediT作者贡献声明概念化，方法论，软件，调查，写作平基罗伊：资源，监督。Arnab Kumar Mishra：验证，写作竞合利益作者声明，他们没有已知的可能影响本文所报告工作引用[1] Leone，Renato Pascale，Mario Vitale，Silvano Esposito，糖尿病足流行病学，Infez。Med. 20（补编第20号）1）（2012）8[2] Scott D. 放 大 图 片 作 者 ： David K. 放 大 图 片 作 者 ： Michael E.Reiber，Edward H. Wagner，糖尿病患者足部溃疡的发病率、结局和成本，糖尿病护理22（3）（1999）382-387。[3] Arnab Kumar Mishra ， Sujit Kumar Das ， Pinki Roy ，SivajiBandy-opadhyay，从胸部CT图像中识别COVID 19：基于深度卷积神经网络的方法，J. Healthc。Eng. 2020（2020）.[4] 阿纳湾 Mishra，Pinki Roy，Sivaji Bandyopadhyay，Sujit K. Das，乳腺超声肿瘤分类：机器学习-基于放射组学的方法，专家系统。（2021）e12713.[5] Sujit Kumar Das，Pinki Roy，Arnab Kumar Mishra，糖尿病足溃疡缺血和感染的识别：基于深度卷积神经网络的方法，Int. J. 成像系统Technol. （2021年）。[6] 作者：Daniel D.作者：Adrian K. Davison，Satyan Rajbhan-dari，Jennifer Spragg，Moi Hoon Yap，Dfunet：用于糖尿病足溃疡分类的卷积神经网络，IEEE Trans. Emerg. Top. Comput. 内特尔4（5）（2018）728[7] 郭振华，张磊，张大卫，一种用于纹理分类的局部二元模式算子的完整建模，IEEE Trans. 图像处理。19（6）（2010）1657[8] Yann LeCun，Yoelman Bengio，et al.，图像、语音和时间序列的卷积网络，Handb。脑理论神经网络。3361（10）（1995）1995.[9] Christian Szegedy，Wei Liu，Yangqing Jia，Pierre Sermanet，ScottReed，Dragomir Anguelov，Dumitru Erhan，Vincent Vanhoucke，An- drew Rabinovich ， Going deeper with convolutions ， in ：Proceedings of the IEEE Conference on Computer Vision and PatternRecognition，2015，pp. 一比九[10] 高煌，刘庄，劳伦斯·范德马腾，Kilian Q. Wein-berger，Denselyconnected convolutional networks ， in ： Proceedings of the IEEEConference on Computer Vision and Pattern Recognition，2017，pp.4700-4708[11] Laith Alzubaidi，Mohammed A.萨米尔？法德尔Oleiwi，OmranAl-Shamma，Jinglan Zhang，DFU_QUTNet：使用新型深度卷积神经网 络进 行 糖 尿病 足 溃 疡分 类 ， 多媒 体 工 具应 用 。79 （ 21）（2020）15655[12] 比尔·卡西迪尼尔·D放大图片作者：Reeves，Pappachan Joseph，David Gillespie ， Claire O'Shea ， Satyan Rajbhandari ， Arun G.Maiya，Eibe Frank，Andrew Boulton，David Armstrong，et al.，Dfuc2020：糖尿病足溃疡检测分析，2020，arXiv预印本arXiv：2004。11853.[13] Shaoqing Ren，Kaiming He ，Ross Girshick，Jian Sun，Faster r-cnn ： Towards real-time object detection with region proposalnetworks，2015，arXiv preprint arXiv：1506. 01497.[14] Glenn Jocher，Alex Stoken，Jirka Borgovic，Liu Changyu，AdamHogan，ultralytics/yolov 5：v3. 0，2020，Zenodo.[15] Mingxing Tan，Ruoming Pang，Quoc V. Le，Efficientdet：Scalableand efficient object detection ， in ： Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition ， 2020 ，pp.10781-10790。[16] 作者：Daniel D. Reeves ，Satyan Rajbhandari，Moi Hoon Yap ，Robustmethodsforreal-timediabeticfootulcerdetectionandlocalization on mobile devices，IEEE J. Biomed.健康信息23（4）（2018）1730-1741。[17] Moi Hoon Yap，Ryo Hachiuma，Azadeh Alavi，Raphael Brungel，Manu Goyal ， Hongtao Zhu ， Bill Cassidy ， Johannes Ruckert ，Moshe Olshansky，Xiao Huang，et al.，糖尿病足溃疡检测中的深度学习：综合评估，2020，arXiv预印本arXiv：2010。03341.[18] Martín Abadi ，Ashish Agarwal ，Paul Barham，Eugene Brevdo，Zhifeng Chen，Craig Citro，Greg S. Corrado，Andy Davis，JeffreyDean ， Matthieu Devin ， et al. Tensorflow ： Large-scale machinelearning on heterogeneous distributed systems，2016，arXiv preprintarXiv：1603. 04467.[19] 阿 希 亚 角 Wilson ， Rebecca Roelofs ， Mitchell Stern ， NathanSrebro，Benjamin Recht，机器学习中自适应梯度方法的边际值，2017，arXiv预印本arXiv：1705。08292.
