基于深度卷积神经网络的内镜图像胃肠道异常的医学图像处理

智能系统与应用16（2022）200149基于深度卷积神经网络的内镜图像胃肠道异常Imran Iqbala，Khuram Walayat b，Mohib Ullah Kakar c，Jinwen Maa，*a北京大学数学科学学院信息与计算科学系，北京100871b材料与工艺研究所，工程学院，爱丁堡大学，Sanderson Building，Kingc北京理工大学生命科学学院生物医药分离与分析北京市重点实验室，北京100081A R T I C L EI N FO保留字：计算机视觉深度卷积神经网络人体胃肠道异常医学图像处理模式识别A B S T R A C T作为医学图像分析，特别是内窥镜图像解释的强大分析工具，深度卷积神经网络（DCNN）因其提供与医学专家相当甚至超过医学专家的结果的能力而受到广泛关注。利用内窥镜图像自动识别胃肠道异常是一项具有挑战性的任务，即使对于经验丰富的胃肠病学家来说也是如此，这可以极大地帮助医疗诊断并减少调查程序的时间和成本。然而，在医学诊断中，人类胃肠道的发现是手动确定的，并且在很大程度上取决于胃肠内窥镜医师的能力。此外，该评价是费力和繁重的，并且在结果中也存在高度的实验室内和实验室间差异。为了防止这些问题，提出了一种专门的DCNN架构，以准确地识别具有内窥镜图像的人类胃肠道异常。它精心设计了多条路线，各种图像分辨率和几个卷积层，以提高效率和性能。我们提出的基于深度学习的方法的结果在Kvasir数据集中的特异性、召回率、受试者操作特征下的面积（AUROC）和其他指标方面进行了展示。该算法的实验结果优于最近的技术，表现出0.9743马修斯相关系数（MCC），并可用于协助胃肠病学家的胃肠道异常的分类。提出的模型也进行了评估倾斜Kvasir-Capsule数据集显示其通用性。因此，这种方法提供了一种创新的和可实现的方法，用于加速和系统化人类胃肠道异常的分类，同时节省时间和精力。1. 介绍人体胃肠道由一个中空的肌肉管组成，从口腔开始，继续通过咽、食道、胃和肠到达直肠和肛门。一般来说，它大约有9米长，分为上下两道。上消化道包括口、咽、食管、胃和十二指肠，而下消化道包括大部分小肠和全部大肠，如图1所示（Gokulnath，2021）。它的主要目的是将食物分解成营养素，这些营养素可以被人体吸收以提供能量，而废物则作为粪便排出在胃肠道疾病的情况下，这些胃肠道的功能不能成功地实现。胃肠道疾病包括便秘、肠易激综合征、痔疮、肛裂、肛门直肠疾病、肛瘘、肛周感染、憩室疾病、结肠炎、结肠息肉和癌症。其中许多可以通过保持健康的生活方式，养成良好的排便习惯和癌症筛查测试来减少或预防。内窥镜检查是一种医疗程序，其中使用称为内窥镜的设备查看患者体内的器官，以识别与症状相关的可能条件和治疗。内窥镜是一个长而细的柔性管，一侧有摄像头和光源。体内器官的图像显示在监视器上。有各种* 通讯作者。电子邮件地址：imraniqbalrajput@pku.edu.cn（I. Iqbal），k. ed.ac.uk（K. Walayat），mohib. bit.edu.cn（M.U. Kakar），jwma@math.pku.edu.cn（J.Ma）。https://doi.org/10.1016/j.iswa.2022.200149接收日期：2022年9月30日;接收日期：2022年10月30日;接受日期：2022年11月3日2022年11月11日在线提供2667-3053/© 2022作者。出版社：Elsevier Ltd这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applicationsI. Iqbal等人智能系统与应用16（2022）2001492Fig. 1. 人体胃肠道解剖（Gokulnath，2021）。内窥镜检查的类型，取决于手术的目的、正在观察的内部结构和正在使用的设备。内窥镜可以通过口腔和喉咙进入体内，也可以通过皮肤上的小切口进入体内。胶囊式内窥镜建立于20世纪90年代，包括无线摄像机。这款相机非常小，可以装进一个胶囊里，胶囊的大小接近一个大平板电脑，因此可以吞咽。当胶囊在管道中移动时，它会捕获数千张图像，这些图像被传输并保存到连接到可穿戴腰带的数据记录器中。胶囊式内窥镜用于观察小肠，这是标准内窥镜难以到达的区域。对小肠粘膜的观察和克罗恩病的诊断也有一定的意义。胶囊通常在两天内通过消化系统。胶囊式内窥镜存在一些问题。胶囊可能难以吞咽和自然通过。它也可能被夹在肠道的狭窄区域，这可能会导致堵塞。在计算机的帮助下自动识别疾病是有益的，但仍然是未调查的研究领域。这些创新可以促进医疗实践和升级医疗保健系统。人类胃肠道易发生各种不同的粘膜异常，从轻微的腹泻到高度致命的疾病。正如国际癌症研究机构所指出的，全球每年有近350万例胃肠癌报告病例。这些形式的癌症通常具有接近63%的总体死亡率，并且每年有超过220万人死亡（Brenner等人，2014; Kaminski等人，2010年）。因此，精确和及时的诊断对于有效治疗和降低发病率和死亡率是必要的（Takahashi等人， 2013; Yada等人， 2013年）。内镜检查是鉴别胃肠道病变的金标准。尽管如此，不同胃肠病学家对不同发现的严重性和分类的内窥镜检查可能不同（Hewett等人，2010;Lee等人，2014; Van Doorn等人，2015年）的报告。由于这个原因，例如，结肠中息肉识别的平均召回率仅为80%（Kaminski等人，2010年）。因此，增强内镜性能、出色的临床检查和系统筛查是最大限度降低胃肠道疾病发病率和死亡率的主要因素疾病深度卷积神经网络（DCNN）目前是医疗保健领域的一个活跃研究课题，它有可能帮助医学专家大规模提供优质护理（Riegler等人， 2016年; Topol，2019年）。一个有效的基于DCNN的系统是大量高质量数据和算法的混合，这些算法教导模型解决内窥镜图像中的胃肠道息肉检测等任务。疾病的准确分类和检测是必不可少的，因为它们可能最终影响治疗计划过程和患者的随访（Herrero等人，2013; Amano等人，2006;DeLange等人，2004年）。因此，已经建立了许多针对内窥镜检查中的诊断的有效深度学习算法（Bychkov例如， 2018; Min等人， 2019;Mori等人， 2018; Wang等人， 2015年）的报告。Kvasir数据集（Pogorelov等人，2017），其包括由有经验的内窥镜医师标记的8000个内窥镜图像，包括八个类别（每个类别1000个图像），其示出了胃肠道中的解剖标志、病理发现或内窥镜手术。解剖标志包括Z线、幽门和盲肠类，而病理发现包括食管炎、息肉和溃疡性结肠炎（UC）类。此外，该数据集还具有与病变切除相关的图像，例如染色和隆起息肉（DLP）和染色切除边缘（DRM）。Kvasir-Capsule数据集（Smedsrud等人，2021）也被用于这项工作，其中包含47238内窥镜图像。该偏斜数据集有14个类别：幽门（Pyl）、乏特壶腹（AoV）、回盲瓣（IV）、正常清洁粘膜（NCM）、减少粘膜视图（RMV）、淋巴管扩张（Lym）、红斑（Ery）、血管扩张（Ang）、新鲜血液（BF）、血血红素（BH）、糜烂（Ero）、溃疡（Ulc）、息肉（Pol）和异物（FB）。基于内窥镜图像的人类胃肠道的计算机辅助疾病识别在过去15年中一直是热门研究课题（Iakovidis &Koulaouzalgesi，2015; Karkanis等人，2003; Liedl-gruber &Uhl，2011）。最近的研究显示，使用深度学习模型识别人类胃肠道异常具有显著的性能，特别是使用内窥镜图像识别胃肠道息肉（Mori Mori，2022&）。尽管用于内窥镜图像的深度学习模型具有很好的前景，但其诊断能力在很大程度上依赖于数据的数量和质量。本研究的核心目的是建立、执行和评估一种非正交X和创新的DCNN算法，用于人类胃肠道异常的自动多类分类。这种专门的深度学习方法旨在通过最少的预处理和优化的增强操作将内窥镜胃肠道图像精确分类为各种类别。所提出的架构是值得加快多类分类任务的胃肠道所见。它保留了DCNN的能力，在精度和产出方面超过了胃肠病学家。结果表明，我们提出的基于深度学习的方法有能力支持胃肠病学家对胃肠道异常进行分类。2. 相关作品人工智能，确切地说，计算机视觉和深度学习是目前许多国家医疗保健领域的主要研究课题。尽管如此，由于法律限制和缺乏人工专家来手动标记训练数据的繁琐过程，医疗数据通常是稀疏且难以获取的。这些类型的限制使得开发自动化考试系统变得困难。研究团体已经提出了几种基于机器学习的内窥镜图像自动识别人类胃肠道异常的技术。基于机 器 学 习 的 技 术 的 重 要 方 面 和 特 征 包 括 更 高 的 马 修 斯 相 关 系 数（MCC）、最小数量的参数、更快的评估、更智能地处理伪影、最小的预处理时间、最小的预处理时间和最小的预处理时间。I. Iqbal等人智能系统与应用16（2022）2001493×××××××××处理和扩增操作等。用内窥镜图像对胃肠道异常的最新综述（Ali等人，2020; Jha等人，2021）指出，大量胃图像的手动评估是一项费力的工作，需要专业知识。可以开发计算机辅助诊断方法来处理大量内窥镜数据的手动分析的困境。 在其他研究中（Szczyp in'ski等人， 2014，2011），作者利用无线胶囊内窥镜图像，使用支持向量机（SVM）识别胃肠道异常。无线胶囊式内窥镜是一种非侵入性和光学可视化整个人体小肠内部的方法。用于异常识别的内窥镜图像分析（Diamantis等人，2018）和癌生长的识别（Hiremath Humnabad，&2012）是在神经网络和图像处理的帮助下进行的，具有更少的计算要求。这些工作展示了基于深度学习的高效智能系统的策略，以帮助胃肠病学家完成任务并建议正确治疗患者。在 Agrawal 等 人 （ 2017 ） 中 ， 作 者 利 用 Inception-v3 和 VisualGeometry Group（VGG 16）网络从图像中捕获各种几何图案，并将其转换为特征向量。他们使用从VGG 16和Inception-v3架构中提取的特征训练了一个基于SVM的分类器。他们提出的算法实现了MCC为0.826的分类胃 肠 道 手 术 与 内 窥 镜 图 像 。 在 另 一 项 研 究 中 ， Pogorelov et al.（1984），作者提出了一种基于全局特征和卷积神经网络的方法，用于从人体胃肠道图像中识别异常，疾病和解剖标志。他们的技术基于这样的推测，即病理学发现可以使用颜色、形状和纹理属性进行分类。在工作 中 提出 的 方 法经 常 错 误分 类 食 管炎 和 Z线 类 。 Petscharnig等 人（2017）提出了一种受Inception-v1网络启发的模型，用于胃肠道疾病和解剖标志识别。他们提出的方案包括大以及小卷积层和池层。为了提高算法的性能，他们使用了大量的数据增强操作。他们的方法在区分DLP与DRM和Polyps与UC类时表现出了弱点。Naqvi等人（2017）提出了一个纹理特征的集合，图像使用Haralick纹理特征和局部二进制模式视觉描述符来发现人体胃肠道中的异常。他们分别为每个特征训练逻辑回归方法，并采用集成方法进行最终预测。他们获得了0.736的MCC，用于识别8种人类胃肠道异常。Liu等人（2017）设计了一种通过内镜图像预测胃肠道异常的两阶段方法。在第一阶段，他们提出了双向边缘Fisher分析方法，将数据转换到低维空间。在后期阶段，他们采用多类SVM进行分类预测。该两阶段方案对于内镜图像胃肠道异常的多类分类达到了MCC 0.66。Liu et al.和Naqvi et al.手工制作方法的一个缺点是，它们在很大程度上取决于人类设计师的领域知识Gammulle等人（ 2020）提出了 一种 基于ResNet-50的方法用于自动内窥镜检查数据分析的架构。他们从预先训练的中间层模型中提取特征，并将这些特征通过关系网络，该网络考虑了各个特征之间的所有可能关系，以将人类胃肠道异常与内窥镜图像进行分类。 在最近的研究中（Cogan等人，2019），作者利用NASNet、Inception-v4和Inception-ResNet-v2架构识别人体胃肠道中的解剖标志和病变组织。提出了一种对内窥镜图像进行边缘去除、滤波、对比度增强、缩放和颜色映射的方法。他们使用Kvasir数据集识别8种人类胃肠道异常的MCC为0.93。Jain等人（2020）提出了一种检测无线胶囊式内窥镜图像异常的方法。在这项工作的第一阶段，他们利用分形维数技术从图像中提取有用的特征。在后期阶段，他们采用随机森林分类器对异常内窥镜图像进行分类。在最近的研究Jain等人（2021）中，作者提出了一种基于注意力的模型，将内窥镜图像分类为四类之一。在该工作的第二阶段中，如果内窥镜图像在第一阶段中被识别为异常类别3. 方法3.1. 数据集描述、预处理、分区和扩充内窥镜图像是从Kvasir数据集获得的，用于我们的研究和实验。在数据集中有8000个标记的图像来执行分类。本数据集中内窥镜图像的手动标记由具有多年胃肠病学领域经验的医学专业人员执行。图像被标记为是或涉及解剖标志（Z线、幽门和盲肠类）、疾病状态（食管炎、息肉和UC类）和医疗程序（DLP和DRM）。此外，有六种不同的图像分辨率，从576 576到1920 第1072章三 彩色频道盲肠图像具有最低的平均分辨率720576 3，而幽门图像具有最高的平均分辨率1413 1021 3。为了说明，图2显示了具有各种伪影的Kvasir数据集的一些典型图像。该数据集的3045张图像（983张盲肠图像、522张息肉图像、332张UC图像、601张DLP图像和607张DRM图像）具有绿色画中画，显示了内窥镜在肠内的位置和配置，采用的是电磁成像方法，有助于图像分析。在内窥镜图像的预处理阶段期间，以这种方式利用裁剪，使得每个内窥镜图像被改变成具有在垂直方向上的像素数与在水平方向上的像素数相同的像素数的图像，并且病变的中点几乎显示在对应内窥镜图像的中间区域中。每个内窥镜图像的纵横比在预处理阶段的过程中被精确地保留。每个内窥镜图像都被缩小到96的分辨率 96像素和128像素 128通过在8上的inter lanczos 4插值的piXels 8邻域，以保持其信息，降低图像处理的计算复杂度。在整个预处理阶段，OpenCV编程库用于内窥镜数据集。在预处理阶段，去除不需要的伪影（如蓝色矩形、黑色边框、绿色画中画、白色文本）或提高内窥镜图像的对比度并不重要，因为所提出的专门深度学习方法非常直观和敏锐，可以毫不费力地管理这些类型的伪影Kvasir数据集随机分为三个部分，第一部分包括75%的内窥镜图像以形成训练集，第二部分包括来自每个类别的10%的数据以形成用于调整所提出的方法的超参数的验证集（表1），最后一部分包括15%的内窥镜图像以形成用于评估的测试集。这种分裂配置用于将所提出的基于深度学习的算法的结果直接与Cogan等人提出的方法相匹配。 Kvasir-Capsule数据集也以相同的比例随机分割（表2）。欠采样被应用于多数类（NCM），通过减少该类的大小约75%，增强操作（翻转和旋转）被应用于少数类，以在一定程度上平衡增强的训练集。图像增强操作被执行到图像增强器中的图像。训练集在每个类中有利于修复图像不足和过拟合的问题因此，有效地增加了训练集中的图像数量。至于图像的有效和精确使用，I. Iqbal等人智能系统与应用16（2022）2001494图2. Kvasir数据集中每个类别的典型图像（Pogorelov等人，2017），具有各种伪影，如蓝色矩形（盲肠、UC）、黑色边框（Z线、盲肠、食管炎、息肉、UC、DLP和DRM）、绿色画中画（盲肠、息肉）和白色文本（Z线、幽门、盲肠、食管炎、息肉、UC、DLP和DRM）。表1Kvasir数据集的描述、分区和增强。“W”、“H”和“C“分别表示内窥镜图像的颜色通道的宽度、高度和数量。类别训练集增强训练集验证集测试集内窥镜图像总平均分辨率（W×H ×C）z线1382×990 × 3幽门1413×1021 × 3盲肠720×576 × 3食管炎750 2250 100 150 10001375×1004 × 3息肉750×591 × 3UC 747×589 × 3DLP 723×578 × 3DRM 722×577 × 3合计或（平均）6000 18000 800 1200 8000（979×741 × 3）表2Kvasir-Capsule数据集的描述、分区和增强。“W”、“H”和“C“分别表示内窥镜图像的颜色通道的宽度、高度和数量。159336×336 × 3采用增强、垂直和水平翻转。图像增强操作在训练期间不即时执行，因为它可能包括训练的过度复杂层。在设计配置时，首先离线增强训练数据，然后使用增强的训练数据训练分类器图像增强操作仅对训练集中的图像执行，而验证和测试集中的图像保持其原始形式。图3展示了典型的原始、预处理和增强图像，其中OpenCV编程列表包含Kvasir数据集中的幽门和息肉类类训练集10%~75%扩充训练集验证集~10%测试集10%~15%总平均内窥镜图像分辨率（W×H × C）幽门114657301532301529法特氏壶腹725271210回盲瓣314162824196294189正常清洁粘膜2575364383434515134338缩小粘膜视图217943582914362906淋巴管44462165989592红斑11964261624血管扩张649584187130866新鲜血液33463464567446血血红素932491212侵蚀37960645176506溃疡640640085129854息肉4164375955异物582640277117776共计或（平均数）35423787164724709147238（336×336 × 3）I. Iqbal等人智能系统与应用16（2022）2001495×××× × ××× × ××× × ××图3. Kvasir数据集中幽门和息肉类的典型原始、预处理和增强图像。3.2. 提出的DCNN架构和学习范式受先进的DCNN算法的启发（Jeniçek等人，2016; Iqbal等人，2020a ， 2020 b ， 2020 c; Milletari 等 人 ，2016; Ronneberger 等 人 ，2015），提出了一种专门设计的DCNN架构，用于胃肠异常识别，即使对于熟练的胃肠病学家来说，这也是一项艰巨的任务。为了解决这个分类任务，专门的DCNN网络，被命名为人类胃肠道消化道网络（HGA-Net），利用具有不同图像分辨率的两条路线（R1和R2128 128 3和96 96 3。两种路由都有四个关键的内核模块，如图4所示。在内窥镜检查领域，来自各种图像分辨率的信息在捕获精细细节以区分胃肠异常方面可能是重要的。输入内窥镜图像的分辨率是在性能和计算成本之间权衡的基础上选择的。第一路线的第一至第四模块由单元D使用3、6、9和3组成 repli- 阳离子的这个单位，分别如图左上角所示。第四章虽然第二条路线的第一至第四模块分别由使用3、4、6和3个复制的单元E组成，如图1的右上角所示。第四章此外，这两条路线都通过F单元连接实际上，单元D是如图4的左下角所示的单元A、单元B和它们的按通道级联的配置，但是单元E是如图4的右下角所示的单元B、单元C和它们的按通道级联的形成。 单元A、单元B、单元C和单元F在图4的中间从上到下示出。单元A、单元B和单元C的核的数目分别为128、32和64，而它们的核大小为11、33和分别为11。在单元A、单元B单元C和单元F具有步长1，仅在具有步长2的路由R1和R2的卷积层的开始单元D的核的数量是50占现有渠道的百分比。在路由R1的第一内核模块中，它涉及九个卷积层，在R1的第二内核模块中有十八个卷积层，并且在R1的第三模块中有二十七个卷积层。第一路由的最后一个内核模块涉及另外九个卷积层。类似地，在路由R2的第一内核模块中，它涉及九个卷积层，在R2的第二内核模块中存在十二个卷积层，并且在R2的第三模块中存在十八个卷积层。第二路线的最后一个内核模块涉及另外九个卷积层，以学习标记胃肠异常类别的特征。这些模块可以提取复杂的特征，例如病理发现、内窥镜检查和解剖标志图案的特征。因此，这种DCNN布局对于识别胃肠道异常是有效的。通常，医学图像被缩小到较低的分辨率用于训练模型，因为处理能力和存储器大多不足。该缩小过程需要细粒度图像包括医学背景中的足够详细的数据和知识，例如胃肠异常的识别。内窥镜图像中存在诸如蓝色矩形、白色文本、图片中的绿色图片和黑色边界的伪影，以及胃肠道异常中的高度类内差异和类间相似性使得该问题极其困难。因此，我们谨慎地注意这些问题，在形成阶段的建议算法。路由R1中有68个卷积层，路由R2中有53个卷积层，而专门的基于深度学习的方法中的卷积层总数为122。批量归一化（Ioffe Szegedy，2015&）和ReLU（Nair Hinton，2010&）在每个卷积层之前执行，如图4所示。建议的网络是训练的帮助下，反向传播方法，它使用梯度下降算法的损失相对于I. Iqbal等人智能系统与应用16（2022）2001496见图4。 我们提出的DCNN架构HGANet的设计，其中I. Iqbal等人智能系统与应用16（2022）2001497TP×TN-FP×FN1-2模型中的偏差和权重。所提出的网络的权重和偏差通过使用Heet al.（2015）建议的正常初始化器来初始化。在所提出的DCNN架构中，ReLU激活函数用于卷积层，softmax用作输出层的激活函数。在稠密层中使用L2范数作为核正则化子，以减少过拟合。Adamax opti- mizer（Kingma Ba，2015&）被用作学习算法，以调整所提出的网络的偏差和权重，用于50个epoch和96个小批量。Adamax优化器的学习率固定在7 e-4。最重要的是，学习算法的详细解释和分析可以在最近的比较研究中找到（Iqbal等人，2021年）。对于所提出的网络的损失函数，分类交叉熵被使用。所提出的DCNN架构设计使用多个路由，其中每个路由以不同的分辨率考虑相同的内窥镜图像。由于计算的限制，所提出的架构只利用两条路线，即使这种方法是适当的，以进一步的路线和决议。超参数在验证集上进行调整。在一个精确的方式，所提出的算法的超参数选择根据所提出的网络的最低分类损失评估的验证集。最终，最终的模型 是 评价 对 的 测试 集 EX实验 实现通过Keras（Chollet，2017）和TensorFlow（Abadi等人， 2016年）开放源代码框架，并在NVIDIA GeForce GTX 1080卡上执行4. 实验和结果在本节中，使用专门的基于深度学习的HGANet算法介绍了使用内窥镜图像识别胃肠道异常的实验配置和结果。在Kvasir数据集和Kvasir-Capsule数据集上对所提出的方法进行了评估，并将所提出的方法的结果与早期技术的结果进行了比较。采用准确度、精密度等评价指标对内窥镜图像中的人体胃肠道异常进行识别（阳性预测值），回忆（真阳性率），F1评分（灵敏度和精密度的调和平均值）、几何平均值（G均值）、特异性（真阴性率）、Cohen’s kappa评分（CKS）、Jaccard相似系数（JSC）、受试者操作特征下的面积（AUROC）、评估时间以及特别是MCC。CKS和MCC在等式（1）中根据真阳性（TP）、真阴性（TN）、假阳性（FP）和假阴性（FN）来定义。(1)（2）分别。在识别胃肠道异常之前，各种早期技术都必须进行大量的预处理，以去除不需要的伪影、图像增强和提取精确的视觉特征。相反，专门的DCNN架构（HGANet）不需要手工制作的功能，经过端到端的培训，它直接学习了通过内窥镜图像解决胃肠道异常问题。所提出的模型的总训练时间约为65分钟，评估时间约为Kvasir数据集中每个图像1.2毫秒（ms）。马修斯相关系数t=（TP+FP）（TP+FN）（TN+F P）（TN + FN）（二提出的基于深度学习的模型HGANet在增强的训练集上进行训练，模型的超参数在Kvasir数据集和Kvasir-Capsule数据集的验证集上进行调整。验证集由Kvasir数据集中的800个胃肠道图像组成，用于调整超参数以增强所提出方法的能力。如表3所示，超参数的接近最优值被选择为与所提出的算法在验证集上的最佳性能保持一致。准确地说，在验证集上具有最低分类损失的HGANet模型被挑选用于Kvasir数据集和偏斜Kvasir-Capsule数据集的测试集上的评估。采用了几种技术来减少所提出的模型中的过拟合问题，例如将lambda值设置为0.005的L2正则化，数据扩充，批量归一化，在粗到细的采样方案中调整超参数，以及以可以减少过拟合问题的方式为该特定分类问题设计所提出的架构。所提出的模型所使用的参数的数量比现有的方法少。Agrawal等人使用的参数数量，Pogorelov等人和Cogan等人分别为~ 1.621亿（M）、~ 25.6 M和~55.8 M。相比之下，所提出的DCNN方法使用的参数数量仅为~7.3M。在比较浮点运算（FLOPS）时，该方法有利于作者：Timothy Cogan et al.需要约26.4B的操作，而所提出的HGANet方法所需的FLOPS约为2.1B。图图5- 8分别示出了在KVASIR数据集中提出的HGANET模型的主要实验结果，例如分类准确率和损失曲线、混淆矩阵、精确率-召回率曲线和接收器操作特征曲线。如表4所示，有六个关键指标，特别是MCC，用于在Kvasir数据集中比较所提出的算法和以前的技术。图5显示了我们提出的HGANet模型的分类精度和损失曲线，以及Kvasir数据集中训练，验证和测试集的训练持续时间的历元数。从这个图中，我们可以观察到训练曲线在50个epoch内收敛。值得注意的是，所提出的方法在真阴性率（TNR）、真阳性率（TPR）、阳性预测值（PPV）、F1评分和MCC方面超过了以前的胃肠道异常识别技术，如表4所示。只有Gammulle等人（2020）和Cogan等人（2019）方法的准确性略好于Kvasir数据集中所提出算法的计算了混淆矩阵X（图1）。 6），这产生了一个很好的查看每个不同类别（Z线、幽门、盲肠、食管炎、息肉、UC、DLP和DRM）的图像在测试集上被所提出的算法正确标记或错误标记的频率。通过对这一混淆矩阵的深入观察，我们可以发现，1-TP+TP+TN来自Z线类的年龄被错误分类为食管炎类的图像表3=1-FP+FN+TN（TP+FP）（TP+FN）（TN+FP）（TN+FN）（TP+FP+FN+TN）（一）反之亦然。这是可以解释的，因为这两个类都包含我们提出的Kvasir数据集模型的超参数配置和评估参数功能卷积层图像时间参数122 He正常initializer范畴交叉熵128× 128× 3和96×96 ×3~65分钟~ 730万~ 21亿~1.2 ms/图像DCNN优化器学习率小批量大小历元激活正则化图像增广拟议网络（HGANet）阿达麦7e-49650ReLUL2垂直和水平翻转数量Initializer损失函数输入分辨率培训数量FLOPS评估时间I. Iqbal等人智能系统与应用16（2022）2001498图五. 我们提出的HGANet模型的分类精度和损失曲线，以及Kvasir数据集中训练，验证和测试集的训练持续时间的见图6。 我们提出的八类HGANet模型在Kvasir数据集中的测试集上的混淆矩阵I. Iqbal等人智能系统与应用16（2022）2001499图第七章我们提出的八类HGANet模型的精确度-召回率曲线及其在Kvasir数据集测试集上的微平均精确度-召回率曲线。图8. 我们提出的八类HGANet模型的受试者工作特征曲线及其在Kvasir数据集测试集上的微平均受试者工作特征曲线。同一解剖位置的图像，其中Z线病例是健康的，食管炎病例是Z线区域的炎症。相比之下，早期方法将食管炎类的几个图像错误分类为Z线类，反之亦然。我们还确定幽门和UC类的平均TPR是好的，因此这些类的图像被正确分类。如前所述，胃肠道异常类别具有高度的类内差异，并且一类病变与另一类病变病变，特别是Z线和食管炎的视觉相似性，这可能会影响识别性能。在Kvasir数据集的测试集类上绘制精确度-召回率曲线，以及它们的微平均精确度-召回率曲线，如图7所示，其中精确度-召回率曲线（PR-AUC）下的大面积指示良好的召回率和精确度。从图7中可以看出，幽门类具有最高的PR-AUC，尽管Z线类 是最低的。最后，接收机工作特性曲线I. Iqbal等人智能系统与应用16（2022）20014910表4我们提出的网络，HGANet，与比较算法的性能比较MCC，准确性，精确度，灵敏度，特异性和F1得分在Kvasir数据集。除了MCC和CKS之外，所有指标都以百分比定义。粗体显示最佳结果，而字符“-“代表未报告的结果。优化度量满意度指标方法年份MCC准确度精密度灵敏度专属性F1评分CKS JSC G-是说AUROC评估时间（毫秒/图像）Agrawal等（2017年）2017年 +0.825796.1884.7584.7597.8284.75-~769.2Pogorelov等人（2017年）2017年+0.8020 95.70 82.90 82.60 97.50 82.60-~21.7（Naqvi et al. （2017年）2017年+0.733194.1676.6576.6596.6676.65-~434.7Petscharnig等人（2017年）2017年+0.7202 93.88 75.52 75.52 96.50 75.52-~714.2Liu等人（2017年）2017年 +0.662692.5670.2770.2795.7570.27-~454.5Gamage等人（ 2019）2019-97.3897.1597.27-Cogan等人（2019年）2019年 +0.93098.4894.093.999.193.9-Gammulle等人（2020年）Yogapaliti等人（2021年）2020年+0.878 98.4 89.8 89.7 99.2 89.7-2021 - 96.33 96.37 - 96.50+ 0.960-Khan等人（ 2022）2022-97.20-~92.6Wang等人（2022）2022+ 0.938094.83-94.82-拟议模型（HGANet）建议模型（高分辨率）建议模型（低分辨率）该模型2019年10月19日10：00- 12：002022+ 0.9743 97.75 97.77 97.75 99.62 97.75+ 0.9742 95.63 98.87 99.80 ~1.62022+ 0.9477 95.41 95.49 95.41 99.50 95.42+ 0.9476 91.32 97.25 98.50~0.92022+ 0.9657 97.00 97.02 99.50 97.00+ 0.9657 94.23 98.25 99.80 ~1.2（过滤器尺寸3 ×3）绘制在Kvasir数据集的测试集类别上，以及它们的微平均接收器操作特性曲线，如图8所示。 受试者工作特性曲线很有帮助，因为它描述了衰减和灵敏度之间的相对权衡。即使数据集严重偏斜，它也是一种直观的性能度量（Fawcett，2006）。接近1的AUROC表示接近完美的分类，而接近0.5的AUROC表示随机分类。从图8中，我们还可以确定幽门类具有最高的AUROC，尽管Z线类具有最低的AUROC。JSC，G-mean，CKS和AUROC指标也被确定为未来的比较所提出的模型。我们在这项工作中使用了几种不同的图像分辨率。结果（128和96）为我们提供了很好的结果。高分辨率（256和192）不能提高胃肠道异常识别的性能，而使用低分辨率（64和48）降低了所提出的模型的性能。我们在这项工作中使用了几种过滤器尺寸。我们实现了最好的性能，这个问题时，利用过滤器的大小，这是在图。第四章仅使用3× 3滤波器见图9。 我们提出的HGANet模型的分类精度和损失曲线，以及Kvasir-Capsule数据集中训练，验证和测试集的I. Iqbal等人智能系统与应用16（2022）20014911图10个。在Kvasir-Capsule数据集的测试集上，我们提出的十四类HGANet模型的混淆矩阵。尺寸降低了此任务的性能。这些实验的结果包括在表4中。图图9 -12分别示出了Kvasir-Capsule数据集中所提出的HGANet模型的主要实验结果，例如分类准确度和损失曲线、混淆矩阵、精确度-召回率曲线和接收器操作特征曲线。有几个重要的指标，特别是MCC，用于在Kvasir-Capsule数据集中比较所提出的算法和以前的方法，如表5所示。5. 讨论深度学习提供了一种有效的工作流程，用于从医学图像中提取基本信息并识别人眼隐含的模式（Robertson et al.，2018年）。基于深度学习的算法可以避免对医学图像进行分类时的主观性，而对于医疗专业人员来说，个人判断的不可避免的因素确实存在，他们需要一段时间的培训和实践才能熟练掌握自己的领域。时间也是医学分析的一个重要因素，早期发现疾病可能会使患者的生命延长数月甚至数年。由于对疾病的分析不准确或延误而提出的错误治疗案例数量。通常，疾病的不精确识别导致住院时间延长，并且由于治愈效果出现较晚而需要手术（McHenry等人，2002年）。胃肠分析的执行在很大程度上取决于进行评估的胃肠病学家。利用计算机辅助诊断算法对内镜图像进行消化道异物的识别，可以减轻消化科医生的工作量，减少识别问题的繁琐性和主观性。结肠癌等胃肠道疾病是许多国家的主要健康问题，结肠息肉等胃肠道发现的识别可以在这些疾病的精确和及时诊断中发挥决定性作用。基于内窥镜图像，可以采用数据驱动的DCNN方法来解决这个极其困难的任务。胃肠道异常的识别是一项复杂而复杂的任务，这是由高度的类内差异和类间相似性造成的。为了超越早期的结果，提出了一种高效且有效的基于深度学习的算法HGANet，该算法通过对Kvasir数据集和偏斜Kvasir-Capsule数据集的内窥镜图像进行最小预处理和优化增强操作来识别人类胃肠道异物。HGANet精心设计了多条路由，各种图像分辨率和几个卷积层，以提高效率和性能。从混淆矩阵（图6）可以清楚地看出，所有八种胃肠道异常类别的TPR均大于95%。DCNN的准确率为97.7%，MCC为0.974，TNR为99.6%，PPV为97.8%。在仔细观察所提出的方法的性能后，可以说人工智能将协助医疗从业者减少医疗费用。I. Iqbal等人智能系统与应用16（2022）20014912× × ××图11. 我们提出的十四类HGANet模型的精确度-召回率曲线及其在Kvasir测试集上的微平均精确度-召回率曲线，胶囊数据集。图12. 我们提出的十四类HGANet模型的接收器操作特征曲线及其在Kvasir-Capsule数据集测试集错误，并提高医疗效率的整个解释的医学图像。与早期方法相比，即使使用低分辨率内窥镜图像，这种专用架构也实现了更好的MCC，1281283和96963.内窥镜图像的各种分辨率和尺寸可能是至关重要的，因为当内窥镜更远时病变看起来更小，反之亦然。该算法不仅不需要使用迁移学习技术，而且是一种平衡分类器，PPV更接近于TRP。专门的基于深度学习的算法在所有指标上都比早期技术（表4）获得了更好的性能，不包