基于卷积神经网络叠加集成的胃肠道息肉分类及医学诊断

医学信息学解锁24（2021）100603基于卷积神经网络叠加集成的胃肠道息肉分类MohammadMotiur Rahman *，马里兰州马里兰州安瓦尔·胡森·瓦杜德马哈茂德·哈桑Mawlana Bhashani科技大学计算机科学与工程系，Santosh，Tangail，1902年，孟加拉国A R T I C L EI N FO保留字：息肉分类卷积神经网络堆叠集成胃肠道息肉医学诊断A B S T R A C T在本文中，我们提出了一种分类方法的胃肠道息肉使用堆叠集成技术。集成方法由三个微调的深度卷积神经网络架构（Xception，ResNet-101和VGG-19）组成，网络权重从ImageNet数据集初始化。此外，本文提出了一种基于多属性决策技术的框架选择方法。帧选择过程减少了系统的处理开销，取得了较好的分类效果。此外，本研究应用了一组图像增强操作来去除镜面反射、剪切不必要的区域、增强对比度和降低噪声。息肉的指定分类方法在可用的公共数据集上显示出性能指标的显着改善。该研究的五重交叉验证性能的准确度为98.53±0.62%，召回分数为96.17± 0.87%，精确度值为92.09± 4.62%，特异性分数为98.97± 0.36%，AUC分数为0.9912。这种方法可以帮助内窥镜医生做出严格的决定。1. 介绍随着人类生活方式的改变，许多不同的疾病急剧出现。结直肠癌（CRC）是一种可怕的疾病，由于现代生活方式而产生身临其境的影响。在过去十年中，CRC患者的数量正在上升，相反，死亡率相对稳定下降[1]。死亡率的轻微下降可能是由于每年结肠镜检查次数的增加。结肠镜检查是内窥镜检查的一种特殊形式，而内窥镜检查是一种用于观察人体内部器官的医疗程序的广义术语，使用带有插入相应人体腔体的微型摄像机的长管结肠镜检查主要负责检查下腹部器官，例如直肠和大肠。整个疲惫的结肠镜检查过程是诊断消化器官异常的过程这个复杂的过程导致识别息肉失败，原因有几个不可避免的原因，如专业知识，人为因素，异常的可变性等等。实时检测和分类将减少结肠镜检查期间内窥镜医师在技能和经验方面的差距。此外，内窥镜医生可以更仔细地检查分类的息肉区域。这将大大降低误诊的风险。平均超过27%的结肠镜检查未能在结肠镜检查期间诊断息肉[2]。这些误诊的息肉可能在生命的后期变成CRCCRC是一种相对常见的胃肠道系统疾病，在其早期阶段是可治愈的。在早期阶段，息肉可以被无害地切除，这降低了转化为致命CRC的风险。尽管这是减少CRC影响的巨大机会，但息肉的诊断是不稳定的。因此，它是一个活跃的研究领域，多年来一直在增长，来自不同背景的研究人员致力于息肉的自动诊断。形状、质地、颜色和其他因素的可变性使正确诊断息肉变得更加坚定。先前的研究主要集中在息肉检测，定位和分割[3-5 ]。相比之下，关于息肉分类的研究并不多。然而，息肉的分类是一个重要的方面，因为所有类型的息肉都是无害的。为了降低内镜手术的成本和并发症，需要识别非癌性息肉和癌性息肉。我们提出了一种息肉分类方法，将息肉分为三类（腺瘤，增生和锯齿状）和非息肉类。的 先前 研究 对 息肉 分类 使用传统计算机视觉、机器学习和深度学习技术。 最近使用先进的深度学习技术的研究在许多不同的医学诊断领域取得了成功，特别是在* 通讯作者。电子邮件地址：mm73rahman@gmail.com（M.M. Rahman），mahwadud@gmail.com（Md.A.H. Wadud），mahmodul. gmail.com（Md.M. Hasan）。https://doi.org/10.1016/j.imu.2021.100603接收日期：2020年12月23日;接收日期：2021年5月11日;接受日期：2021年5月15日2021年5月27日网上发售2352-9148/©2021的 作者。发表通过 Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表医学信息学期刊主页：www.elsevier.com/locate/imuM.M. Rahman等人医学信息学解锁24（2021）1006032息肉检测、定位和分割。我们提出了一种用于息肉分类的深度神经网络方法。该过程由三种不同的卷积神经网络（CNN）架构组成。这些模型累积在一起形成堆叠集成模型，用于最终的分类决策。CNN模型自己执行特征提取和分类，可以从图像中提取低级和高级特征因此，预处理方案发挥了至关重要的作用，有更好的性能。我们已应用不同的过程来增强图片，以实现提升的性能。该系统包括消除镜面反射，裁剪息肉帧，对比度增强，选择更好的帧，等等。此外，还检查了具有不同参数和超参数的CNN模型的调整，以找到最佳值。这项研究提出了一种使用三种不同的CNN架构来分类息肉的集成。VGG-19使用正则卷积和VGG网络作为19层的底层构建块来提取特征。ResNet-101是一个由101层组成的深度网络，使用残差技术来训练网络并从图像中捕获特征Xception模型使用了另一种形式的卷积机制，可以加速模型训练，并通过71个深度网络层提取特征这三个网络的组合引入了特征提取的多样性，特征的异质性，巧妙地提高了性能。该研究的贡献是：一种堆叠集成分类技术，利用三种不同架构的一组深度CNN模型。该集成由VGG网络（VGG 19），Res网络（ResNet-101）和Xception组成。多个网络的合并有助于消除单一模式的缺点。我们开发了一种帧选择方法的视频数据具有减少的处理时间和更好的性能。帧选择方法使用多属性决策技术从视频中选择合适的帧。此外，我们提出了一套预处理操作，以消除镜面反射的图像。光反射是诊断息肉的重要障碍。论文的其余部分结构如下：第2节包含关于息肉分类和建议技术的类似文章第三节介绍了所研究的方法及其各组成部分的工作原理第4节解释了所提出的方法的性能分析，重要性和效果以及与过去研究的比较。第5节总结了未来的范围。2. 相关作品许多学者从不同的角度对胃肠道息肉的诊断进行了研究。然而，有很多范围来提高诊断性能。以往的息肉诊断工作可以大致分为三类，具体来说，检测，分割和分类。与其他领域相比，息肉的分类相对较少。息肉分类工作使用不同的技术来执行，例如计算机视觉、机器学习和深度学习。深度学习方法在息肉检测、定位和分割方面表现显著。研究人员还提出了使用深度学习范式的分类方法。这些研究中的大多数在比较了几个模型后使用了特定的深度学习模型。参考文献[6]中提出了根据纹理、颜色和形状特征对息肉图像进行分类的机器学习方法。该研究的作者应用了基于支持向量机的多类和二进制图1.一、 息肉分类方法框图。···M.M. Rahman等人医学信息学解锁24（2021）1006033根据UCI储存库数据集的图像特征对息肉进行分类。这些图像使用窄带成像（NBI）技术捕获。他们的研究花了大量的时间进行分类。Mahmood等人提出了一种使用预测深度信息的半监督方法，同时训练他们的 模型[7] 。他 们的系 统同时 执行分 割和分 类，分 类准确率 为87.24%。参考文献[8]中提出了使用Inception- ResNet-v2对锯齿状和腺瘤息肉进行分类。他们提供了白光（WL）和NBI图像用于诊断息肉的比较，其中NBI图像表现显著。他们的方法在测试中的准确度不超过89%Patel等人研究了一个端到端的息肉3. 方法这项研究有助于发展一个基于堆积群的息肉分类系统。一些与息肉诊断高度相关的预处理技术也被用来消除内窥镜图像的差异。继承了多属性决策的新应用，实时处理内窥镜视频。 方法图如图所示。1.一、3.1. 数据集深度学习分类的效率非常依赖于分类方法使用CNN方法。他们研究了六个对 的 良好转化的 数据 收藏. 对 相反， 最 的在他们的研究中，不同的CNN架构在两组不同的数据上。VGG-19和具有批次归一化的VGG-19比其他模型工作得更好[9]。息肉分类的融合方法没有被广泛研究。CNN的二维经验模式分解对于五类分类具有显著的性能[2]。他们的方法包括两种非息肉类型作为分类类别。他们没有在广义数据集上测试该方法以进行性能评估。参考文献[10]研究了彩色小波和CNN的融合与特征选择。他们应用不同的分类器对来自CNN和彩色小波变换GLCM特征的组合特征的息肉进行分类。[2，10]的融合方法没有规定其实时应用能力。[11]的作者提出了一种深度学习分类器，该分类器利用不确定性和校准对澳大利亚结肠镜检查数据集的五种息肉分类进行息肉分类。 他们的方法的性能仅在私有数据集上计算。以前的息肉分类方法没有使用集成技术能力的许多型号更好的性能。此外，在先前的研究中，预处理操作与息肉没有特别的关系。本文提出了一种方案，以处理以前的研究的局限性，并实现更好的实时视频处理的性能进步。可用的数据集对于训练DL和ML模型来说不是格式良好的。此外，通过与其他方法在公开数据集上的比较，DL方法在公开数据集上的结果是合理的。这项研究从公共数据集中收集了大部分数据。来自阿尔卡拉大学电 子 系 的 Mesejo 等 人 （ http://www.depeca.uah.es/colonoscopydataset/）提供了带有标签的息肉分类数据集[12]。该视频数据集还包含四位专家和三位新手内窥镜医生的评估。它包含21个增生性、15个锯齿状和40个腺瘤的白光和窄带成像技术视频。我们利用这个数据集来训练和测试我们的模型。非息肉内窥镜检查视频收集自参考文献[13]。此后，本文提到Mesejo等人的数据集作为数据库1（DB1），非息肉数据集作为数据库2（DB2）。训练数据集（TrDS）包含四个类别腺瘤、锯齿状腺瘤、增生性腺瘤和非息肉。我们应用数据集的随机分裂来定义训练集和测试集。对视频数据集进行随机分割，因此TrDS和测试集具有完全不同的图像集。多个类别的图像数量不平衡可能会给模型带来偏差。为了抵抗不平衡的数据集偏差，训练数据集包含相等数量（6628）的每种类型的图像。使用DB1和DB2中未用于训练的部分（保持测试集）来测试模型。此外，我们测试了图二. 基于多属性决策技术的框架选择。M.M. Rahman等人医学信息学解锁24（2021）1006034√̅∑̅̅̅̅̅̅̅̅̅̅̅̅̅̅n2VJJ（J）的情况下，ij-图3.第三章。 图像预处理：（a）原始图像帧，（b）不必要的 部分消除图像帧和（c）伽马校正（0.5）图像。模型使用k倍（特别是5倍）交叉验证来精确评估性能。3.2. 预处理能量和偏度是用于对帧进行排序的属性。图2示出了基于MADM的帧选择过程的可视化。决策过程从使用Eq. （一）.深度学习模型的性能取决于特定领域的预处理操作。结肠镜检查视频通常是-属性归一化，Vij=Vijj=1IJ当量1受光反射、运动模糊、相机角度和其他伪影的影响。结肠镜检查的这些问题可以通过实施预处理操作来消除或最小化。这项研究提出了一种方法，从结肠镜检查图像中去除光反射。 图像增广然后，将属性的归一化值乘以每个特征的相应权重，并使用等式（1）计算每个帧（2）Eq.（三）、技术被用来重建内窥镜检查中的不同变化视频.计算运动模糊标签，从视频中去除模糊图像，以平滑处理模型。此外，多属性积极影响PI PI√√√̅[ ̅∑̅m̅(V̅V+̅̅)̅2̅]j=1当量2采用视频选帧决策技术，本文旨在减少加工时间。3.2.1. 多属性决策处理视频的每一帧来找到息肉是低效的。 此外，相对于视频的持续时间，这种方法需要大量的时间。为了优化处理时间，我们采用了 多属性决策（MADM）技术，以找到最有效的帧中的一些连续的帧。我们已经形成了每个仓包含15个连续帧的仓。然后，将MADM方法应用于每个bin，以使用指定的属性选择该特定bin的合适帧。熵，亮度，对比度，V+是每个归一化属性得分的最佳得分的集合在一个垃圾桶里。最佳分数可以是属性的最大分数（其中期望更高的属性分数，诸如对比度、亮度）或属性分数的最小值（具有最小分数的属性更好）。这里，V-是取每个归一化属性的最差分数的属性值的集合。最差的分数将是最小值 如果属性的高值是更好，而对于相反的情况，更差的分数将是最大的Vij是第j个属性的第i帧的归一化向量。V值用于计算帧对第j个属性的负面影响见图4。图像预处理;（a）伽马校正（0.5）图像，（b）HSV空间图像，（c）自适应直方图均衡HSV图像，（d）色调空间，（e）饱和度空间和（f）均衡HSV图像的值空间。I=JM.M. Rahman等人医学信息学解锁24（2021）1006035-ijj（）， =i×图五、光反射的掩模;（a）裁剪的 输入图像，（b）来自HSV空间图像的 图 像 掩 模 和（c）形态学操作之后的图像掩模。负面影响（NI），NIi=√√√̅[ ̅∑̅m̅(V̅V̅-̅)̅2̅]j=1当量3不必要的部分消除了合适的图像。高对比度图像对于人类视觉系统以及神经网络都非常有效[15]。我们采用了自适应帧选择的决定使用等式（Eq. （四）、该等式计算每个帧的优度（优度表示与理想帧的接近程度，但现实生活中没有理想帧）。然后，从每个仓中选择最佳值的帧用于进一步处理。该技术将处理时间减少到仓时间的大小之一。有效性评分ES ES积极影响（PIi）负面影响（NIi）+正面影响（PIi）当量4ESi的值总是在0和1之间，因为分子PIi在分母上表示为与另一个正量的加法。之后，选择具有最高ESi的帧用于进一步的处理步骤。在此，ESi的最高值随仓而变化。因此，ESi没有特别的最佳值。它完全取决于箱子的框架。与处理分类模型的每个帧3.2.2. 镜面反射去除由于结肠镜检查视频场景的多样性，镜面反射去除是一项关键任务。镜面反射的存在使得区分息肉区域更加复杂[14]。这项研究使用了一系列的行动，以消除镜面反射。一些先前的研究使用不同的反射从结肠镜检查图像中去除方法。在执行反射去除操作之前，我们从图像中切出暗边界区域。在此，我们提出了一个反射从结肠镜检查图像中删除计划。该过程从使用小于一（0.5）的伽马值的伽马校正开始。使用试错法选择伽马值。这种伽马校正降低了图片的像素像素值，并使它们相对于原始图像更暗。伽马校正降低了图像像素并帮助找到更好的反射光的近似值。图3示出了具有原始图像的伽马校正图像，直方图均衡技术对比度受限自适应直方图均衡（CLAHE），以放大图像的对比度水平[16]。该过程在单通道图像而不是原始RGB图像上合理地工作。我们通过将RGB图像转换为HSV颜色空间，在HSV（色调，饱和度，值）图像的V空间（值空间）上使用CLAHE。图4呈现了HSV颜色空间和RGB颜色空间的CLAHE应用图像。从图中可以看出，S空间（饱和度）和V空间对反射非常敏感。高强度在S空间中表示为暗，而对于V空间则相反，其中高强度比暗强度值相对更白。利用HSV颜色空间分量中的高强度的表示来从图像中找到反射掩模。我们已经通过对S空间和V空间分量值执行阈值化来计算掩模。遮罩包含许多分散的小区域。其中一些掩蔽区域对性能有重大影响。我们已经在掩模元素上应用了形态学操作（MpOps）来找到有影响力的反射区域。其形态过程包括两次侵蚀和三次扩张。椭圆形形状的5 5结构元素（SE）使用迭代MpOps的腐蚀和膨胀做得很好。较小尺寸的结构元素保留了精细的图像，而不会丢失重要信息。此外，SE的椭圆形形状可以很好地捕获表面息肉。这种侵蚀和膨胀的迭代有助于去除较小的反射区域并强调较大的反射区域 图图5示出了在利用来自HSV空间图像的阈值化掩模进行形态学操作之后的图像的反射区域的掩模。图像的遮罩区域使用周围pixel的pixel值进行修补。[17]的作者提出了一种快速行进算法，用于使用掩模区域的图像的已知像素进行修复。我们应用了参考文献[19]中提出的算法。对图像的掩蔽区域进行修补。该算法使用了一种启发式技术，使用可用的像素从边界开始，并接近其他剩余的掩模像素。此外，与基于生成对抗网络（GAN）的修复方法相比，修复过程需要很少的时间和精力。见图6。 去除镜面反射光的图像与原始图像;（a）原始图像（b）修复后的图像和（c）伽马校正图像。M.M. Rahman等人医学信息学解锁24（2021）1006036基于GAN的方法需要针对每种类型的场景进行显式训练，并且计算昂贵。因此，[19]的修复算法非常适合这项研究。图6示出了在对修补图像应用伽马校正之后的原始图像和反射去除图像。3.3. 模型架构深度模型使用大量的计算能力，同时从输入产生输出。几十年前，训练神经网络模型是一个耗时的复杂过程。现代硬件制造技术的出现使得构建更快、更高效的计算资源（如图形处理单元（GPU））变得前所未有的容易[18]。这一进步带来了巨大的优势，可以在短时间内使用更复杂和复杂的计算。本研究提出了三种不同CNN模型的堆叠集成用于息肉分类，因此我们选择了三种不同类型的网络架构用于集成。三人组包含VGG Net（VGG 19），Residual Net（ResNet-101）和Xception。随后的段落描述了这些模型的架构和息肉分类的堆叠集成过程。3.3.1. Finetuned VGG19架构VGG网络，特别是VGG19网络在其架构中包含19个可训练的加权层[19]。VGG网络的块结构遵循卷积和最大池化操作的组合。图7显示了VGG网的基本块结构。 VGG19模型架构使用ImageNet的权重进行初始化，并用作迁移学习模型。然而，VGG 19的神经网络部分通过实现keras-tuner来重新定义，以找到两个全连接层（FCL）的最佳神经元数量。Keras调谐器随机搜索不同数量的神经元，预定义的值范围，以找到FCL的最佳神经元数量。在迭代15次随机搜索后，用于息肉检测的VGG19层的最佳值为394和182。FCL之后的dropout限制了模型降低过拟合的能力[20]。VGG19的输出层包含四（4）个单元，代表四个类别，特别是腺瘤、锯齿状、增生和非息肉。输出层的激活函数是softmax，而其他FCL的激活函数是整流线性单元（ReLU）。该模型使用Adam作为优化器进行训练，具有不同的训练学习率，从0.001开始，每十个时期后系统地下降0.1。另外两个模型（Xception和ResNet101）在整个训练过程中也采用了类似的学习率下降技术。当模型连续三个时期输出恒定的验证准确度分数时，还实施了提前停止以停止训练[21]。在提前停止标准停止训练过程之前，微调模型被训练了28个时期。训练过程还保存了性能最佳的模型权重，以供将来处理。3.3.2. Finetuned ResNet-101架构具有更高层数的模型可以捕获更直观的图像特征，并更好地将输入映射到输出。然而，训练更多的层是相当棘手的，并且引入更多的层可能会导致测试数据的性能较差，因为过多的参数无法映射训练数据输出。此外，增加更多的层会产生一些问题，比如梯度消失，这会通过在反向传播阶段创建零或接近零的值来阻止网络的有效训练。该问题可以通过在网络的多个（2-3）层/跳上添加跳过连接来解决。跳过的连接或剩余连接使网络能够跳过几层的训练，防止梯度消失等问题，并有助于减少过拟合。残余图7.第一次会议。 微调VGG 19的网络架构;（a）VG G Ne t 的 样本块结构（b）用 于 息 肉 分 类 的 微调VGG 19架 构 。M.M. Rahman等人医学信息学解锁24（2021）1006037图8.第八条。ResNet-101的微调架构（块内没有残差连接）和ResNet架构的简单残差块结构。网络通过学习输入和输出之间的残差进行训练。图8示出了两个加权层上的残差连接的残差块。块的输出是通过ReLU激活函数后的残差或差（F（δ））和输入（δ）的总和。剩余网络使用讨论的学习范式，这有助于训练更深的网络，减少过度拟合问题。FCL之后是dropout层，以限制模型降低过拟合的能力[22]。该研究使用了预训练的ResNet-101模型，并转移学习了息肉分类的权重。预先训练的权重最初在ImageNet数据集上训练。预训练网络的分类器头被重新设计为两个新的FCL，使用keras-tuner，第一个FCL上有417个单元，第二个FCL上有96个神经元。其他参数和超参数（如激活函数、优化器、损失函数、初始学习率和学习率下降）与第3.4.1节微调的VGG19架构相同。在提前停止机制终止进程之前，经过微调的ResNet101架构被训练了34个epoch。该模型的学习率也使用了变化的学习率技术，利用每十个epoch后预定的下降。图8显示了微调的ResNet-101，没有跳过连接，更容易可视化。3.3.3. Xception架构Xception使用Inception网络的修改假设来构建其架构[23]。Xception模型也进行了微调，息肉分类任务类似于VGG 19和ResNet-101模型。该模型在37个时期的验证集上学习并提高了性能，然后提前停止被迫中断训练循环。其他参数的使用与其他两个模型相似。图图9显示了为息肉分类设计的Xception模型的概念表示。Xception架构包括两个完全连接的286和127个神经元。该网络还使用dropout和批量归一化来训练鲁棒模型。3.4. 堆叠集成架构单个CNN模型在不同的计算机视觉任务中表现显著，并在这些任务中达到最先进的性能。然而，单一模型在特征提取深度固定、特征提取过程多样性、训练模型不受欠/过拟合影响等方面存在不足。 这些不足可以通过引入集成技术来减少或消除[24]。集成可以呈现特征提取过程中的多样性，并有助于实现更好的性能矩阵。堆叠集成训练使用验证数据集来训练分类器。使用训练数据集训练分类器是不可行的解决方案。分类器倾向于过拟合大的训练数据。每个CNN模型为每个图像输出四个不同的概率。然后将概率值馈送到分类器进行训练，并使用测试数据集评估性能堆栈集成使用M.M. Rahman等人医学信息学解锁24（2021）1006038图9.第九条。Xception模型的微调架构。这些模型的softmax输出概率。叠加系综过程如图所示。 10个。然后，三个微调模型的值被引导到集成分类器的最后一层。我们已经实验了不同的分类器，如支持向量机（SVM），逻辑回归分类器（LRC），决策树分类器（DTC），和简单的两层NN。在使用不同的架构进行调整后，具有十（10）个和八（8）个神经元的双层隐藏神经网络给出了最佳输出。输出层有四个神经元，用于四个类，具有softmax激活函数。隐藏层应用了ReLU激活来引入非线性。然而，没有使用dropout和正则化来训练网络。该网络在验证准确性卡住之前使用早期停止技术4. 结果和讨论实验在具有12 GB RAM的云机器上进行; Intel供电的CPU@2.30 GHz和Nvidia的Tesla K80 12 GB VRAM。我们使用Python 3.7和Keras框架在TensorFlow 2.0上实现了这些模型。本节描述了我们的实验结果，并讨论了指标的重要性。第3节描述了用于测量所提出的方法的性能的数据库。对图像进行增强操作以引入多样性。增强操作有助于从同一图像中捕获不同的品种，并人工模拟息肉的变化。通过使用多属性决策技术实现了实时视频处理。MADM显著地减少了处理时间，并且选择最佳帧用于耗时操作。Hasan等人提出了一个基于熵的框架M.M. Rahman等人医学信息学解锁24（2021）1006039图10个。 使用三种不同网络架构的堆叠神经网络集成技术的框图。然而，基于熵的选择帧比MADM选择帧相对较少启发[13]。处理时间（MCC）。精确度是诊断方法的高度接受的标准。TPC我的MADM略高于基于熵的技术，MADM选择了相当好的帧。i级精度，精度Ci=TPC+∑i-1 FPC +∑nFPCij=1jj=i+1J当量5医疗诊断方法需要严格的性能分析，以尽量减少错误诊断的风险。误诊概括了假阴性和假阳性的诊断实例。在本文中，腺瘤图像诊断为锯齿状、非息肉或增生是腺瘤类图像的假阴性的实例。然而，锯齿状、非息肉或增生性图像被归类为腺瘤是腺瘤假阳性的例子。图11示出了不同类别的假阳性、假阴性和真阳性诊断。准确度是任何分类方法的一般度量。该研究使用SIX度量来衡量所提出的方法在其他公共数据集上的性能。当量（5）Eq.（14）提出了准确度、精确度、灵敏度或召回度、特异度、错误诊断率（FDR）和matthews相关系数我们使用Eq。（5）计算单个类的精度分数。TPCi对第i类的真阳性实例的数量进行计数，而FPCj表示第i类的假阳性实例的计数，即第j类息肉图像被预测为第i类息肉。腺瘤、非息肉或锯齿状图像被归类为增生是增生类的假阳性实例。对于多类分类，i取从1到n的值。对于本研究，i的值从1到4不等当量（6）给出了单个类召回分数的计算公式。在此，FNCj表示第i类息肉的假阴性实例的数量。预测为第j类息肉的第i类息肉图像的数量。例如，分类为腺瘤、非息肉或锯齿状的增生图像被计为假阴性。见图11。 实际增生性息肉图像的息肉多类分类的分类度量的图示。M.M. Rahman等人医学信息学解锁24（2021）10060310=====×-×我TPC+i-1 FNC+i-1 FPC++FP C+ ∑i-1 TNC+j=i+1j=1我TPC+FPC++i-1 FNC+FNC+j=i+1Jj=1Jj=i+1∑nJTNCJ第i类调用，调用C=TPCi∑ ∑我j=1Jj=i+1当量6J网络在分类增生性和非息肉方面表现更好图像的精确度超过97%。误诊率为∑i-1 TNC +∑n我n=JJTNC第i类特异性，特异性C=∑J1J∑j=i+1j当量7TPC +∑i-1 TNC +∑nJTNCi级精度，精度C=∑Ij1J∑ ∑j=i+1j当量8当量（7）Eq. （8）用于对单个类别的准确性和特异性进行评分。其中，TN_C_j示出了预测的真否定实例，其将预测的第j类图像表示为未预测的第i类。完整测试数据集的度量使用Eq. （9）Eq.（14）分别计算准确率、精确率、召回率、特异率、误诊率和MCC。精度TP + TN公式9TP+TN+FP+FN锯齿型息肉最高。锯齿状息肉图像MCC评分最低，为79.07%，增生和非息肉图像MCC评分均在97%以上。腺瘤和锯齿状息肉的性质是锯齿状和腺瘤类与其他类相比误诊率高和准确性低的原因。几乎所有病例的非息肉图像均被正确分类。VGG-19在我们的系统上训练了大约174分钟。微调后的VGG网模型的混淆矩阵为λD1 × A。ResNet-101在测试集上的性能见表2。该模型的准确率为93.97%，略优于微调的VGG19。分类性能有所改善精密TPTP+FP召回TPTP+FN专属性TNTN+FPFP当量10当量11当量12锯齿状的珊瑚虫增生和非息肉图像分类正确，错误诊断率低于1.5%。与VGG19模型相比，该模型对腺瘤息肉的假阴性结果较少，其错误诊断率低于1%。锯齿状息肉的FDR从15.48%提高到9.02%（FDR值越小越好）.对于所有类型的息肉图像，ResNet101的MCC评分均优于VGG19，锯齿状图像的MCC评分最低，非息肉图像的MCC评分最高。VGG 19和ResNet-101模型的每个类别的精确度评分相似，锯齿状类别除外，FDR=FP+TN等式13ResNet架构的精度分数提高了约6%。培训ResNet-101模型的时间约为150分钟。MCCTPTNFPFN=（TP+FP）（TP+FN）（TN+FN）（TN+FN）当量14ResNet-101模型的CM。与ResNet和VGG网络相比，经过微调的Xception模型表现良好。这种精细的模型实现了集成模型的性能基本上取决于每个CNN模型的成功，并支持每个模型的不足。总体而言，CNN模型在集合组织中表现更好。VGG 19型在测试装置上的输出如表1所示。测试数据集具有四个类的图片，具有不同数量的类实例该模型的总体准确率为92.37%。的百分之九十五点九FDR评分改善了每个类别，腺瘤和锯齿状息肉有显著改善。Xception模型在每个类别中的精确度得分优于VGG 19模型，但在增生检测方面的精确度低于ResNet-101模型。Xception将锯齿状息肉MCC评分显著提高至90%以上。表3显示了经过微调的Xception表1VGG19在测试集上的性能∑nFNCj=1j=i+1ni-1 FPC++ni-1 TNC+nTNC我Jj=1j=1Jj=i+1J∑∑M.M. Rahman等人医学信息学解锁24（2021）10060311表2ResNet-101在测试集上的性能。表3Xception在测试数据上的性能。表4叠加集成方法在测试数据集上的性能。M.M. Rahman等人医学信息学解锁24（2021）10060312见图12。 每个类别的5倍交叉验证性能。图十三. ROC曲线与AUC评分不同类别的集成方法。M.M. Rahman等人医学信息学解锁24（2021）10060313±±±±表5我们提出的方法在不同息肉分类方法和胃肠病学家的测试数据上的性能方法准确度精确度召回特异性FDR EX pert1 0. 7544 0. 6169 0. 6160 0. 79650. 3830EX pert2 0.7894 0.6456 0.6623 0.8374 0.3543EX pert3 0.7631 0.6322 0.6688 0.8173 0.36770.5666 0.5868 0.7727 0.4333初级1 0.7280 0.5867 0.5856 0.7872 0.4132初级2 0.7807 0.7272 0.5828 0.7920 0.2727初级3 0.6666 0.4772 0.4887 0.7482 0.5227Mesejo等人[12] 0.8246- 0.7278 0.8588 -Singh等人[6] 0.9824- 0.9619 0.9815 -我国的让，t= CNN模型的集成方法的建议流水线的处理时间与集合流水线的处理时间t相比，tmadm的处理时间非常小。时间需要处理15帧的仓没有MADM：t总计=15 × t使用提出的MADM技术：ttotal_madm=tmadm+t四类息肉分类的网络。与其他两种模型相比，训练Xception架构花费的时间最少。训练时间大约为95分钟。训练时间包括Xception模型的CM。集合方法在测试集上的性能如表4所示。从表4中可以明显看出，叠加集成模型的性能明显优于单个模型。神经网络分类器的训练时间约为7 min。本文介绍了在ZERODIXA上的系综方法CM。还使用5倍交叉验证（CV）评估了所提出的模型的度量。计算模型的总体准确度以及腺瘤、增生、非息肉和锯齿状类别的其他指标，以说明每个类别的性能。图12示出了各个类别的5倍CV性能从图12的BOX图来看，腺瘤的准确性被压缩在一个范围内，而其他类别的性能在不同的折叠处变化。CV倍数的精密度评分分布均匀，平均值偏差较小。其他指标也显示了方法性能的紧凑性，在boX图中有一些离群值。5倍验证的准确性得分为98.53 ± 0.62%。准确性得分略优于保持测试数据集。该方法具有较低的精度得分相比，测试集的精度为92.094.62%。其召回率和特异度与hold-out测试集相似，分别为96.17 ±0.87%和98.97 ± 0.36%。FDR评分很有趣，在某些折叠处表现更好，平均值为7.91%，标准差为4.81%。使用深度学习方法的图像处理时间主要取决于执行操作的硬件。我们提出的方法需要大约1.34秒的时间来处理我们的计算机上的每个图像。由于我们使用了基于MADM的帧选择技术，大大减少了视频的处理时间。MADM找到执行计算的最佳帧集成方法的重过程。因此，我们的方法对于15帧所需的时间是恒定的，并且等于单个图像的处理时间。在没有基于MADM的帧选择的情况下，每15帧的集成方法所需的时间为19.38 s。所需的时间是我们提出的方法使用MADM相比，高出14倍。我们提出的方法可以处理每分钟670帧集成方法的受试者操作特征（ROC）曲线见图13。该图显示了多个类的曲线以及每条曲线的面积测量。下的面积越大，模型在区分具有不同阈值的类别方面越好。该曲线表示不同阈值下的假阳性率（FPR）和真阳性率（TPR）。真阳性率随阈值的增加而增加。具有较高TPR的较低阈值捕获更多的ROC曲线下面积（AUC）。从图中可以看出，非息肉曲线下面积最大，得分为99.4%。增生性和锯齿状息肉图像的AUC评分分别为98.7%和98.9%。腺瘤息肉是难以区分的类别，与其他覆盖95%面积的肿瘤相比，AUC评分较低。ROC曲线的宏观平均得分为98%。类的ROC曲线和AUC表明集成方法表5显示了所提出的方法与息肉分类的最新研究。我们开发的方法实现了比别人更好的性能。我们的方法的表5上的性能度量熟练胃肠科医师的准确率分别为75.44% 、 78.94% 、 76.31% 和 71.92% ， 受 训 者 的 准 确 率 分 别 为72.80%、78.07%和66.67%。专家组和初级组的平均准确率分别为75.65%和72.51%7名医生的总体准确率为74.30%，标准差为3.91%。医生将图像分为三个不同的类别，但我们已纳入非息肉类别。Mesejo等人所提出的方法在DB1上的准确率为82.46%，M.M. Rahman等人医学信息学解锁24（2021）10060314PREC评分为85.88% [12]。他们的方法利用传统的特征提取方法和机器学习分类算法进行分类。5. 结论所提出的用于息肉分类的堆叠集成方法与新颖的帧选择方法对于息肉分类效果显著。我们提出和使用的技术预处理息肉图像与结肠镜检查图像高度相关，并显示出对分类的实质性影响。多属性决策技术大大减少了处理时间，并产生了几乎实时的息肉分类与改进的性能指标。堆叠集成技术比基于公共数据集的单一CNN分类提供了相对更好的息肉分类诊断。三个模型的集成模型有助于弥补单一模型的不足，提高组合性能。这项研究将令人兴奋地用于实时结肠镜检查，以帮助医生。然而，这项研究可以扩展到从图像中分割息肉区域，以指示息肉的确切区域。资金这项研究没有资金竞合利益作者声明他们在发表论文方面没有利益冲突。确认非常感谢Dr. M。感谢Mawlana Bhashani科技大学医疗中心的KawsarAhmed（首席医疗官）和他的团队提供的宝贵支持和建议。附录A微调VGG19模型对试验数据的混淆矩阵测试数据上微调的ResNet-101模型的混淆矩阵M.M. Rahman等人医学信息学解锁24（2021）10060315在测试数据上微调Xception模型的混淆矩阵基于测试数据的微调Enhancement方法的混淆矩阵引用[1] Ljubic B，Pavlovski M，AlshehriJ， Roychoudhury S，Bajic V，Van NesteC，等. 大肠癌的共病网络分析及遗传学研究信息学医学解锁2020;21：100492。https://doi.org/10.1016/j.imu.2020.100492网站。[2] Mostafiz R，Rahman MM，Uddin MS.通过经验模式分解和神经特征进行胃肠道息肉分类。SN Appl Sci 2020. 网址：//doi. org/10.1007/s42452-020-2944-4。[3] Hoerter N，Gross SA，Liang PS.人工智能和息肉检测。当前治疗选择胃肠道2020;18：120-36. https://doi.org/10.1007/s11938-020-00274-2.[4] [10]杨文，李文.深度学习在结肠癌中的全面综述。计算机生物医学2020;126：104003。网址：//doi. org/10.1016/j.compbiomed.2020.104003。[5] 孙晓，张萍，王丹，曹毅，刘宝。通过具有扩张卷积的U-网分割结直肠息肉。第18届IEEE国际会议论文集学习.申请ICMLA 2019;2019.https://doi.org/10.