基于RCNN和双通道CNN的脑肿瘤分类和对象检测方法

沙特国王大学学报使用RCNN和双通道CNNNivea Kesav，M.G.吉布库马尔科钦科技大学工程学院电子与通信系，印度高知阿提奇莱因福奥文章历史记录：收到2021年2021年5月7日修订2021年5月18日接受2021年5月21日网上发售关键词：深度学习CNN分类脑肿瘤RCNN对象检测A B S T R A C T脑肿瘤是与大脑相关的最严重的情况之一，其中异常细胞簇以不受控制的方式生长。随着深度学习中不同技术的发明，图像处理领域在生物医学应用领域经历了显着的增长。脑肿瘤分类和检测是卷积神经网络（CNN）应用的首要主题。但现有技术的主要缺点是，它是复杂的，大量的参数导致高执行时间和高系统规格的实施。本文提出了一种使用RCNN技术进行脑肿瘤分类和肿瘤类型对象检测的新架构，该架构已经使用来自Figshare的两个公开可用的数据集进行了分析（Cheng et al.，2017）和Kaggle（2020）。在这里，我们的目标是减少传统的RCNN架构的执行时间，使用一个低复杂度的框架，并提出了一个系统的脑肿瘤分析。我们首先使用双通道CNN，这是一种低复杂度的体系结构，可以在胶质瘤和健康肿瘤MRI样本之间进行分类稍后，这种相同的架构被用作RCNN的特征提取器，以检测已经从前一阶段分类的胶质瘤MRI样本的肿瘤该方法也被推广到脑膜瘤和垂体瘤等两种肿瘤。该方法能够实现非常低的执行时间，与其他现有的体系结构的平均置信度为98.83%。版权所有©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍癌症是现今最常见的威胁生命的疾病，而在各种癌症中，最具侵略性的形式是脑癌或脑瘤。（Ali等人，2020年）。尽管在医学诊断和治疗方面有许多技术进步，但存活率非常低（Ghaffari等人，2020年）。大脑是最复杂的器官，在我们的日常活动中发挥着重要作用（Biju etal.，2017年），脑内组织不受控制的不规则生长被称为脑肿瘤，这是一种非常严重的疾病。它可以是最小的侵略性类型称为良性或危及生命的类型称为恶性肿瘤*通讯作者。电子邮件地址：nivea11093@gmail.com（N. Kesav）。沙特国王大学负责同行审查如果不及时治疗，它可能会致命。可以使用扫描技术如磁共振成像（MRI）、正电子发射断层扫描（PET）、计算机轴向断层扫描（CT）来诊断，其中MRI由于其高分辨率成像特性而流行（Ali等人，2020年）。对于我们的研究，我们主要集中在三种常见的脑肿瘤类型，特别是神经胶质瘤，脑膜瘤和垂体瘤。神经胶质瘤是最常见的肿瘤类型，具有最高的死亡率（Pereira等人，2016），其可以是通常在称为星形细胞的支持组织细胞中以及在大脑半球中发现的较高等级或较低等级。脑膜瘤通常是一种良性肿瘤，生长缓慢，发现于颅骨下方的大脑外层。我们接下来要处理的肿瘤类型是垂体瘤。位于大脑底部的腺体被称为脑垂体，与此腺体相关的肿瘤被称为脑垂体瘤。脑膜瘤和垂体瘤因其发生位置而易于检测，但神经胶质瘤难以分析（Somasundaram，2019）。然而，我们所提出的方法显示出在胶质瘤肿瘤的检测方面的显著改善。https://doi.org/10.1016/j.jksuci.2021.05.0081319-1578/©2021作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comN. Kesav和M.G. 吉布库马尔沙特国王大学学报6230×脑肿瘤检测和分割涉及将肿瘤部分与正常组织（如灰质、白质和脑脊液）分离（Wadhwa等人，2019年）。它可以手动完成或在软件的帮助下自动完成。然而，人类的决定并不总是准确的，而且很耗时，这导致了对肿瘤样本的计算机分析（Gawande和Mendre，2018）。图像处理在上述过程中扮演着巨大的技术角色。对象检测在图像中找到特定对象的位置，并使用边界框对其进行边界处理。而分割通过为对象的每个像素分配类别标签来提供图像的精确轮廓。用于图像检测和分割的传统技术包括阈值化方法、基于边缘的方法、基于区域的方法、聚类方法、分水岭方法等（Kaur and Kaur，2014）。然而，最近的研究表明，作为人工智能子集的机器学习使我们能够以比上述传统算法更有效的方式识别数据中的感兴趣区域（Myszczynska等人，n.d.）。作为机器学习的子集的深度学习具有分析用于预测和检测任务的多个级别的数据表示的能力（Wainberg等人，2018年）。像卷积神经网络（CNN）这样的深度神经网络有效地处理图像，产生显著的结果（Ker等人，2017），其包括图像分类、对象检测和分割（J.Liu等人，2018年）。本研究主要集中在分类和目标检测。在脑的研究领域，肿瘤分类、检测、分割和几个好的评论是可用的，其突出了当前的情况。 在其中一篇综述论文中，K均值聚类、统计区域合并、贝叶斯模糊聚类方法等方法被讨论为机器学习分类和检测的少数新趋势，据说它们比传统方法表现更好（Lather和Singh，2020）。 作者在（Ali等人，2020）处理肿瘤图像并使用具有跳过连接的残差网络对其进行分类，以提高性能，这也有助于降低复杂性和过拟合。即使有跳过连接，Resnet本质上也很复杂，需要花费大量的时间来执行。U-Net（Ronneberger等人，2015），其是用于生物医学图像分割的特定网络，具有用于分割图像的卷积和去卷积的单独部分。尽管它的高性能，它需要62MFLOPS和大约370兆字节的存储，这导致它不能部署在具有低计算复杂度的手持设备上，并且还具有大约3110万个训练参数的总数（Gadosey等人，2020年）。Javaria Amin等人 已经提出了使用具有批量归一化的CNN来检测神经胶质瘤和中风病变的新颖想法，其已经在不同的数据库中成功地执行（Amin等人，2020年）。在（Reininar和Yildirim，2020）中，一种卷积混合神经网络，其中残差网络的最后五层被十层的混合模型取代，并用于MRI图像的肿瘤检测。多模式脑肿瘤分类是使用机器学习在MRI样本的不同模式之间进行分类的非常重要的领域，在（Khan et al.，2020年）。在（A）中，通过使用局部二进制模式算法和卷积神经网络从脑肿瘤图像中提取纹理特征。Yang等人，2019年）。乔克等人提出了自适应独立子空间分析，其有助于减少大型和高度复杂的MRI的问题（Ke等人，2019年）。进行具有损失优化的增强卷积网络以分割肿瘤图像以减少过度拟合（Thaha等人，2019年）。多模态信息融合和卷积神经网络可以组合以从MRI图像检测肿瘤的存在（Li等人，2019年）。作者在（Yang等人， 2018）使用传统的深度MRI数据库对胶质瘤进行分级在 迁 移 学 习 的 帮 助 下 建 立 学 习 架 构 。 作 者 在 （ Selvapandian 和Manivannan，2018）中提出了使用基于融合的自适应神经模糊推理系统进行胶质瘤检测和分割，并在低级别和高级别胶质瘤肿瘤上进行了测试。遗传算法还发现其在脑肿瘤分级和分类中的应用（Anaraki等人，2018年）。基于区域的卷积神经网络（RCNN）是一种使用CNN的目标检测方案，其应用于多个图像处理领域。 RCNN广泛用于物体检测应用，如输电线路上的异物检测（Liu等人，2019），植物害虫的检测（Dalai，n.d.），生物医学应用等。（Dalai，n.d.）提出了一种利用RCNN自动检测植物害虫的方法，该方法在检测精度上有很好的提高。基于流路径的RCNN框架，其中从CNN中提取的特征通过用于海洋涡流检测（对象检测）的区域提议网络，这与更快的RCNN相比显示出改进的性能（Bai等人，2019年）。Faster RCNN中的区域提议网络已经在（Jinzhao et al.，2018年，检测车辆类型。更快的RCNN的另一种变体使用深度残差网络进行特征提取，并使用K均值聚类来聚类边界框（Zhang et al.，2020），其显示出比传统的Faster RCNN 更高的识别精度和更高的检测速度。使用FasterRCNN的人脸检测方法用于（Sun et al.，2018年），增加了特征级联，多尺度训练等技术来提高性能，但增加了计算复杂度。显著性引导 的 更 快 RCNN 方 法 生 成 区 域 建 议 可 以 提 高 对 象 检 测 的 效 率（ Sharma 和 Mir ， 2019 ） 。 在 （ Ezhilarasi 和 Varalakshmi ，2019）中，检测良性和恶性肿瘤，其中Alexnet被视为特征提取的基础网络，这些特征由区域建议网络处理，以产生感兴趣区域。在（Kaldera等人，2019），更快的RCNN用于从MRI切片中检测胶质瘤和脑膜瘤，平均置信度为94.6% 。在（ Murali 和 Meena ，2019）中使用更快的RCNN检测到三种类型的肿瘤，其中CNN结构仅由大小为3 3的内核组成。表1中包含了一些关于脑肿瘤分类和检测的重要文献。在本文中，我们提出了一种新的方法来检测脑肿瘤，使用双通道CNN（Kesav和Jibukumar，2021），其已经在我们早期的工作中用于脑膜瘤和垂体瘤的分类。所提出的低复杂度的方法有效地减少了要训练的参数的数量和执行时间的分类具有可比的准确性。与我们早期的工作（Kesav和Jibukumar，2021）相比，本文除了将图像分类为肿瘤类型外，还检测了发现肿瘤的区域。我们还将第三种肿瘤胶质瘤纳入我们的分类和检测中。首先，我们使用分类机制，使用双通道CNN在胶质瘤和其他健康图像之间进行分类。然后，所有这些胶质瘤图像都被传递到基于RCNN的检测系统，在该系统中，来自MRI图像的肿瘤部分被检测到并使用边界框来定界。用作RCNN的特征提取层的CNN被双通道CNN取代。整个分析和比较最初是在胶质瘤数据库上进行的，后来也在脑膜瘤和脑胶质瘤数据库上进行了测试和验证。该方法已与其他现有的与RCNN和Fast and Faster RCNN相结合的架构进行了比较。从实验中，我们得出结论，我们提出的模型具有最少的执行时间，更好的效率。因此，具有RCNN的复杂性降低的CNN架构可以减少总时间，并且该模型有效地检测三种不同的肿瘤类型，这在结果部分中详细说明。第2N. Kesav和M.G. 吉布库马尔沙特国王大学学报6231×表1对脑肿瘤的分类和检测的相关工作进行了综述作者分类方法检测/分割Ali等人， 2020年剩余网络和U跳过连接应用程序的复杂性看起来初始层捕获基本信息，如边缘和梯度等。并且朝向末端的层从初始层的结果如果我们必须增加特征图的大小而不是输入图像的尺寸，我们可以添加一个有效的在数学上，上述操作可以Ronneberger例如，2015U-Net显示为Eq。 （一）.假设我们有一个像素大小为m×n，大小为l×l的卷积平方核F和外-JavariaAmin等人，2020纳齐纳尔和耶尔德勒姆，2020年CNN与batchU U正常化卷积混合U神经网络将大小为i，j的特征图S，卷积运算可以定义为：S½i;j] ¼I×F½i;j] ¼XXFp;q×I½i-p;j-q]1Khan等人，2020DCTUp q深度学习和极限学习A. Yang等人，2019Thaha等人，2019机制本地二进制模式U算法与CNN增强卷积U网损优化卷积层之后是池化层，用于降低输出特征图的维度特征图(S)这就像一个图像被分成几个不重叠的子集，并且从每个子集中获得相关参数根据所选的参数，池有两种类型Li等人， 2019年多式联运信息化融合和CNNKe等人，2019自适应独立U子空间分析即最大池和平均池。在最大池中，最大-从子集中选择最小值，并且在平均池化中选择子集的平均值我们选择了最大池-因为它被发现在我们的研究中得到更好的结果主要Y. Yang等人，2018Selvapandian和Manivannan，2018年Ezhilarasi和Varalakshmi，2019年Kaldera等人，2019深度学习与U U迁移学习机制基于融合的自适应U U神经模糊推理系统Alexnet与区域U提案网络更快的RCNNU池化层的目的是降低总体计算复杂度。接下来是激活层，它为任何神经网络都需要的架构添加了基本的非线性。如果不增加非线性，系统在本质上将是线性的，这将导致分析复杂应用时的失败。有几个激活函数，如Sigmoid，tanh，ReLu等。通常ReLu函数，max（0，input）用于CNN，因为它避免了学习过程中的消失梯度问题。最后的层是完全连接的层，穆拉利和更快的RCNN，一个基本的人工神经网络，其中所有的节点从以前的米娜 ，20193× 3过滤器第三节介绍结果，第四节总结工作。2. 方法和材料2.1. 基于区域的卷积神经网络（RCNN）卷积神经网络（CNN）给图像处理领域带来了巨大的变化，它可以很容易地精确地进行任何分类或分割任务，这在生物医学应用中是非常重要的。此外，CNN需要相对少得多的预处理比其他传统的算法诊断MRI切片。CNN是一类从大脑皮层获得灵感的深度神经网络在我们的眼睛中，一小群细胞接受特定类型的视野参数，如垂直和水平特征。CNN基本上由卷积层、池化层、ReLu层和全连接层组成。然而，与普通的人工神经网络相比，上一层的所有节点都不连接到下一层。卷积层负责从给定的图像中提取边缘、线条等特征。它使用卷积运算与称为滤波器或内核的滑动窗口矩阵提取特征。具体地，滤波器利用输入图像像素的子集执行逐像素乘法运算，并且执行逐像素乘法结果的求和。然后滤波器沿着整个图像滑动以执行类似的操作。现在，每个卷积运算的结果都被合并到一个矩阵中，该矩阵在CNN术语中被称为特征图。将有几个卷积层取决于层连接到下一层。最后一个卷积层的输出特征矩阵被平坦化以形成一个独热向量，然后将其提供给上述全连接层。该层从特征中学习非线性函数并生成分类结果。现在，CNN结合区域建议层可用于更高级别的任务，如对象检测和分割。这组网络被称为基于区域的CNN（RCNN）。RCNN是使用CNN的非常著名的对象检测机制，其有效地对图像区域进行分类并生成包含感兴趣区域的检测到的边界框（Girshick等人， 2016年）。它基本上由两个额外的模块组成，区域建议层和检测层以及CNN。第一个模块，区域建议层从输入图像中产生区域建议，然后由CNN处理。第三个模块是CNN的完全连接的最后一层，它实现了一个支持向量机（SVM）分类器，该分类器将检测指定对象的存在或不存在，并在对象周围生成边界框。详细步骤如图所示。1.一、区域提议层：区域建议层将图像划分为几个称为候选区域或建议区域的子块，然后将其馈送到CNN，CNN将与地面实况边界框进行比较 。 在 几 种 区 域 预 测 算 法 中 ， RCNN 通 常 使 用 选 择 性 搜 索 算 法（Smeulders，2013）来产生候选区域，这很简单并具有较高的召回率。它使用指定的方法（Felzenszwalb和Huttenlocher，n. d.）并且稍后类似的这样的小区域被组合成更大的区域。这些建议的区域被传递到下一层。特征提取层：在将建议的区域提供给CNN的输入之前，它们被转换为固定大小。从每个建议的区域中，使用CNN从提取的特征中使用的CNN可以是N. Kesav和M.G. 吉布库马尔沙特国王大学学报6232Fig. 1. RCNN的基本框图著 名 的 架 构 ， 如 Alexnet （ Krizhvesky 等 人 ， 2007 ） 、 VGG16（Tammina，2019）、VGG19（Wen等人，2019年），Resnet（他例如，n.d.），Googlenet（Szegedy等人， 2015）等。检测层：来自最终卷积层的特征向量被传递到全连接层，一个分类器，在RCNN的情况下是SVM它检测所需对象的存在或不存在，并且还提供建议区域的边界框坐标值的回归输出上面的RCNN的问题是，据说它本质上很慢。这是因为它将需要大量的时间来训练网络，因为有大量的区域建议正在被输入CNN。另外，选择性搜索算法通常被因此，研究人员提出了另外两种架构，称为快速和更快的RCNN。快速RCNN通过首先使用CNN从输入图像中获取特征，然后从中找到区域建议来提高其速度。更快的RCNN用一个新的区域建议网络取代了整个选择性搜索该网络包含学习并有助于提高速度。快速和更快的RCNN方法通常采用整个图像，因为它没有任何额外的复杂性增加网络。这与RCNN完全相反，RCNN最初将作物和大小调整为区域提案，然后馈送给CNN。此外，更快的RCNN使用区域建议网络来确定区域建议，这再次提供了更多的参数来训练。然而，使用具有较不复杂架构的CNN可以增加RCNN网络的速度，同时保持与快速且更快的RCNN相当的性能。基于上述直觉，我们提出了一种RCNN方案，其中将特征提取替换为数量减少的双通道CNN参数（Kesav和Jibukumar，2021）。众所周知，随着参数数量的增加，准确度将开始饱和，导致性能下降，并伴随额外的问题，如梯度爆炸或消失（Ali等人，2020年）。因此，具有小卷积核的低复杂度架构将有助于提高特征提取的质量（X。 Liu等人， 2019年）。2.2. 拟议方法在我们提出的方法中，我们首先使用双通道CNN（Kesav和Jibukumar，2021）对MRI样本中的胶质瘤图像进行分类，然后将它们发送到使用RCNN的对象检测系统，在那里我们用双通道CNN替换RCNN的特征提取层，这在我们的初步研究中表现出更好的性能所提出的双通道CNN（Kesav和Jibukumar，2021）的框图，它作为RCNN的特征提取层，如图2所示。如图2所示，通道A由两个卷积层和中间的池化层组成通道A的第一卷积层是滤波器N. Kesav和M.G. 吉布库马尔沙特国王大学学报6233×××××图二. 双通道CNN的架构。大小为3 3的层，后面是维度为3 3的池化层。的第一汇集层的结果被传递到滤波器大小为33的第二卷积层但是，通道B不同于通道A。通道B由单个卷积层和另一个池化层组成。该卷积层的过滤器大小为13 13，池化层的尺寸固定为3 3。所有这些维度都是根据我们早期研究中的几项分析和实验确定的（Kesav和Jibukumar，2021）。这两个通道然后连接到一个完全连接的层，然后是一个softmax层，可以有效地分类不同的类。对提出的双通道CNN进行了测试，并证明其可以对脑膜瘤和脑膜炎肿瘤进行分类，并且发现其在复杂性和执行时间方面表现出更好的性能在这里，我们的目标是使用这个双通道CNN首先在健康和肿瘤MRI切片之间进行分类，然后将其用作使用RCNN进行肿瘤类型检测的特征提取层。图3示出了用于检测肿瘤位置首先，胶质瘤图像使用双通道CNN从健康肿瘤图像中单独分类。然后将这些分类的神经胶质瘤图像传递到区域建议层。使用选择性搜索算法提取区域提议或候选区域。稍后，这些区域再次传递到我们的架构，双通道CNN用于提取特征。这些特征被转换成一个热特征向量，该特征向量由SVM处理以检测特定肿瘤的存在，并使用边界框对它们进行边界处理，以便将指定部分与图像的其他区域分开。2.3. 数据集和预处理为了评估所提出的架构的性能，我们使用两个免费提供的数据集。第一个数据集来自figshare，其是用于肿瘤诊断的基准数据集（Chenget al.，第二个是来自Kaggle的开源数据集（Kaggle：访问日期：2020年6月）。第一个数据库由总共233名患者的3064个T1对比增强图像切片图三. 使用所提出的方法分类和检测肿瘤区域的过程的框图。N. Kesav和M.G. 吉布库马尔沙特国王大学学报6234××●¼●¼MRI图像包含所有三种类型，胶质瘤，脑膜瘤和垂体瘤。该数据集实际上是从中国两家领先的医院，即南方医院和天津医科大学收集的。这些图像是在2005年至2010年期间从患者身上采集的。第一个数据集的每种肿瘤类型病例中的样本分布的饼图如图所示。 四、其中胶质瘤92例，共1426个MRI样本;脑膜瘤82例，共708个MRI样本;对应于轴向、冠状和矢状三个方向的MRI切片在样本总数中，80%用于训练，20%用于测试。三种类型的肿瘤图像如图5所示。所有这些图像本质上都是灰度级的，512512像素。我们需要调整到227227像素的建筑。后来，它被复制了三次，得到三个输入通道。我们使用第二个数据集（Kaggle），因为我们的第一个数据集无法提供健康的肿瘤图像。第二个数据集由255个T1模态的MRI图像组成。它包含98个健康大脑的MRI切片和155个肿瘤状态的MRI切片。从这个数据集中，我们只使用了健康的图像。所有这些图像都是不同的尺寸，所以我们必须调整它根据符合我们的图像规格3. 结果和讨论结果部分分为两个子部分，分别突出分类和检测，其中第一部分处理胶质瘤和健康大脑图四、数据集1的样本分布第二部分是肿瘤类型的定位检测。这两种情况下的体系结构规范和分析的参数是不同的所有的实验都是在MATLAB 2020中完成的系统规格包括单CPU处理，8 GB RAM和2.6 GHz时钟频率。3.1. 胶质瘤和健康肿瘤图像在我们之前的工作中，我们测试并证明了双通道CNN可以对脑膜瘤和脑膜瘤图像进行分类（Kesav和Jibukumar，2021）。在这里，我们正在使用相同的双通道CNN扩展胶质瘤和健康肿瘤图像之间的分类研究。对于上述分类，使用来自数据集1的总胶质瘤样本的约30%和来自数据集2的所有健康肿瘤图像。从那80%用于培训，20%用于测试。用于分析的性能参数如下所示：TruePositive● 敏感性回忆正确肯定否定TrueNegative● Specificity<$TrueNegativeFalsepositiveTruePositive● 精确度：正确性：错误性：准确性TruePositiveTrueNegativeTruePositiveFalsepositiveTrueNegativeFNF1评分2ω召回率ω精确度召回精度用于架构训练的训练参数在表2中给出。根据验证误差和训练误差选择了最佳的时期数。我们选择在验证精度达到一个高值表2用于分类的训练参数。参数建议方法初始学习率0.0003最小批量30迭代次数/epoch 35学习算法ADAM最大时期10数据扩充应用旋转验证频率20学习率下降系数0.9平方梯度衰减因子0.99胶质瘤脑膜瘤图五.脑胶质瘤（5a）、脑膜瘤（5b）和垂体瘤（5c）的MRI切片。N. Kesav和M.G. 吉布库马尔沙特国王大学学报6235¼表3分类分析的性能参数结果建议系统的参数神经胶质瘤核磁共振样本随后，该系统还在脑膜瘤和Pneumonia肿瘤样本上进行了测试。用于分析的性能参数是最终精度、最终损耗，准确度和灵敏度百分之九十八点二一100%的经过时间、边界框值和置信度得分。最终的准确性和损失对应于训练进度，特异性百分之九十六点三RCNN。准确性衡量我们对未来的预测有多准确。精密度F1评分执行时间参数数量百分之九十六点七0.98321，00，82，692与地面实况数据进行比较时的模型损失评估系统在每次优化迭代后的表现有多差第10节理想情况下，准确度应该很高，损失应该胶质瘤曲线下面积0.9833最小值在总时期数的末尾。经过时间曲线下面积健康0.9833这是完成整个检测过程所花费的时间cess是用于评估性能的关键参数不同类型的架构。边界框值并且验证误差的图形下降到非常低的值。训练总共进行了10个时期，并且可以看出，该架构可以用非常小的数据集有效地对胶质瘤图像和健康脑MRI样本进行分类。验证和训练精度从较低的值开始，并在最后一个epoch达到100%。类似地，损失函数曲线从较高的值开始，以接近零的值结束。所有参数均计算并列于表3中。在训练过程中，需要解决的最重要的问题是，我们应该检查我们的系统是否在测试集上工作得很好，即使它使用训练集给出了很好的结果。因此，过拟合或欠拟合的问题可以通过使用验证集来解决。最初，在用于训练的图像总数中，80%被设置为用于实际训练是表示包围所需对象的框的尺寸的坐标。它主要由四个预测组成，即中心部分的x和y坐标，盒子的宽度和盒子的高度。最后，置信度是与RCNN相关的参数，它在目标检测网络的设计中起着非常重要的作用。它给出了检测到的区域包含所需对象的概率。其由以下公式给出：C¼P检测到的对象数量×IoU数量2个其中，C是置信度，P是概率，IoU是预测面积与地面实况之间的交集，由下式给出：20%用于验证。在每次迭代之后，使用该验证数据集检查模型，并且训练继续，直到验证错误下降到接近零的值。但正常的vali-IoU区域下的BoundingBox\GroundTruthBox区域下边界框[GroundTruthBox]ð3Þdation有几个缺点，如一次又一次地使用相同的数据，选择正确的验证集等，为了提高效率，我们还实施了交叉验证方案，其中数据再次分为几个子集。我们实现了10倍交叉验证方案，其中一个子集用于验证使用其他九个子集训练的模型。在该过程完成后，获得了0.0581的平均交叉验证损失观测参数是从图1所示的混淆图中得到的。 6，并列于表3中。从表3观察到，神经胶质瘤和健康脑样品以98.21%的准确度分类。其他参数如特异性、灵敏度、精密度等也在95%以上，显示出良好的性能。F1的成绩也接近1。吸引力的主要参数是执行时间和参数数量。在这种分类场景中，我们提出的方法的执行时间也低至64.5s，参数总数仅为1，00，82，692，与我们早期的研究相似（Kesav和Jibukumar，2021）。这是由于该架构的低复杂性，使其能够在规格较少的系统上表现良好。这也可以帮助减少系统的总时间消耗，使得系统可以有效地用于实时处理。图7中还绘制了受试者操作特征（ROC），其具有在X轴上的真阳性率和在y轴上的假阳性率。对于每种情况计算的ROC的曲线下面积（AUC）因此，从本节中我们可以得出结论，双通道CNN可以有效地用于神经胶质瘤和健康肿瘤之间的分类。分类的胶质瘤图像被传递到下一阶段用于检测肿瘤区域。3.2. 使用RCNN检测肿瘤类型并指定其位置现在我们将使用RCNN和双通道CNN来检测和定位肿瘤部分。这里我们只使用数据集1。首先进行了分析和比较通过使用图像标记器过程对图像进行手动标记来获得地面实况框。该特定系统的训练参数在表4中给出。3.2.1. 比较所提出的模型与不同RCNN架构为 了 评 估 性 能 ， 我 们 比 较 了 不 同 的 现 有 架构 以 及 RCNN ， 即Alexnet，VGG16，VGG19，Googlenet和Resnet与我们提出的模型。如前所述，双通道CNN已经在脑肿瘤分类方面进行了可靠的测试，现在我们正在应用它作为RCNN网络用于肿瘤检测的基础。现在我们只关注和比较RCNN的不同架构，稍后我们也会在接下来的章节中将其与快速和更快的RCNN进行比较。从表5中可以清楚地看出，我们提出的系统比其他系统复杂性低，并且比所有其他架构都更好。在准确性方面，除了VGG19和Resnet之外，所有架构都能够在培训期间产生100%的验证准确性除上述架构外，损耗也相当低现在来看看主要参数的执行时间，可以看出我们的模型是最快的，只需要277.17秒就可以完成整个训练和测试。与其他网络相比，它可以执行快速检测，这是由于它的低复杂性。它在胶质瘤样本的肿瘤检测中明显优于其他所有架构。获得所有这些参数值并针对同一数据库进行比较。图8给出了使用RCNN的所有架构的准确度比较。所有的架构都被训练了总共10个时期。此处显示的准确度具体为训练部分期间的验证准确度。对于所有架构，在训练开始时准确度较低，在训练结束时准确度达到100%。从比较图中完全可以看出，我们提出的RCNN方法具有更好的性能。它有更好的N. Kesav和M.G. 吉布库马尔沙特国王大学学报6236见图6。 混淆图。见图7。 接收机操作员特性。精度曲线和收敛速度。所有其他架构，如Alexnet，VGG16，VGG19和Googlenet，都显示出与我们提出的方法相似的性能曲线。但与其他体系结构相比，Resnet的性能较差。对于所有其他体系结构，表4使用RCNN训练检测参数参数值最小批量32初始学习率0.001最大epochs数10随机梯度下降学习算法曲线最初但是resnet在最初的几个世纪里有一个下降后来它达到了一个很高的值，但在训练过程中不能像我们提出的模型那样达到100%的验证准确率。我们还想提到的是，所提到的准确性和损失都是在训练阶段。现在转到图9，我们可以看到，所有架构的丢失率在第一个时期的开始处具有高值，并且在第十个时期处收敛到接近零的值。在所有不同的架构中，我们提出的具有双通道CNN的RCNN具有更好的收敛速度。它收敛到所有其他架构中的最小值。Alexnet的损失值非常高，但它成功地收敛到最后。VGG16也从一个非常高的值开始，然后收敛。再次，这里谷歌网络的损失率有一个轻微的变化从其他人。它在中间达到一个高值，然后显示出一个突然的收敛，这不是一个稳定的模式。resnet的问题是它无法收敛到接近零的值。这会影响系统的整体性能。但是我们的系统在整个训练过程中表现出稳定的性能。因此，从准确度和损失比较图中，我们可以得出结论，N. Kesav和M.G. 吉布库马尔沙特国王大学学报6237表5不同RCNN架构的性能参数与所提出的方法的比较参数AlexnetVGG16VGG19ResNetGoogLeNet该方法最终确认准确度100%的100%的90.63%71.88%100%的100%的最终亏损0.03710.09390.20590.54630.01960.0186经过时间1209.994秒19984.367秒25543.174秒8439.802秒3209.704秒277.17秒见图8。RCNN的准确性比较我们所提出的模型对于检测胶质瘤肿瘤的位置具有优越的性能使用双通道CNN作为RCNN的基础网络从神经胶质瘤样本中定位肿瘤获得的输出如表6所示。在50个受试样本中，随机选择3个胶质瘤样本，并制表以显示结果。检测到的区域被包围在边界框中。表6还给出了指定四个坐标位置的每个样本的预测区域的边界框值。从表中可以看出，边界框正确地包围了受肿瘤影响的MRI区域。每个图像都是用一个单独的置信度来检测的。所有50个样本的平均置信度得分为98.83%。实验结果表明，所采用的检测方案能够有效地检测出胶质瘤并进行定位。使用双通道CNN的分类部分需要64.5秒的执行时间。根据我们以前的工作（Kesav和Jibukumar，2021），已经证明双通道CNN的执行时间比Alexnet，VGG-16等其他架构少得多。对于检测部分，我们提出的RCNN的执行时间为277.174秒，其中特征提取层CNN被双通道CNN取代。因此，结合这两个过程，其仅花费341.674 s的总时间，这比表4中已经被结合的所有架构少得多，其中表4仅示出了检测过程所花费的时间（不包括分类）。因此，总共只增加了64.5 s，这仍然有助于证明我们提出的系统具有最少执行时间的想法。3.2.1.1. 使用双通道CNN的RCNN与快速和更快的RCNN的比较。在使用RCNN建立了所提出的架构的性能之后，我们将其性能与快速和更快的RCNN进行了比较。我们之前已经提到了RCNN速度降低的原因以及越来越快的RCNN的发展。但是这个速度降低的问题可以在双通道CNN的帮助下解决，因为它是一个非常不复杂的结构，总共只有1，00，82，692个可训练参数。在这里，为了分析和比较，我们考虑了两种情况，Alex- net with Fast RCNN和Alexnet with Faster RCNN。我们的传统的RCNN与两个通道CNN作为骨干相比，上述两种架构，并将结果列表。同样，该分析也在胶质瘤样品上进行，其已经从分类阶段分类。这里我们使用与前面讨论的相同的性能参数。从表7中可以非常明显地看出，所提出的方法具有与快速和更快的RCNN相当的性能。我们可以看到，我们的系统具有100%的最大验证准确率，以及更快的RCNN与Alexnet。而且，我们能够以最小的损失完成训练。我们的主要目标是减少RCNN所花费的总时间，这样我们使用Alexnet的Fast RCNN的运行时间为272.572 s，使用Alexnet的Faster RCNN为232.235 s。很明显，更快的RCNN比快速RCNN工作得更好但这里要注意的事实是，我们提出的模型也显示了277.174 s的低激发时间，这与快速和N. Kesav和M.G. 吉布库马尔沙特国王大学学报62381/ 4 × %见图9。RCNN的损失率比较更快的RCNN与Alexnet。这表明，我们的模型能够为胶质瘤样本提供与Fast and Faster RCNN相当的快速和准确的结果据我们所知，这可能是由于其他架构与快速和更快的RCNN相结合，由于大量的参数，需要更多的时间进行训练而双通道CNN只有非常少的参数要训练，这增加了传统RCNN技术的速度我们的目标是设计一个简单的系统，可以很好地工作，非常低的系统规格，没有任何并行处理能力的帮助下，已被满足。图10给出了到目前为止我们比较的所有不同架构的50个测试样本的平均置信度得分的条形图比较，其中包括RCNN，Fast RCNN和Faster RCNN。100%的置信度分数意味着预测区域与地面实况完全重叠。我们可以很容易地观察到，在所有比较的架构中，我们的模型能够实现98.83%的平均置信度得分，这非常接近更快的RCNN获得的最高值98.99%。Alexnet与Fast RCNN的平均置信度得分为97.41%。可以看出，除了使用RCNN的Resnet只能达到85%之外，大多数架构都可以获得96%以上的图11给出了上述所有架构使用RCNN的VGG 19最多需要25543.17秒的时间，这是因为它需要训练大量的参数。之后是VGG16，RCNN的执行时间超过10000秒。Alexnet与RCNN需要不到2000秒。 Alexnet with Faster RCNN，Alexnet with Fast RCNN和我们提出的模型所花费的执行时间最少。我们的模型优于所有具有RCNN的架构，并且与更快的RCNN具有可比的结果。我们的重点是减少RCNN模型的复杂性，提高检测肿瘤位置的速度。所有这些结果都证明了我们可以实现上述说法。表8列出了执行情况的减少或减少百分比与具有RCNN的其他架构相比，具有两个通道CNN的RCNN的执行时间。减少的百分比如下：初始值-最终值100 4初始值将与不同架构组合的RCNN与具有两个通道CNN的RCNN进行比较，并计算减少的百分比。根据给定的值，当我们将我们的模型与使用VGG16的RCNN、使用VGG19的RCNN、使用Resnet的RCNN和使用Googlenet的RCNN进行比较时，下降的百分比大于80%。当与RCNN与Alexnet比较时，我们获得了70%范围内的百分比下降。这项研究的主要目的是试图减少过度装配造成的数量。过度拟合是指当系统在训练数据上表现良好，但不能正确区分测试数据时发生的。过度拟合有几个原因，如训练数据中的方差或噪声太大，训练样本数量较少，最重要的是模型的复杂性减少过度拟合的一种方法是使用正则化，我们在模型中引入了L2正则化。另一种方法是引入交叉验证机制，我们使用了十重交叉验证方法来确保正确的验证。但是，主要集中于通过减少体系结构的参数总数来降低体系结构的复杂性。我们规定的双通道CNN总共只有1，00，82，692个参数，比现有的架构少得多（Kesav和Jibukumar，2021）。再次，当它与RCNN相结合时，RCNN的性能