通过Pix 2 Pix-cGANs和NASNet-large的混合方案改进MRI图像中颅内肿瘤扩展的着色和分类

沙特国王大学学报通过Pix 2 Pix-cGANs和NASNet-large的混合方案改进MRI图像中颅内肿瘤扩展的着色和分类Mavra Mehmooda，Nasser Alshammarib，Saad Awadh Alanazib，Asma Basharatc，d，Fahad Ahmade，Muhammad Sajjadf，Kashaf Junaidga巴基斯坦旁遮普省拉合尔市Kinnaird女子学院计算机科学系，邮编54700bJouf大学计算机与信息科学学院计算机科学系，Sakaka，AlJouf 72388，沙特阿拉伯c计算机科学系，Forman Christian College，Lahore，Punjab 54700，Pakistand马来西亚科技大学计算机学院，Skudai，Johor Bahru 81310，马来西亚eJouf University，Sakaka，AlJouf 72341，Saudi Arabia，基础科学系，公共一年级主任f智能犯罪学研究实验室，国家人工智能中心，工程技术大学Al-Khawarizmi计算机科学研究所，拉合尔，旁遮普省54000，巴基斯坦gJouf大学应用医学学院临床实验室科学系，Sakaka，AlJouf 72388，沙特阿拉伯阿提奇莱因福奥文章历史记录：2021年12月21日收到2022年4月24日修订2022年5月21日接受2022年5月29日网上发售保留字：颅内肿瘤影像学磁共振成像检测分段着色条件生成对抗神经网络深度学习VGG-16VGG-19NASNet-LargeA B S T R A C T临床图像处理在医疗保健系统中起着重要作用，是当今时代广泛使用的方法颅内肿瘤影响儿童和成人，因为它是第10种最常见即使适当地获取颅内肿瘤图像，脑中的准确肿瘤分割也是复杂的。如果肿瘤的阶段和形式可以及时识别，那么肿瘤是可以治愈的，为此，研究人员一直在开发复杂的技术和方法。利用MRI数据集T1-CE对肿瘤区域进行自动检测、分割、着色和分类，以识别医学图像中的异常。为了帮助医生可视化肿瘤的形状、大小和方向;只有肿瘤区域在灰度图像中着色。Pix 2 Pix条件生成对抗神经网络（Pix 2 Pix-cGAN）生成了带有彩色肿瘤区域的MRI图像。在定性测量中，我们在生成的图像上实现了0.92%的结构相似性指数（SSIM）平均得分和平均28%的峰值信噪比（PSNR）此外，我们在着色前和着色后阶段分别定量实现了88.5%和92.4%的分类准确度（CA），并使用NASNet-Large进行了其他测量©2022作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。缩写：VGG，视觉几何组; NASNet，神经结构搜索网络; cGANs，条件生成对抗网络;SSIM，结构相似性指数; PSNR，峰值信噪比。*通讯作者。电 子邮 件地 址 ：nashamri@ju.edu.sa （N.Alshammari ） ，sanazi@ju.edu.sa（S.A.Alanazi），asmabasharat@fccollege.edu.pk（A.Basharat），gmail.com（F.艾 哈 迈 德 ） ， 穆 罕 默 德 . kics.edu.pk （ M 。 Sajjad） ， kjunaid@ju.edu.sa （ K.Junaid）。沙特国王大学负责同行审查1. 介绍细胞在特定身体部位的不受控制的增殖被称为癌症。肿瘤是由异常细胞增殖引起的肿块、微分类和畸形。颅内肿瘤由脑中细胞的不受控制的分裂形成，也称为颅内肿瘤。根据美国国家脑肿瘤学会（NBTS）的数据，大约20%-40%的癌症会导致脑转移，这代表了98，000至170，000名患者在诊断图中被确定患有相同的疾病。根据2020年全球癌症登记统计数据，男女共有308，102例颅内肿瘤登记病例，共有251，329名患者死于颅内肿瘤。在美国，颅内肿瘤的主要原因https://doi.org/10.1016/j.jksuci.2022.05.0151319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comM.马哈茂德，加-地Alshammari，Saad Awadh Alanazi等.沙特国王大学学报4359×是颅内肿瘤。 它有两种类型，良性和恶性;良性肿瘤具有同质结构，并且其中存在非癌细胞，而恶性肿瘤包括癌细胞。良性肿瘤不会像恶性肿瘤那样以不确定的边界迅速扩散到身体的另一部分。良性肿瘤如果不及时治疗颅内肿瘤的诊断是放射科医生的主要目标（Seetha和Raja，2018; Sharif等人，2020; Saba等人， 2020年）。医学成像有助于检测和诊断疾病;除此之外，它还包含有关临床程序的无价解剖它也有助于理解人体解剖学，这在手术过程中指导手术帮助。磁共振成像（MRI）是一种医学成像技术，使用磁场和计算机生成的无线电波创建人体内部和组织的全面图像大的管状磁体用于大多数MRI设备。当人躺在MRI机器内时，磁场会短暂地重新配置人体内的水分子。 这些配位原子发出微小的信号，用于形成横截面MRI图像，类似于一条面包中的切片（Li等人，2019; Pranoto等人， 2021年）。颅内肿瘤MRI灰度图像中肿瘤区域的自动彩色化是图像处理中的一个研究热点图像中的信息量可以通过添加颜色来提高。USG、FFDM、X射线、CT扫描、放射性药物、MRI、fMRI、DTI、PET扫描和IRT是各种形式的医疗设备，它们以灰度格式生成输出图像，通常具有低对比度强度。彩色化过程在区分肿瘤和正常区域方面起着至关重要的作用。由于人眼不能解释隐藏的信息，因此理解表示结构外观和关于特定区域的信息以进行精确诊断的医学图像是一项复杂的任务。由于用户的参与，它有时会成为一项危险的任务，导致分割中的高错误率。为了克服这个问题，设计了一种方法，该方法在优化算法的帮助下基于强度的相似性将颜色分配给特定像素;该方法被称为基于涂鸦的着色（Yatziv和Sapiro，2006; Wu等人，2021; Ulloa等人，2021年）。找到纹理信息，然后匹配参考彩色和目标灰度图像之间的亮度，它被识别为基于转移的彩色化。彩色输出取决于参考图像的数量（Kim等人，2021年）。已经对使用深度神经网络（DNN）方法的全自动着色进行了大量研究，该方法提高了质量和性能（Cheng等人，2015; Su等人，2020; Iizuka等人， 2016年）。条件生成对抗网络（cGAN）是一种一种生成模型（GM），采用深度学习（DL）技术，如卷积神经网络（CNN）。在机器学习（ML）中，生成建模是一种无监督的学习过程，其需要自动定位和学习输入数据中的模式或模式，使得模型可以用于产生或输出可以从原始数据集中提取的新示例（Mehmood等人，2022; Hasan等人，2022年）。cGAN是通过将问题公式化为具有两个子模型的监督学习问题来指导GM的智能过程：生成器模型，其被指示生成新的插图，以及识别模型，其将插图定义为真实或虚构。cGAN是一个动态且快速发展的领域，通过在各种应用领域中生成逼真的实例来实 现 GM 的 承 诺 ， 最 突 出 的 是 图 像 到 图 像 的 翻 译 任 务（Harshvardhan，2020; Lell和Kachelrieval，2020）。在DL领域，cGAN是最近的突破，因为它们在图像处理领域的潜在应用，尤其是医学成像。与cGAN一样，同时训练两个网络，生成器和图像生成器，生成准确的图像表示（Yi et al.，2019; Viola等人，2021年）。为了克服cGAN中的彩色化任务，利用了不同的目标函数。图像到图像翻译的目标是构建一个双向结构，可以在两个不同的域之间翻译图像。因此，图像到图像转换可以应用于着色任务，因为认为灰度图像和彩色图像属于两个不同的域（Cao等人，2017; Yi，2017）。对于ImageNet，一个用于视觉对象识别软件研究的大型视觉数据库项目，Visual Geometry Group-16（VGG-16）是一个紧凑且广泛 使 用 的 CNN 设 计 。 牛 津 大 学 的 Karen Simonyan 和 AndrewZisserman在2014年创建并交付了VGG-16架构牛津大学的一组研究人员设计了这种架构，缩写为VGG-16，'160表示这种配置包括16层。在ImageNet（一个包含1000个类别的1400多万张图像的数据集）中，VGG-16模型获得了92.7%的前5名测试准确率。2014年，它是ImageNet大规模视觉识别挑战赛（ILSVRC）最知名的模型之一。它对AlexNet架构进行了改进，用多个3*3内核大小的过滤器一个接一个地替换了大型内核大小的过滤器（Yang等人， 2020年）。 视觉几何组-19（VGG- 19）网络的几何结构与VGG-16网络的几何结构相当相似; VGG-19网络仅具有三个以上的卷积层（Lee等人，2020; Aslam等人，2021; Alanazi等人， 2021年）。在过去，基于专业人类知识和先前经验的高效网络设计是成功的。然而，由于人类知识和能力的限制，目前的研究方向是在很少（或没有）人类参与的情况下自主创建实用的神经网络拓扑结构术语NAS指的是机器辅助高效神经网络架构设计的新兴研究领域与基于修剪、量化和张量分解的高效网络设计不同，NAS搜索高效的DNN，而不依赖于底层模型。 训练超级网络、评估采样网络以及训练发现的网络是现代NAS架构中的三个主要过程（Ghimire等人，2022年）。谷歌推出了神经架构搜索网络（NASNet-Large），它将寻找理想的CNN架构的任务定义为强化学习（RL）问题，这要归功于其庞大的计算机容量和工程人才。从本质上讲，目标是在给定的搜索空间中找到滤波器大小、输出通道、步幅、层数和其他特征的最佳组合。给定数据集上搜索架构的准确性是对该RL环境中每个搜索周期的补偿。在ImageNet竞赛中，NASNet-Large获得了最先进的结果。另一方面，NASNet-Large所需的计算机能力如此之大，以至于只有少数公司能够应用相同的技术。卷积神经网络NASNet-Large已经从ImageNet集合中学习了该网络可以将照片分为1000个不同的对象类别，包括键盘，鼠标，铅笔和各种动物。因此，该网络已经为各种图像学习了各种丰富的特征解释网络的图片输入大小为331331像素（Hossain等人， 2022年）。在疾病进一步发展之前，通过MRI在初始阶段忠实地诊断患者的肿瘤是相当具有挑战性的。虽然大多数脑部疾病是无法治愈的，但早期发现和治疗可以大大减少严重脑损伤的机会。MRI、fMRI、PET、DTI和其他用于颅内肿瘤诊断的相关成像技术可以识别此类异常。M.马哈茂德，加-地Alshammari，Saad Awadh Alanazi等.沙特国王大学学报4360在这项研究中，cGAN预计将用于更逼真的彩色肿瘤区域图像，使其更易于感知和可靠，以进行精确诊断。定量和定性的措施被用来准确地评价生成的图像。据我们所知，这项工作是第一次。以下是我们对研究领域的贡献。以前的工作集中在肿瘤分割或彩色化的整个灰度图像。我们的工作仅专注于通过Pix 2 Pix-cGAN检测，分割和着色肿瘤区域。与现有的彩色化技术相比，在图像中生成更逼真和准确的彩色区域，以帮助医疗从业者可视化肿瘤区域的形状、大小和方向。通过NASNet-Large生成的颅内肿瘤区域的合成MRI图像分类。定性和定量验证方法用于评估所生成的合成图像的质量本文在第3节中，框架，数学建模和算法之后是模型的概述.还讨论了基于Pix2PixcGANs模型和参考图像的生成。第四节对实验结果进行了分析和讨论。最后，在第五节中给出了结论，包括实验细节、输出结果以及我们未来的研究方向。2. 文献综述在这一部分中，进行了文献研究，以揭示不同的研究者试图提高对医学模态的理解，有效地有助于医学图像分析。为了预防和治疗疾病，高质量的肿瘤区域彩色医学图像可以随着感知可见度的增加而提供帮助。与基于DL的算法和cGAN相关的几项研究突出了它们在各个领域的应用，这已被证明是颅内肿瘤彩色化的建议思想的重要指导来源。在颅内肿瘤分割下，将颅内肿瘤区域与正常脑组织分离。MRI图像分割改善了颅内肿瘤的诊断和治疗计划。专门用于自动颅内肿瘤分割的出版物数量呈指数级增长。肿瘤具有不规则的形状和边界，使其分割复杂且具有挑战性。在BraTS 2018挑战赛中，基于这些图像对肿瘤检测、分割和患者生存预测进行了研究肿瘤分割采用两步法它检测肿瘤体积之间的不明显差异，并将其分类为瘤周水肿、肿瘤核心和增强的肿瘤（Sohail等人， 2021年）。本研究的重点是开发一种计算效率高且准确的颅内肿瘤检测和分割方法首先利用离散小波变换（DWT）从输入信号中提取颅内肿瘤图像的特征对小波分解后的子带图像进行离散余弦变换（DCT）。在概率神经网络（PNN）的帮助下，已经完成了肿瘤和标准图像之间的图像分类（Rai等人， 2021年）。研究人员专注于实现更少的计算时间和更高的准确性，同时提出了颅内肿瘤检测和分割的解决方案。膨胀和侵蚀与无参数k均值聚类的关联使用。在该技术中利用平方误差函数来确保聚类内的数据点的相似性尽可能多，而聚类间的对应性尽可能低（Shivhare等人， 2019年）。在这项研究中，ML分类器和DL分类器的集成被用来分类颅内肿瘤。使用几个预训练的深度卷积神经网络从预处理的颅内肿瘤MRI图像中提取深度特征然后，使用从DNN提取的深度特征作为ML技术的输 入 来 识 别 表 现 良 好 的 前 三 个 深 度 特 征 （ Kang 等 人 ， 2021;Mehmood等人， 2021年）。本研究在MRI图像上对脑膜瘤、神经胶质瘤和垂体瘤进行了分类。设计了基于神经网络的全自动检测、分割和分类方法。神经网络中包含三条处理路径，以处理三个空间尺度上的信息。输出和尺度特征通过朝向四个预测标签的全连接层构成分类方法（Díaz-Pernas等人， 2021年）。在确定的研究中，科学家们致力于通过消除视觉噪声影响来找出灰度图像中隐藏的细节，并恢复图像质量。设计了一个基于灰度的医学图像自动彩色化框架将从目标参考图像计算的色度值分配给源图像以实现着色（Rundo等人， 2019年）。在这项研究中，工作是集中在感兴趣的区域从背景的区分问题。本文在对各种医学图像伪彩色化方法进行文献综述的基础上，针对不同的医学图像数据集，提出了一种高分辨力的伪彩色化模型。对于它们的着色，色调-饱和度-值（HSV）/色调-饱和度-强度（HSI）颜色模型用于通过生成颜色图来实现所需的颜色标度（Chavolla等人， 2018年）。提出了一种新的胸部X线医学图像伪彩色化方法。肺部包虫囊肿寄生虫病患者的X射线选择作为样本图像，通过图像彩色化基本算法的子结果对其应用正弦变换和余弦变换（Wang和Zhang，2022）。本文采用Gabor滤波和Welsh方法，通过灰度图像像素匹配实现颜色迁移，解决了灰度图像着色效果单一、边界不清晰等问题。二维Gabor滤波类似于人类视觉系统中简单细胞的视觉刺激响应。为了提取局部空间和频域信息，对灰度图像进行分层，采用了6尺度4方向滤波。使用威尔士着色方法来渲染分层图像中的相同纹理特征，并且通过这种分层处理，解决了颜色跨界问题（Li等人， 2020年）。在这项工作中使用的场景引导神经网络（NN）的灰度图像着色。而不是YUV颜色空间，他们的方法在红，绿，蓝（RGB）颜色空间中表现良好。在训练集中给出了灰度和它们对应的彩色图像。灰度像素特征与像素的相应RGB值一起用于训练用于着色的NN。线性稀疏编码空间金字塔匹配（Linear ScSPM）自动定位与目标灰度图像最相似的场景。由线性图像分类模型创建的场景引导码本使用SUN属性数据集（Xia等人， 2018年）。●●●●M.马哈茂德，加-地Alshammari，Saad Awadh Alanazi等.沙特国王大学学报4361××确定的研究是基于找到一种改进的方法，通过再生的颜色在像素中的色度值的灰度图像的自动着色。 参考彩色图像已被用于估计这些色度值。通过检查颜色和灰度图像之间的关系来完成变换。他们在工作中使用了LAB和YCbCr颜色空间。数据集有RGB图像，将它们从RGB转换到颜色空间。GAN的训练也在YCbCr颜色空间图像上完成（Zini等人， 2020年）。Welsh方法和Gupta方法是在Luv、YCrCb、YIQ和Lab颜色空间中实现的两种经典的自动彩色化方法。参考图像的亮度信息描述了威尔士方法中的转移结果。使用最小二乘优化方法，简化颜色信息显示结果，Gupta方法中与参考图像亮度的相关性有限。实验结果显示，YCrCb和YIQ颜色空间的两种颜色转移方法的纹理相似性性能优于Luv和Lab（Cao，2019）。确定的研究是基于DNN的三维医学图像彩色化。二维照片的颜色被实时地直接映射到三维MRI，以产生用于真实照片可视化的高保真色量。在GAN的帮助下，输入的MRI体积已转换为相应的灰色冷冻切片。在生成中，在完成着色后，在样式转换中处理灰色卷选择的切片（Taleb，2021）。在这项研究中，GANs被用来对视网膜病变数据集进行着色，引入了感知损失和总变异损失函数;同时，图像的质量也得到了提高，这比只使用GANs要好他们的工作表明，GAN可以将灰度图像着色为RGB图像（Liang，2021）。所确定的研究说明了在没有用户干预的情况下自动对灰度Ariel图像进行着色。他们提出的方法适用于两幅图像的算法，其中一幅是灰度图像，另一幅是参考图像，两者都具有相似的季节特征和位置。从RGB颜色空间，参考图像已经转换到CIELAB颜色空间。对输入灰度图像进行变化检测，并对参考彩色图像进行光照处理，从变化区域中选取训练像素在这些对应的训练像素上，在输入灰度图像特征和参考图像颜色细节之间建立颜色关系以执行着色（Seo等人， 2018年）。所选研究使用从嫌疑人获得的计算机化医学图像（称为眼底图像），并通过DNN（一种流行的糖尿病视网膜病变（DR）分类方法）完成分析。该DR分类系统结合GMM、VGGNet、SVD、 PCA和Softmax分别进行区域分割、高维特征提取、特征选择和眼底图像分类，实现了对称优化的解决方案。建议的VGG-19超过了AlexNet和SIFT（Mateen等人， 2019年）。另一项研究表明，NASNet应针对COVID- 19诊断进行优化。在3411个CT肺部图像的数据集上，使用两种类型的NASNet模型，NASNet-Mobile和NASNet-Large。根据结果，NASNet-Mobile的准确率为82.42% ，而NASNet-Large的准确率为81.06%（Bharati，2020，Nets等人， 2014年）。从上述文献中，我们了解到各种方法已用于MRI图像的识别，分割和着色。对整个图像进行着色意味着医疗专业人员仍然需要识别肿瘤区域。需要对肿瘤区域进行识别、分割、着色和分类，以帮助医疗专业人员可视化其形状、大小和方向。如果仅肿瘤区域在灰度图像中着色，则为了下一代-为了获得更真实、更准确的彩色肿瘤区域图像，本研究中使用了GANs和NASNet-Large。包含GAN和NASNet-Large的混合方案是一种引人注目的方法，它们在图像处理中具有巨大的潜在应用。3. 材料和方法对颅内肿瘤MRI图像中的肿瘤区域进行着色：将高维输入图渲染为高维输出图。这个问题属于图像到图像的翻译任务。在逐像素回归中，输入结构与输出结构高度一致已经提供颜色信息以生成具有与输入类似的相同空间维度所提出的方法考虑了预处理的颅内肿瘤MRI图像，并且其在灰度图像中对肿瘤区域进行着色，并生成用于Pix 2Pix-cGAN的参考3.1. 系统规范在T1-CE MRI图像数据集上，对预期的Pix 2 Pix-cGAN进行肿瘤区域的彩色化评价;然后，部署VGG-16、VGG-19和NASNet-Large对灰度彩色图像进行分类。实验进行了联想移动工作站配备处理器：第11代- ation英特尔酷睿i9，操作系统：Windows 10临64，内存：64 GBDDR4，硬盘驱动器：1 TB SSD，图形：NVIDIA RTX A4000.我们使用Anaconda Prompt（Jupiter notebook）和Orange-v3.5工具对我们提出的方案进行了解释和结果，其中使用的语言是Python。3.2. 影像数据集基准数据集在实验、评估和比较中将创新工具与现有最先进的策略进行比较方面发挥着重要作用figshare网站提供了用于识别所有三个阶段的颅内肿瘤进展的基准数据集它打算增加临床试验，以防止颅内肿瘤疾病在其初始阶段的扩散，并在治疗该疾病方面取得进展。该研究于2015年开始，此后一直在扩展;所有这些阶段都是为了预防疾病和建立诊断工具而启动的。数据集是针对三种类型的颅内肿瘤疾病中的每一种独立采集的。T1-CE MRI图像数据集包括基于二维切片的233例患者的记录南方医院，广州，中国，和总医院是从哪里获得这个数据集的来源2005年至2010年，中国天津医科大学。存在于数据集中的图像是512 - 512像素的平面内分辨率，像素大小为0.49 - 0.49。 T1-CEMRI图像数据集包括1426个胶质瘤切片、708个脑膜瘤切片和930个垂体瘤切片。 Pid表征患者ID; LGT概括了肿瘤标签;对于脑膜瘤肿瘤（1），胶质瘤肿瘤（2）和垂体瘤肿瘤（3）被指定为二维切片的标签;肿瘤边界坐标（x，y）和肿瘤掩模图像（Tij）表示数据集中存在的每个患者切片的信息结构，如图所示。1.一、3.2.1. 影像数据集在数字图像上，借助一些计算机算法进行了一些预处理图像预处理对于克服不完整、不一致和噪声的图像数据集的问题起着至关重要的作用预处理改善了MRIM.马哈茂德，加-地Alshammari，Saad Awadh Alanazi等.沙特国王大学学报4362----我...ÞðÞ0Fig. 1. T1-CE颅内肿瘤MRI图像数据集。通过抑制不必要的失真和增强图像清晰度来减少模糊，这是至关重要的，并要求在任何进一步的程序中获得更高的精度。图像是一个二维像素阵列，数学函数f（x，y）显示了它的水平和垂直坐标，范围在0和255之间。使用各种线性和非线性在低通、高通和几何均值滤波器的帮助下，颅内肿瘤MRI图像可以变得更平滑和cess是颅内肿瘤MRI图像中的肿瘤区域。各种分割技术，例如，阈值、区域和基于边缘的检测方法执行分割。在我们的工作肿瘤，部分图像分割和彩色显示其大小和形状精确和清晰。每个切片的掩模图像在数据集中给出。掩模图像是一个逻辑图像，在感兴趣区域包含0值，在其余部分包含1值图2中的框图和算法1示出了生成参考图像的不同步骤。中位数，最大（侵蚀），和最小（扩张）滤波器增强图像。3.2.2. 强度归一化在颅内肿瘤中，MRI图像分析强度标准化是主要的预处理步骤。在MRI图像采集期间发生强度变化，并且该强度变化影响后续MRI处理的性能，例如图像分割。数据集中的原始图像对比度很差。将归一化应用于强度以改变像素的范围，从而提高图像质量。原始图像强度主要从32768到32767变化这些强度被映射到[0，255]之间的值，其中0是最小值，255是最大值。为了映射[0，255]之间的强度，值在[1，1]范围之间缩放。最初，小于最小值32768的出站值被裁剪为1，而大于最大值的出站值，例如，32767被裁剪为1，而其余的边界内值在[-1，1]范围内缩放。当将[-32768，32767]的值缩放到[-1，1]时，当量其中x0为-32768，x1为32，767，而y0为-1且y1为1。算法1：参考图像输入数据集阅读原始图片归一化图像= uint8（255 * mat2gray（image））读取掩码图像新遮罩图像= Immultiate（遮罩，规格化图像）互补掩模图像= Imcomplete（掩模）颅内肿瘤图像= Immultiply（互补掩模图像，归一化图像）着色肿瘤区域=提取颅内肿瘤图像[Rows，Columns，NumberOfColorChannels] =大小（颅内肿瘤图像）如果NumberOfColorChannels > 1颅内肿瘤图像=颅内肿瘤图像（：，：，2）; //提取绿色通道端初始化遮罩区域红色通道的RGB通道值=颅内肿瘤图像红色通道（掩码）= 255绿色通道=颅内肿瘤图像绿色通道（掩膜）=61x0;x1y0;y11-x 0-x1- x0蓝色通道=颅内肿瘤图像蓝色通道（掩膜）=61其次，缩放值乘以255。最后一类图像从int 16转换为uint 8，如等式16所示。（二）、标准化图像1/4单位8× 255ωy±2× 23.3. 颅内肿瘤图像的检测、分割和彩色化颅内肿瘤MRI图像检测和分割需要用于异常检测、相应治疗识别、手术计划和术后评估（如需要）。由于医学图像中存在奇怪或不规则的噪声，对比度差，边界弱，半自动分割无法鲁棒地工作。颅内肿瘤MRI图像解剖结构复杂，要求对图像进行精确的分割。分割是将异常区域从正常区域中分离出来它根据纹理、对比度、亮度、灰度和颜色从输入的颅内肿瘤MRI图像中提取肿瘤部分该过程的输入是一个灰度级的颅内肿瘤MRI图像，而从亲输出，彩色颅内肿瘤区域= Cat（3，红色通道，绿色通道，蓝色通道）端3.4. 生成对抗神经网络的数学意义为了完成无监督学习（UL）部分，在cGAN架构中，NN用于形成GM。cGAN的架构由两个相互竞争的网络组成：一个是GeneratorNetwork（GN），另一个是Discriminator Network（DN）。通过优化它们的损失函数（LF），两个NN一起工作以提供高仿真输出。GN使用分布从随机噪声样本生成合成样本。在DN生成的样本和实际的训练样本输入到网络中，它增加了分类图像的概率，无论是真的还是假的。GN和DN这两个模型是同时训练的，并具有它们的LF。这里m是实际数据，n是潜在向量（LV），M.马哈茂德，加-地Alshammari，Saad Awadh Alanazi等.沙特国王大学学报4363XXX--图二、预处理和生成参考图像的框图cGAN中的GN使用来自LV的点作为输入来开发新图像。它LDN¼-m2p;z2flogDNm log 1-DNGNn 8能够从平均值为0且标准偏差为1的高斯分布中选择。GN通过训练学习将点映射到具有特定输出图像的LV中，并且这种映射在每次训练模型时都会发生变化。通常使用LV中的随机点生成新图像。LV中的点可以被构造并用作输入或查询以生成特定图像（如果进一步采取的话）。可以在LV中的两个点（诸如两个生成点）之间的线性路径上构造点链。GN（n）是假数据，DN（m）是实际数据的模糊评价，DN（GN（n））是模糊评价Error（c，d）是c和d之间的误差。这些是下面使用的符号：LDN¼ErrorDNm;1错误DNGNn; 0错误3错误当量（3）显示了DN的LF。Error用作非特定的注释，指的是告诉我们两个函数参数之间差异的某个函数。LGN¼ErrorDNGNn;14当量（4）示出了GN的LF，其试图将其最小化在1、用于实际数据的标签和对所生成的假数据（DN（GN（n））的伪评估之间。Hx;yEmxm½-logQm]5当量（5）给出了二元交叉熵（BCE）的计算公式。它在二进制分类问题中用作LF。Hx;y-xmlogqm6m2p由方程式（6），求和表示期望，因为随机变量在分类任务中保持分离。在Eq. （6）可以简化为等式（6）中所示的误差函数。（七）、H.z;bz±1/4Xlog. bz1-zlog.1-bz7当量（8）示出了用于训练DN的LF，并且等式（9）中示出了GN可以通过代入由等式（9）（7）在Eq. （四）、LDN1/4-logDN 2/4-logDN 3/4-log DN 4/4-logDN 5/4-logDN 6/4-log DN9/4-log DN 5/4-log DN 6/4-logz2f假设DN（GN（n））接近1，意味着损失很小，因为GN的log（1）= 0。同样，通过这种方法，很容易看出等式的有效性（九）、当量（10）具有与在等式（11）中导出的LF略微不同的（8）、（9）。最大DN1/4logDN2/4 log 1-DN2/4 log 10Eqs之间的区别（8）和（10）是实质性的，并且取决于测量的最小化或最大化。由方程式（8），LF被框定为最小化，而在Eq. （10）、它被框定为最大化。GAN网络（十）、最小值GN最大值DN最小值logDN最小值 log 1-DN最小值GN最大值11当量（11）示出了最小-最大公式，其证明了GN和DN之间竞争的对抗性质。上面，我们已经为GN和DN定义了单独的LF，因为梯度函数y= log（m）在m = 0附近比y = log（1 m）函数更陡，以最大化（DN（GN（n）。日志（1DN（GN（n）最小化以获得GN性能的更实质性改进。利用GN和DN参数对LF进行了优化当量（12）表示包含GN和DN的值函数VGN;DNEmqdata½logDNm]Enqn½log为了确定由GN建模的分布，考虑新的变量y= GN（n），并将其值代入等式（1）中。（十二）、VGN;DNEmqdata½logDNm]Enqn½log1-DNy]二进制分类中的BCE目标是通过测量输入数据点的差异来确定输入数据点是真还是假¼Zm2p qdatamlogDNmqg来自两个不同的分布。将此误差函数代入公式（（7）在GN我们得到Eq。（八）、×log1-DN y13M.马哈茂德，加-地Alshammari，Saad Awadh Alanazi等.沙特国王大学学报4364电子邮件：info@qdata.com- 是 的Σþmqg-222--zEnd For×j¼ðÞ ¼[中文]ðð ÞÞ]ðz第1页ðÞ ðÞDN的目标是最大化等式中的价值函数。（十三）、V（G，D）对D（m）的偏导数已经在等式中示出（十四）、DNωm表示最佳DN，如等式2所示（十五）、qdatam qgmDNm-1-DNm¼014通过重新排列Eq。 （14），我们得到;算法2：GAN输入：与原始源图像对于训练时期的数量，对于K步，z噪声采样{n 1，n 2. . nz}来自原始数据集的噪声pgDNω mqdatam15个z噪声样本的样本小批量{m 1，m 2. m z}从ðÞ ¼qdata ð m Þ þ g ð m Þð Þ如果某个样本m是实数，我们期望qg（m）收敛到0，qdata（m）接近1。在这种情况下，最优DN将1分配给该样本，并且对于生成的样本m = GN（n），最优DN将指定0作为标签，因为qdataGN（n）应该接近0。DN来自生成数据集的噪声pg（m）分布p数据（m）基于上升随机梯度的rd1Pz1hlogDdmjlog。1维d. Gg. nji在训练值函数时仍然是固定的。当量（15）被代入由等式（16）所示的值函数中。（16）我们得到了Eq。 （17）.z噪声采样{n 1，n 2. . nz}来自噪声pg（n）通过上升随机梯度V GNDNωElogDNωm E原木1DNωm16rd1Pzlog. Dd. Gg. njV GN DNωElogqdataqdatamgmElogqgmqdatamqgmð17Þ3.5. Pix2Pix条件生成对抗神经网络对数属性被利用来拉出log4，如等式（1）所示。（十八）、分母不可避免地要除以2，因为期望中的项发生了变化V_GN;DNω_log4Emqdata2ð18 ÞV_GN;DNω_log4N.K.L.qdat aj. qdataq gD NK L.qgjjqgqgPix 2 Pix-cGAN设计用于处理图像到图像的转换问题。在这种方法中，图像到图像的转换是使用属于cGAN家族的Pix 2 Pix-cGAN完成的为了在目标域中生成合理的图像，使用对抗性损失来训练GNGN通过L1 loss更新：在生成的图像和预测输出之间测量的损失值。通过使用额外的损失，源图像可能的合理翻译将通过GN生成。DN专门用于执行条件图像分类。它以颅内肿瘤MRI灰度图像和彩色图像作为输入，并预测彩色目标图像中的肿瘤区域是否是源图像的合理翻译 图 3说明了gener-用彩色肿瘤区域进行颅内肿瘤MRI.22ð19Þ3.5.1. 发电机网络和配电网的结构当量（19）将期望解释为Kullback Leibler（KL）发散。Jensen-Shannon（JS）散度定义在等式中（20）.输出尺寸和图像首先下采样到瓶颈层，然后上采样到瓶颈表示。跳过连接与相同大小的要素地图一起使用，以连接JP;Q1DNPjjRDNQjjRð20Þ从第一个下采样层到最后一个上采样层。连接用于将下采样层的特征图通道与上采样层的特征图通道VGN;DNω-log4 2：DNJSqdatajjqg 21KL散度可以表示为JS散度，在代入R=1（P + Q）之后，如等式（1）所示。（21）.上面所示的方程已用于描述GANs网络的工作。真实数据和生成数据之间的JS偏差应该尽可能小，因为在cGAN中训练GN旨在最小化值函数V（GN，DN）。从上述数学解释的模型，还可以确定GN在从底层训练样本学习数据分布时起作用;此外，qg和qdata应该彼此接近。当GN可以模仿qdata来模拟令人信服的分布qg时，它是最佳的。cGANs是一个更深的网络;每当一个随机输入噪声n输入到GN时，GN就会尝试通过循环中的反向传播来学习权重。它有一个额外的密集层，卷积层，和非线性。DN在几次迭代后预测并标记生成的输出为实数。整个过程可以通过算法2来解释。采样层GN的U-Net架构的编码器和解码器模块由卷积层、批量归一化层和激活层组成。除了输出层使用双曲正切（Tanh）激活函数外，生成器在其余层中使用ReLU激活函数。Tanh激活函数在输出层中用于生成[1，1]之间的图像像素值。这是因为图像在生成时通常被归一化为[1，1]。所描述的GN架构如图所示。 四、在 DN 中 ， 在 将 一 个 输 入 图 像 （ 灰 度 颅 内 肿 瘤 图 像 ） 尺 寸（256*256）维用三个通道输入网络后，它会给你两个东西的概率：真实或虚假，但不是标量输出，它使用了N*N输出向量，这被称为补丁模型。这种技术的优点是，我们可以输入不同大小的图片，例如，或小于256 × 256像素的图像。补丁cGAN中的DN包含四层卷积、批量归一化和泄漏整流线性单元（Leaky ReLU）块。作为;mqdata½m qg½-Þ端M.马哈茂德，加-地Alshammari，Saad Awadh Alanazi等.沙特国王大学学报4365-图三. 通过Pix 2 Pix-cGAN进行颅内肿瘤区域着色。见图4。发电机网络的架构。图五.鉴别器网络的体系结构。据观察，Leaky ReLU激活功能在DN中有效工作。Leaky ReLU帮助梯度流更容易通过架构访问，如果输入为正，则Leaky ReLU激活函数的输出将为正，如果输入为负，则它将是一个规定的负数。负值通过alpha参数控制，通过允许特定负值通过来启用网络容差。第一层、第二层、第三层和第四层中的批大小分别为64、128、256和512。此外，所有六个层的内核大小都设置为4*4，除最后两个层外，所有四个层的步幅大小批次正常-不为第一层和最后一层部署化。批量大小设置为1，在输出层中使用Tanh激活函数。此外，在GN和DN输入的情况下，输出层中的Tanh激活函数在范围[ 1，1