医学信息学解锁26（2021）100713基于轻量级自动编码器的脑磁共振图像J. 安德鲁·A·T·S·R。放大图片作者：Robin D. A，K. Martin Sagayam c，Jennifer Eunice c，Marc Pomplund，Hien Dang d，e，*a印度哥印拜陀Karunya技术和科学学院计算机科学和工程系b印度哥印拜陀Karunya技术和科学研究所生物信息学系c印度哥印拜陀Karunya技术和科学学院电子和通信工程系d美国马萨诸塞州波士顿市马萨诸塞大学计算机科学系越南Thuyloi大学计算机科学与工程学院A R T I C L EI N FO保留字：超分辨率MRI图像增强自动编码器A B S T R A C T磁共振成像（MRI）可用于提供详细的解剖信息，例如对定量图像分析至关重要的体内组织和器官的图像。然而，由于诸如患者舒适度和长采样持续时间的约束，通常所采集的MR图像缺乏足够的分辨率处理低分辨率MRI可能导致错误诊断。因此，需要超分辨率技术来获得高分辨率MRI图像。单帧图像超分辨率是提高图像质量的重要技术之一。基于重建的超分辨率成像技术是将低分辨率的MRI图像重建为高分辨率图像的一类单图像超分辨率成像技术。受先进的基于深度学习的超分辨率技术的启发，本文提出了一种基于自动编码器的MRI图像超分辨率技术，该技术可以从低分辨率MRI图像重建高分辨率MRI图像。在合成和真实脑MRI图像上的实验结果表明，我们的基于自动编码器的SR技术在峰值信噪比（PSNR），结构相似性（SSIM），信息保真度标准（IFC）和计算时间方面优于其他国家的最先进的技术。1. 介绍磁共振成像（MRI）[1]由于其非侵入性成像和强大的特性，是给出精确临床结论和强制性调查的最佳方法之一。它用于可视化身体内的解剖信息，如组织，肿瘤，肌肉，大脑，心脏等。MRI在神经和大脑研究中起着重要作用。然而，空间和低分辨率是MRI经常面临的影响诊断过程和后处理的持续问题[2]。医学影像学面临的问题很多[3高质量MRI图像之间的权衡往往伴随着较长的采样时间、患者不适、较强的磁场、增加的费用。这些事情在临床上是有挑战性的，很少有可能。为了在不改变扫描协议或扫描硬件的情况下解决这个问题，超分辨率（SR）方法产生了有希望的结果。SR方法在该领域很受欢迎计算机视觉在过去的几十年里。近年来，许多文献提出了提高图像质量的方法[6超分辨率方法可以分为单图像超分辨率（SISR）和多图像超分辨率（MISR）。在SISR中，SR图像从单个LR图像恢复。在MISR中，基于多个LR图像的聚合精度来重建SR图像。这被认为是MISR方法的主要缺点，因为捕获同一对象的多个图像具有挑战性，并且由于患者的舒适度，临床上不可能SISR [10]方法可以分为基于模型的SR [11]，基于重建的SR [12]和基于学习的SR [13]。基于模型的SR技术使用诸如最近邻、双三次和双线性的插值算法，通过估计HR网格中的像素值来从LR图像重建HR特征。虽然它以高计算效率产生HR图像，但它们导致边缘模糊、伪影模糊和过度平滑的重建图像，* 通讯作者。 Thuyloi大学计算机科学与工程学院，175 TaySon Str.，东达区， 越南河内。电子邮件地址：andrewj@karunya.edu（J. Andrew），madeshselvarani@gmail.com（T.S.R.）Mhatesh），robin.d. gmail.com（R.D.gmail.com（K.M.Sagayam），jennifer. gmail.com（J.Eunice），marc@cs.umb.edu（M.Pomplun），hiendt@tlu.edu.vn（H. Dang）。https://doi.org/10.1016/j.imu.2021.100713接收日期：2021年2月22日;接收日期：2021年8月19日;接受日期：2021年8月19日2021年8月28日网上发售2352-9148/©2021的 作者。发表通过 Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表医学信息学期刊主页：www.elsevier.com/locate/imuJ. Andrew等人医学信息学解锁26（2021）1007132忽略了细节基于重建的超分辨率方法利用高分辨率图像的精确先验知识来解决图像边缘模糊的问题，基于边缘、梯度和全局均值等先验知识来重建高分辨率图像。然而，在高放大率下重建的图像缺乏精细的细节。在基于学习的SR模型中，使用各种机器学习技术来学习SR和LR图像之间的映射。它分析HR-LR图像对，并从LR图像预测HR特征。稀疏编码[14]是一种基于学习的SR方法，通过假设来自字典的LR图像块与来自HR字典的HR图像匹配，可以产生有希望的结果。由于这一假设的局限性和无效性，SR产生了令人不快的结果。为了解决这些问题，最近提出了SR技术的不同变体[8，15最近，由于机器学习的快速发展，特别是深度学习（机器学习的一个子集）模型在提取图像的隐藏特征方面是有效的，并且在图像分类中被证明是成功的[18]。受深度学习能力的启发，许多关于超分辨率研究的文献被提出。最先进的文献包括深度学习模型，如卷积神经网络（CNN）[19]，生成对抗网络（GAN）[20]，残差神经网络（ResNet）[21]和递归神经网络（RNN）[22]。深度学习模型的多种变体在最先进的文献中可用，它们是超分辨率卷积神经网络（SRCNN）[23]，快速超分辨率卷积神经网络（FSRCNN）[24]，深度递归卷积网络（DRCN）[25]，非常深的卷积网络（VDSR）[19]和超分辨率生成对抗网络（SRGAN）[20]。虽然这些方法在重建HR自然图像方面取得了一些成功，但它们不适用于MRI图像。用于MRI图像增强的SR方法也出现在最先进的研究中[8，15，17，26然而，它们产生不相关的伪影和失真。MRI图像的SR方法应提供与临床相关的相关伪影和细节。因此，为MRI图像开发SR方法的挑战是显而易见的，因为现有方法不能满足所有要求，必须开发新的SR方法。Autoencoder [29]是一个无监督的深度学习模型，可以学习图像的表示。最近，已经提出了基于自动编码器的SR [30基于自动编 码 器 的 SR 模 型 产 生 了 有 希 望 的 结 果 ， 降 低 了 计 算 复 杂 度 。Autoencoder是编码器和解码器的组合。编码器学习输入图像并将其转换为潜在空间表示。解码器仅从潜在空间表示重建图像。Dong等人[14]提出了基于稀疏编码的SR模型。稀疏编码假设来自HR字典的HR图像的稀疏表示类似于来自LR字典的LR图像块。稀疏表示噪声提出克服这一假设，采用非局部均值的HR表示可以估计，从LR表示。其他作者，如Wang等人。[33]，Yang和Yang [34]，Chang等人。[35]，Shao等人。[31]，Park等人。[30]，提出了基于稀疏和基于自动编码器的SR方法的类似SR方法。然而，他们大多使用字典训练方法，其中LR图像块可以直接或通过估计被认为是HR图像块。此外，简单的线性映射很难表示复杂的关系，这是现有研究的另一个主要局限性。本文提出了一种基于自动编码器的磁共振成像（MRI）SR模型所提出的模型采取LR MRI图像和输入，并重建相应的HR图像。从概念上讲，自动编码器生成与来自编码器生成的潜在空间表示的输入相同维度的输出图像。在所提出的模型中，自动编码器根据缩放因子从LR MRI切片重建HR MRI切片。它包括特征提取、非线性映射和重建步骤。基于均方误差（MSE）、峰值信噪比（PSNR）等指标对所提出的SR模型的有效性进行了评价 （PSNR）， 结构 相似性 指数 （SSIM） [36]，信息保真度标准（IFC）和计算时间。本文的其余部分组织如下。在第2节中介绍了关于单图像SR的最新文献。在第3节中讨论了所提出的基于SR的修改的自动编码器。第4节介绍了进行的实验，数据集的细节，实验分析和性能评估。最后，第5节结束。2. 相关作品2.1. 使用深度学习的最近，基于深度学习的SR方法在文献中有所增加。人工神经网络（ANN），CNN，GAN是一些流行的基于深度学习的SR方法。基于ANN的SR方法出现于2006年[37]。然而，近年来，基于CNN的SR方法受到了研究人员的更多关注。SRCNN [23]是文献中第一个基于CNN的SR。随后，通过修改深度和超参数来实现最先进的性能，提出了不同的方法变体。FSRCNN [24]是通过简单的网络结构产生高SR图像恢复精度的方法之一。Kim等人提出了VDSR [19]和DRCN [25]，增加了网络深度，并取得了比SRCNN更好的性能。SRGAN [20]是Ledig等人提出的一种基于生成对抗网络（GAN）的SR方法。这是第一个使用GAN重建照片级真实感SR的框架。为了实现这种感知损失函数，已经使用了L2损失函数。Lim等人[38]提出了一种称为增强型深度超分辨率网络（EDSR）的方法。它取得了更好的性能比其他国家的最先进的SR方法。它减少了传统残差网络的层数。当模型大小扩大时，性能进一步提高。为了在单个模型中重建不同放大因子的高分辨率图像，提出了一种称为多尺度深度超分辨率系统（MDSR）的新技术[39]。它使用小波系数与CNN一起重建SR图像。同时，残留神经网络（ResNet）[40]，递归神经网络（RNN）[22]和DenseNet [41]是其他有效的SR方法。Tong等人。[42]提出了一种基于ResNet的具有跳过连接的图像SR方法。Zhang等人。[43]提出了一种密集的ResNet，以实现基于CNN的方法的最先进性能。Tai等人。[44]通过递归块重用参数来减少深度学习模型的参数负担。Hu等人提出了一种级联多尺度交叉网络（CMSCN），以获取更多的信息来重建HR图像。这些方法在自然图像处理（NIP）任务上取得了一定程度的2.2. MRI图像超分辨率由于SR方法在NIP中的成功，基于深度学习的SR方法也被提出用于MR成像领域。基于CNN和GAN的SR方法已广泛用于MRI SR。Bahrami等人提出了一种用于脑MRI的基于CNN的SR方法。[45]。该模型以脑组织的解剖标签和强度作为输入来重建MRI SR。增强型深度残差网络（EDRN）[38]由Zhao等人提出，通过ResNet增强大脑MRI图像的合成多方向。Chen等人[46]提出了一种3D密集连接超分辨率网络（DCSRN），用于使用神经网络架构重建大脑MRI的HR特征Mane等人[24]提出了一种基于FSRCNN的3D CNN来重建MRI图像的高维特征。它缺乏MRI质量和计算复杂性之间的平衡。随着网络的深入复杂性增加。 Oüzyurt等[47]提出了一种模糊C意味着SR CNN方法分割具有高质量特征的脑MRI图像。这种方法使用预训练的网络squeezeNet。基于GAN的SR方法由Lyu等人提出。[27]其中使用常用的SR算法放大MRI图像，并且GAN是J. Andrew等人医学信息学解锁26（2021）1007133双三F⃒⃒⃒⃒⃒⃒HRF训练并生成SR MRI图像。然后利用集成学习方法对SR图像进行最终化Ebner等[48]第48话其中，ILR表示LR MRI图像，IHR表示其对应的HR图像。I LR∈Rn和I HR∈Rm（m>n）. Rn&Rm代表图像基于CNN的胎儿脑MRI重建框架网络分辨率Df表示双三次插值的下采样在参考文献[ 28 ]中提出了一种扩张的卷积编码器-解码器（DCED）网络，通过在不增加参数或层的情况下通过扩大的感受野提取高分辨率特征来提高MRI的分辨率。通过扩大感受野，扩张编码器捕获更广泛的信息。为了对信息进行解码，在研磨伪像和存储精细细节中使用去卷积操作。CNN的池化层造成的输入图像信息损失具有缩放因子f。所提出的基于自动编码器的SR算法旨在从ILR中判断IHR。从ILR中恢复IHR是一个逆问题，其中对于给定的ILR，很可能获得不同的IHR结果。训练基于SR的自编码器从ILR重建图像，它可以在考虑模型损失最小的情况下实现。损失函数可以被定义为优化问题，如等式（2）所示。Park等人的工作解决了这个问题[30]。提出了一种基于自动编码器的CNN图像超分辨率模型，该模型具有一个解卷积层。′=argminIHR LR-D双三次. IH R|第二章该方法在以下方面实现了实质性的最先进性能：我在哪里是通过使损失PSNR、SSIM和计算时间。Xue等人[8]提出了一种渐进子带残差学习SR网络，以提高MRI图像的空间分辨率该模型使用两个并行的学习流，分别学习丢失的高残差和重建MRI图像。Zhao等人[49]提出了一种通道分裂网络SR方法，该方法将MRI图像的分层特征分为残余和密集分支。剩余分支标识要重用的特性，密集分支探索新特性。从上述文献研究中可以理解，图像超分辨率在最近一段时间已经获得了很多吸引力。据观察，基于深度学习的SR技术占主导地位。还可以推断，已经提出了各种最先进的基于深度学习的SR方法，并且它们在一定程度上是成功的。然而，这样的模型缺乏适当的训练数据集，并且已经使用不同的或集成的数据集进行了训练。表1显示了一些流行的SR方法及其规范。3. 材料方法&本研究的主要目的是重建HR MRI与外推信号。MRI图像的原始大小为240 X 240和256 X 256，其基于缩放因子重建缩放因子决定放大倍率（例如，如果缩放因子为2，则原始图像的分辨率将比实际大小放大2倍）。MRI图像信息丰富，因为它们可以检测肿瘤、系统、感染、血管等。当放大原始MRI图像时，图像质量降低，因为原始MRI没有足够的空间分辨率信息。然而，上采样的边缘（即，放大的）图像足够清晰。LR图像不能因模糊效应而被忽略。下采样方法产生模糊或像素化的图像。双三次插值是一种使用缩小因子“2”模糊图像的技术，使用3 x3平均滤波器以及最近邻插值。因此，双三次模糊和pixel信息损失被给出为：功能的符号I LR-D。I HR|2表示L2正则化。输出IHR可以定义为，IHR=F（X;f;θ）（ 3）其中F表示所提出的SR函数潜在空间表示，θ表示参数集，例如函数的权重和偏置，X表示输入LR MRI的局部特征。3.1. 提出的基于SR的基于自动编码器的SR方法由一个自动编码器组成，该自动编码器将ILR作为输入，并基于缩放因子产生相应的IHR。图1示出了基于SR的自动编码器的架构图。除了常规的自动编码器之外，所提出的自动编码器模型由用于特征提取的卷积层和激活函数以及用于恢复的去卷积层组成。所提出的具有跳过连接的SR自动编码器网络的可视化如图2所示。在网络模型中，池化层在选择特征和减少参数时会造成信息损失，因此没有使用池化层。网络末端的去卷积层用于对输入MRI图像进行上采样，并从潜在空间表示重建MRIAutoencoder是编码器和解码器的组合。编码器和解码器的功能如下：φ：X→FF→Xφ，φ = arg φ，φmin X-X′|第二章（四）其中φ和φ表示编码器和解码器功能，X表示输入ILR，F表示潜在空间表示。ILR =Dbicubic （IHR）（1）等式（4）示出了自动编码器函数的损失函数，其中X′代表的重构图像我是HR。的隐藏层表1最新SR方法的比较。参考SR方法输入上采样技术损失函数重建Dong et al.[23] SRCNN自然图像双三次CNN L2（MSE）直接Kim等人[25] DRCN Natural Images Bicubic CNN L2Direct Dong等人。[24] FSRCNN Natural Images DeConv CNN L2Direct Kim et al.[19]第19话第19话第19话Ledig等人[20]第二十话Lim等人[38]第三十八话Sub-piXelGAN L2+感知损失直接ResNet L1 DirectHan等人[63] DSRN Natural Images DeConv RNN L2Progressive Shao et al.[31]第31话第一次见面Park等人[30] ACNS MRI Bicubic Autoencoder inspired CNN MSE DirectPham等人[61] DCNN-SCSR MRI子像素X像素自动编码器L2直接Xue等人[8] PSR-SRN MRI Bicubic ResNet MSEProgressive Zhao等人。[49] CSN MRI Bicubic ResNet和DenseNet L1 L2 Direct&Lyu等人[27] ELSR MRI Bicubic Entrance learning MSE Direct我HRJ. Andrew等人医学信息学解锁26（2021）1007134∑∑=（F表示输入ILR图像的潜在空间表示。Fi+fXi+fi=1=deconv Xi+f+Wi+f+Bi+fn图1.一、建议的SR自动编码器的架构。以下方程式。F1=max （ W1.X+B1 ， 0 ） +αmin （ W1.X+B1 ， 0 ）（ 8）其中卷积运算被表示为“。‘, max () and min () represents activationfunction,ILR和IHR之间的非线性映射如下：图二. 具有跳过连接的SR自动编码器网络的可视化。功能表示为：F= f（W. X+b）（5）nFi（Xi）=max（Wi+Xi+Bi，0）+αmin（Wi+Xi+Bi，0）（9）i=1其中Fi，Xi，Wi和Bi表示第i次递归的非线性映射。在特征提取和非线性映射之后，将所获得的HR特征给予去卷积操作以基于缩放因子和所获得的HR特征集合来重建HR MRI。其表示如下：X′f W′. F+ b）（6）。）的。）等式（4）和（5）表示隐藏层函数。激活函数定义了网络中每一层的输出。在其中deconv（）表示去卷积运算，并且Fi+f，Xi+f，所提出的SR自动编码器“ReLu“激活函数与优化器“Adam”一起用于每一层。R（z）=max（0，z）（7）等式（6）示出了激活函数R（z）.所提出的基于自动编码器的SR方法包括特征提取、非线性映射和重构。 基于感受野提取IHR的局部特征。它是使用（十J. Andrew等人医学信息学解锁26（2021）1007135Wi+f，Bi+f表示具有比例因子f的参数。整体所提出的系统的操作总结在下面的算法中。算法基于自动编码器的SR3.2. 性能度量所提出的基于自动编码器的SR训练的重点是获得J. Andrew等人医学信息学解锁26（2021）1007136Sr∑Sr×MNn=1m=1SSrSrSHR原始IHR和重建I HR之间损失最小的最佳θ表2′. 它由均方误差（MSE）计算[50]。评价数据集详细信息。为了评估所提出的SR研究的性能，我们使用了典型的SR研究指标，即峰值信噪比（PSNR）[51]、结构相似性指数（SSIM）[52]和信息保真度标准（IFC）[53]。计算损失度量MSE以理解在链接重建的MRI图像和目标图像超分辨率方面的差异。MSE损失度量可以表示为：M NLMSE=1∑ ∑[I′（n，m）-F.IH R.n，m）]2（11）MRI图像来自BraTS 2017和MRBrain 18。表2总结了实验中使用的数据集其中，n、m是图像的pixel维度。LMSE逐像素计算原始HR MRI图像和来自LR MRI图像的重建SR MRI图像的MSESSIM是用于计算重建图像质量的性能度量。SSIM由Wang [36]开发，用于量化重建图像的质量退化。重建的SR图像的结构质量由下式给出：4. 实验结果&在这一节中，数据集的细节，实验配置，实验分析，并提出SR自动编码器的性能评估。4.1. 培训SSIM（2μs μSR+C1）（2σSSR+C2）=. μ2+μ2+C1）+（σ2+σ2（十二）+C2）所提出的SR自动编码器模型已经通过考虑以下因素进行了训练：把原始的核磁共振图像作为真实的数据LR图像是通用的-μ和σ分别表示平均值和标准差。C1和C2是引入稳定化公式的常数。如果重建的SR MRI图像和HR MRI图像相同，则SSIM值为1。PSNR计算实际和重建SR图像之间的峰值信噪比的分贝。PSNR的值越高，表示重构的SR图像的质量越好。PSNR值可以通过等式（13）计算：使用等式（1）从原始MRI图像计算。我们的模型是分别在两个公共数据集上进行训练和实验。比例因子已选择为“2”。因此，原始MRI图像的分辨率从256 X 256降为128 X 128，从240 X240降为120 X 120。将数据集分为85%和15%，分别用于训练和测试。实验在GoogleColab Tesla K80 GPU和16 GB RAM上进行。配置有Adam opti的SR自动编码器模型PSNR=-10logeMSE（十三）学习率为0.001，β1=0.9，β2=0.99。10S2IFC计算原始MRI和重建的HR MRI之间的互信息。4.2. 实验分析所提出的SR自动编码器模型训练损失使用以下公式计算：IFC=k∈子带I. CNk，k;NNk，ksNk，k）（14）等式（11）。通过反向传播使模型损失最小化。该网络经过1500个epoch的训练。模型其中，Nk表示针对CNk，k、NNk，k和sNk，k的k个子带的系数。3.3. 数据集详细信息提出的SR自动编码器已在多模态脑肿瘤分割挑战（BraTS 2017）[54BraTS 2017由285张分辨率256 256X 3.它包括四种模式的脑部MRI扫描，如T1，T1加权，T2加权和T2 FLAIR。选取200张T1、T2 FLAIR序列的MRI图像。MRBrain 18由T1、T1-IR和T2-FLAIR组成。我们选择了31个MRI切片进行实验。MRBrain18的MRI图像尺寸为240 × 240。 图 3显示样品在没有过拟合的情况下实现了最小的MSE损失。然后用15%的试验数据对模型进行了检验。测试数据的一些随机样本输入和输出在图4（a）中示出为下采样的LR MRI图像，图4（b）是重建或上采样的MRI图像，并且图4（c）是地面真实MRI图像，即，原始的MRI图像。该模型进一步测试与随机图像从数据集。 MSE值是在输入和重建的SR图像输出之间的像素质量差下计算的。图五. 使用随机数据集图像进行模型测试MSE值是实际图像和重建的SR图像之间的偏差。在图5中。(a)左手侧图像是重建的MRI图像，右手侧图像是原始图像我HR数据集图像属性图像计数训练集测试集2017年巴西国际汽车展[54]T1和T2 Flair 256×256X 320017030[57]第57话T1和T2 Flair 240×24031265J. Andrew等人医学信息学解锁26（2021）1007137图3.第三章。数据集中的MRI图像样本。J. Andrew等人医学信息学解锁26（2021）1007138见图4。所提出的SR自动编码器的EX实验结果（a）输入：缩小的脑部MRI图像（b）输出：重建的SR脑部MRI图像（c）原始HR脑部MRI图像。图五. 模型测试。 (a)Mse= 0.05和SSIM= 1.00（b）MSE= 0.04和SSIM= 0.99。核磁共振成像。图像之间的MSE值为0.05，结构相似度值为1。这表明模型生成的SR图像与实际HR图像相同。图五. (b)显示了类似的SR类型 和原始图像，其中MSE值为0.04，但SSIM值为0.99.这表明该模型重建了具有原始质量的高度相似的图像。4.3. 绩效评价所提出的SR自动编码器模型与最先进的方法进行了比较：SRCNN[23]，FSRCNN [24]，DRCN [25]，SRGAN [20]，Bicubic [58] ， LRTV [59] ， NMU [60] ， ACNS [30] ， DCNN-SCSR[61]，PSR-SRN [8]和MCSR [62]。这些方法是基于模型和基于深度学习的SR的组合。图6示出了不同现有技术方法的SSIM值的比较图。图6。(a)与其他最先进的方法相比，所提出的SR自动编码器性能更好。该模型实现了较高的SSIM值0.99，这是相对高于其他方法。PSNR是用于评估模型的另一个度量。该模型的平均PSNR值为63。见图6。(b)显示了与其他方法的平均PSNR值比较。所提出的模型比其他方法表现得更好我们进一步评估了所提出的SR自动编码器与MRBrain18数据集的性能。我们提出的模型取得了更好的效果表3MRBrain18数据集上最先进的SR方法的结果。见图6。业绩评价：（a）SSIM值与最新方法的比较，（b）SSIM值与最新方法的比较， PSNR 值 与 最先进的方法方法PSNRSSIMIFC[23]第二十三话26.9050.8461.974双三次曲线[58]22.4580.6880.762NLM [64]26.3180.8272.065ScSR [65]26.0780.8211.586VDSR [19]27.2830.85712.137[第66话]27.7000.8602.067PSR-SRN [8]28.0670.8722.307建议的SR自动编码器29.0230.8842.301J. Andrew等人医学信息学解锁26（2021）1007139表4运行时间比较。方法缩放因子时间（秒）SRCNN21.59FSRCNN21.96DRCN29.06建议的SR自动编码器20.32PSNR和SSIM值与MRBrain18数据集上最先进的SR方法相比。我们的模型实现的IFC值也优于大多数方法。表3显示了结果的比较分析。用于评估所提出的方法的结果是在测试数据集上获得的结果所提出的模型的性能进行评估的基础上运行时间。表4显示了SRCNN、FSRCNN和DRCN等方法的运行时间比较。运行时间基于比例因子为“2”的BraTS 17数据集。与其他方法相比，我们的方法是最快的，这证明了所提出的方法是轻量级的。5. 讨论本文的主要目的是从一个单一的低分辨率MRI重建HR MRI。为了实现这一点，本文提出了一种基于自动编码器的MRI图像SR方法。SR自动编码器擅长从LR MRI潜在空间表示重建HR MRI。所提出的方法在PSNR、SSIM和IFC方面具有更好的性能，并且与最近的最先进的方法相比，该架构的轻量级性质降低了计算复杂度。所提出的方法的网络结构是简单的，使用较少的参数。所提出的方法的网络结构是通过实验确定的，详细信息可在第3节中获得。该架构提供了MRI图像质量和计算复杂性之间的平衡。在我们的方法中使用的参数的数量是5480，而其他国家的最先进的方法，如SRCNN和FRCNN分别使用8032和12,464，这是2或3倍以上的提议的方法。参数数量的减少使计算复杂性最小化。当网络架构中的层数增加时，它会增加使网络训练繁琐的参数数量。虽然与其他方法相比，参数的数量较少，但由于其合适的网络结构，该方法的性能优越表4比较所提出的方法的运行时间，其相应的，响应缩放因子。很明显，DRCN需要更长的时间来计算结果，这是因为网络的深层性质。DRCN的网络结构有18层，1，774，080个参数。虽然SRCNN具有最浅的网络架构，只有3层，但由于其层内设计，它需要更长的运行时间。因此，我们提出的网络架构具有6层和减少的参数数量，并且在不影响图像质量的情况下，在运行时间方面具有优势。此外，所提出的基于自动编码器的SR方法的性能进行评估的基础上，标准的性能指标，以衡量图像的质量，如PSNR，SSIM和IFC。与使用类似数据集进行实验的其他最先进方法相比，我们的方法实现了63的最佳PSNR值。图6示出了通过不同的现有技术方法实现的SSIM和PSNR值的比较。性能指标值表明，所提出的方法已经重建的MRI图像与足够的细节。这背后的原因是网络架构中自动编码器的学习能力。自动编码器模型从输入MRI图像学习潜在空间表示。然后，基于潜在空间表示码来重构所得到的图像。网络架构末端的反卷积层重构根据由卷积层和潜在空间表示提取的特征来生成MRI图像。所提出的方法在两个公共真实数据集（BraTS 2017和MRBrain 18）上进行了实验。图4示出了所提出的方法的逐步过程。图4（a）示出了缩减和模糊的图像，其缺少来自MRI图像的适当细节并且作为深度学习网络的输入给出。图4（b）是根据给定输入MRI图像重建的MRI图像。图4（c）是来自数据集的对应原始MRI图像。然后将重建图像与原始图像进行比较，并计算性能度量值。图5示出了来自数据集的随机图像的测试。SSIM值几乎为1.00，这表明与原始图像相比，重建图像中没有损失。此外，MSE值最低，证明误差极小。所提出的方法的总体性能如图6和表3所示。它表明，所提出的方法是有优势的其他国家的最先进的方法。我们提出的基于自动编码器的SR方法有可能减少MRI采样时间，同时仍能获得更高的图像质量。它给患者带来目前的工作仅限于2D MRI切片重建。所提出的方法不考虑3D MRI图像特征，如结构和空间信息。我们正在积极努力，将此作为我们未来研究的方向。在实验中，我们注意到模型的性能不是基于过滤器，填充或层数，而是基于其组合。我们还用多层的深度自动编码器模型试验了我们的模型，但它不能实现更好的图像质量。然而，我们观察到任何基于深度学习的SR方法的性能都受到训练的影响。因此，它给我们一个警告， 这种深度学习模型应该谨慎使用，特别是在医学成像领域。6. 结论高分辨率（HR）MRI图像对于为临床诊断提供更详细的信息至关重要。然而，由于患者不适，采样时间长和信噪比差，因此具有挑战性。为了解决上述挑战，我们提出了一种基于自动编码器的MRI图像超分辨率方法，通过低分辨率（LR）MRI图像和 HR特征和LR图像的潜在空间表示。所提出的基于自动编码器的SR方法已经在公开可用的BraTS 2017和MRBrain 18上进行了实验。实验结果表明，该方法不仅在PSNR、SSIM和IFC方面优于现有的SR方法，而且计算复杂度也有所降低。此外，我们还分析了该方法在深度学习参数数量方面的性能。与SRCNN、FSRCNN和DRCN等最先进的方法相比，所提出的方法使用更少的参数，并且被证明是轻量级的，而不会影响图像质量。因此，所提出的方法可以用于实时HR MRI重建。然而，我们注意到，深度学习模型的性能 与训练集的质量成正比。本研究仅限于2D平面内分辨率MRI增强。在未来，我们的工作旨在增强三维MRI图像，考虑到图像的幅度和相位。竞合利益作者声明，他们没有已知的可能影响本文所报告工作J. Andrew等人医学信息学解锁26（2021）10071310确认我们要感谢我们所有的大学为我们提供时间支持本文。引用[1] Ogawa S，Lee TM，Kay AR，Tank DW.血氧浓度依赖的脑磁共振成像对比度研究。Proc. Natl. Acad. Sci. U.S.A.Dec.1990;87（24）：9868-72.https://doi.org/10.1073/pnas.87.24.9868网站。[2] 吕勤，游春，山宏，王刚.通过深度学习实现超分辨率MRI。2020. arXiv. 十月15，2018，访问：5月13日，http://arxiv.org/abs/1810.06776.[3] AndrewOnesimu J，Karthikeyan J. 一个有效的隐私保护深度学习方案用于医学图像分析。特刊：人机交互的重要性：挑战，方法和应用J Inf TechnolManag 2021年12月;12：50-67。https://doi.org/10.22059/jitm.2020.79191网站。[4] 放大图片作者：Andrew J，Fiona R.“各种深度卷积神经网络在癌症早期预测中的比较研究”，2019年智能计算和控制系统国际会议。ICCS 2019; May 2019.第884- 890页。https://doi.org/10.1109/ICCS45141.2019.9065445网站。[5] 张文辉，李文辉，李文辉.使用深度学习技术的脊柱磁共振图像分割2020年第六届先进计算和通信系统国际会议ICACCS 2020：945-50。https://doi.org/10.1109/ICACCS48705.2020.9074218。Mar. 2020年。[6] 渡边A，古川H。高分辨多道傅里叶变换光谱仪的超分辨技术。Opt EX Press2018年10月;26（21）：27787。https://doi.org/10.1364/oe.26.027787网站。[7] ParkJ， Hwang D，Kim KY，Kang SK，Kim YK，Lee JS.使用深度卷积神经网络的计算机断层扫描超分辨率物理医学生物学2018;63（14）.https://doi.org/10.1088/1361-6560/aacdd4网站。[8] X. Xue，Y.王杰，李杰，Z.焦，Z. Ren和X. Gao，“Progressive sub-bandresidual- learning network for MR image super resolution“，IEEE J.Biomed.痊愈的《信息学》，第24卷，第2期，第120页。377- 3 8 6 ，2 0 2 0 年 2 月 ， d o i ： 1 0 . 1 1 0 9 / J B H I . 2 0 1 9 . 2 9 4 5 3 7 3 。[9] Freedman JN等人，用于图像引导放射治疗的超分辨率T2加权4D MRI。Radiother Oncol 2018年12月;129（3）：486-93。https://doi.org/10.1016/j.radonc.2018.05.015.[10] 杨 文 龙 ， 陈 晓 梅 ， 陈 晓 梅 .从 一 个 单 一 的 图 像 超 分 辨 率 。 IEEE InternationalConferenceonComputerVision2009：349-56。https://doi.org/10.1109/ICCV.2009.5459271。[11] 周锋，杨伟，廖庆.基于插值的多曲面拟合图像超分辨率。IEEE TransImageProcess 2012年7月;21（7）：3312-8。网址：http：//doi.org/10.1109/TIP.2012.2189576[12] Lin Z，Shum HY.局部平移下基于重构的超分辨算法的基本极限。IEEETransPattern Anal Mach Intell，2004年1月;26（1）：83-97。https://doi.org/10.1109/TPAMI.2004.1261081网站。[13] 唐毅，严平，袁毅，李晓.通过局部学习实现单图像超分辨率Int. J·马赫。学习.赛博恩2011年3月;2（1）：15-23。https://doi.org/10.1007/s13042-011-0011-6.[14] 董伟，张玲，石刚，李晓.图像复原的非局部集中稀疏表示。 IEEE Trans ImageProcess 2013;22（4）：1620-30. https://doi.org/10.1109/TIP.2012.2235847.[15] Ramanarayanan S等人，使用具有各向同性未抽取小波损失的拉普拉斯金字塔卷积神经网络的MRI超分辨率。收录于：IEEE医学与生物工程学会年度国际会议论文集。2020年7月; 2020年7月。第1584- 1587页。网址：//doi.org/10.1109/EMBC 44109.2020.9176100。[16] Cheng R等人，通过整体嵌套网
