基于空间和频率双域损失的快速MRI重建方法(StrainNet)

智能系统与应用18（2023）200203基于空间和频率双域损失的StrainNet快速MRI重建Worapan Kusakunnirana，Sarattha Karnjanapreechakorna，Thanongchai Kusakunniranb，Pairash SaiviroonpornbaMahidol大学信息和通信技术学院，泰国佛统府b泰国曼谷市曼谷Noi区Wanglang路2号玛希隆大学医学院放射科，邮编10700A R T I C L E I N F O A B S T R A C T保留字：快速MRI图像重建编码器-解码器CNN频域在MRI过程中获得高通量的主要挑战之一是缓慢的信号采集。可以使用并行成像技术来改进该过程，其中使用多个射频（RF）线圈同时采集较少的原始数据以重建最终MR图像。 目前，所有多线圈MRI机器都具有用于图像重建的并行成像技术。然而，并行成像仍然不能充分加速以减少总的获取时间。另一方面，本文提出一种依靠深度卷积神经网络（CNN）生成具有更高加速因子的高质量重建MR图像的解决方案。所提出的称为StrainNet的方法通过对欠采样数据（即，用于加速过程）转换为高级特征。然后，网络的重要组成部分，称为过滤器，被用来丢弃无关的信息，并解码剩余的特征，重建MR图像。所提出的网络可以用新提出的损失函数双域损失（Dual-DomainLoss，简称DLF）进行端到端的训练，该损失函数结合了空间和频率损失。实验结果基于fastMRI数据集，表明StrainNet在4倍和8倍加速下的性能优于竞争方法。1. 介绍非侵入性成像技术使磁共振成像（MRI）成为广泛的诊断工具MRI的一个重大因此，它导致较低的患者吞吐量。因此，当前和正在进行的MRI研究也集中在提高数据采集速度和改善重建过程。现代MRI机器使用具有多个射频（RF）线圈的多线圈系统。这是因为多个RF线圈可以同时记录目标对象的不同部分，而不是同时记录目标对象的不同部分。一个标准的顺序然而，为了进行这样的采样过程，需要专门的数学算法来将来自多个RF线圈的多个欠采样MR图像组合成单个完全采样MR图像。 这就是使用并行成像（PI）的地方，MRI过程。三种众所周知的PI技术是灵敏度En，*通讯作者。编码（SENSE）Pruessmann等人（1999）、广义自动校准部分并行采集（GRAPPA）Griswold等人（2002）和压缩感知（CS）Lustig等人（2008）。由于其卓越的性能，SENSE和GRAPPA目前用于现代MRI机器。最近，一种针对各种问题的新兴机器学习方法为MR图像重建问题提供 了一 种 很有 前 途的 技 术Hammernik 等 人（2016 ） 、Wang 等 人（2016）、Hammernik等人（2018）。此外，深度学习技术的优异性能使其成为机器学习任务的黄金标准。所以 由于网络的可扩展复杂性结构，深度学习技术很好地适合MR图像重建问题。正如Liang等人（2020）所提到的，基于深度学习的方法被证明具有实现MRI重建任务的高潜力。最近，一些研究工作将深度学习技术应用于具有高加速因子的MR图像重建，电子邮件地址：worapan. mahidol.edu（W. Kusakunniran），j. gmail.com（S. Karnjanapreechakorn），thanongchai@gmail.com（T. gmail.com（P.Saiviroonporn）。https://doi.org/10.1016/j.iswa.2023.200203接收日期：2022年12月14日;接收日期：2023年1月31日;接受日期：2023年2月10日在线预订2023年2667-3053/© 2023作者。由Elsevier Ltd.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applicationsW. Kusakunniran，S.Karnjanapreechakorn，T.Escherapisith等人智能系统与应用18（2023）2002032∑Zbontar et al.（2018），Zhu et al.（2018）显示了有前景的结果。然而，需要大数据集来补偿模型的复杂性，并防止过拟合现象以高加速率实现高质量的重建结果。因此，Facebook人工智能研究（FAIR）与纽约大学Langone Health合作开展了一项研究项目竞赛fastMRI，以研究人工智能（AI）的使用，使MRI采集更快。fastMRI竞赛提供了大规模的原始MRI数据集和基线结果。（2018年）。基于我们的文献综述，使用基于机器学习的方法加速MRI重建过程的剩余研究差距是关于重建图像的质量，特别是对于8倍加速。当与对应的地面实况图像相比较时，重建图像中的细节缺失，如在图1中可见。���=其中，噪声是可以由MRI机器Baert（2007）、Sriram等人测量的噪声。（2020年）。然而，现代MRI机器包含可以同时扫描不同对象部分的多RF线圈系统。他们获取线圈的k空间数据，然后通过自己的线圈灵敏度进行调制来计算MR信号。每个线圈的灵敏度是不同的，由于线圈和对象位置之间的距离。因此，已经被变换的所采集的MR图像将看起来类似于具有不均匀亮度的一组不同图像。下面描述由第-个线圈获取的k空间数据 。������=(������)+��� ,���= 1, 2,...,���中国（2）其中，m是 第n个线圈，m是线圈的总数，并且m是第 n个线圈，图十七岁本文介绍了基于深度卷积神经网络的解决方案来重建MR图像。所提出 的 网 络 Strain- Net 是 基 于 Cho et al. （ 2014 a ， 2014 b ） ，Ronneberger et al.（2015）的编码器-解码器结构开发的。取决于问题域，编码器-解码器结构提供了一种简化来缩放编码器和解码器模块两者中的复杂性。它致力于以高加速率重建MR图像。原始MR数据在k空间中含有大量的高频信号，传统的编码-解码方法无法理解。建议网络的过滤器模块被引入来解决这一挑战。它位于每个编码器和解码器对之间。与应变网络一起，也提出了称为双域丢失（Dual-Domain-Loss，DUTR），以最大化网络性能。建议的网络使用fastMRI数据集Zbontar等人进行训练和评估。（2018年）。本文的主要贡献如下。首先，在层与层之间的每一层中引入了过滤器模块，编码器模块和相应的解码器模块。它有助于减少重建过程中的小尺寸伪影。它还增强了多尺度特征的提取，其中复杂性网络没有扩大。其次，提出了一种损失函数，以结合空间域和频率域的损失。它在训练过程中受益，因为两个域都与重建有关，其中原始数据在频率空间中，输出在空间空间中重建。第三，与原始的基于编码器-解码器的网络相比，所提出的网络的参数数量明显更小。重建的性能可以保持不变，但具有更快的训练和推理过程。第四，当与现有方法相比时，所提出的方法可以13本文的其余部分组织如下。背景和相关工作见第2节。在第3节中介绍了所提出的方法。实验结果在第4节中解释，其中讨论和结论分别在第5节和第62. 背景和相关工作2.1. 并行成像MR采集的缓慢过程是由频域中的全部原始数据引起的，即，k空间需要逐行采集数据，直到原始MR数据包含整个视场（FOV）。与旧一代单RF线圈MRI机器一起，这些机器累积了MR采集的总处理时间。在采集过程之后，可以通过将逆傅立叶变换函数（ω-1）应用于频域中的MR数据来构建空间域中的MR图像。Cartesian空间中的基础MR图像<$���∈<$M，即，空间域，通过下面的等式与笛卡尔空间中的k空间相关。���线圈然后，通过以下方式组合每个线圈MR图像：重建算法如下。������������������=0（������中国（ 3）=1其中，MR重建图像是重建的MR图像，而MR重建算法是重建算法。���������������由于MRI机器可以与多线圈系统同时采集k空间数据，因此每个线圈的k空间将具有从相邻RF线圈传播的因此，所有现代MRI机器都可以相应地加速采集过程该过程减少了欠采样k空间所采集的k空间线的数量然而，当欠采样k空间转换回空间域时，这将导致MR图像包含混叠伪影Hamilton等人（2017）。因此，等式（3）中的重建算法k必须组合所有线圈的k空间。它还必须通过利用冗余数据的扩散来减少或消除这种人为因素。2.2. 图像重建现代MRI机器中使用的最先进的常规重建方法可以分为两大类：SENSE和GRAPPA。这两种重建技术使用不同类型的数据作为输入。2.2.1. 感用于快速MRI的灵敏度编码（SENSE）是在空间域中操作的重建方法。因此，在应用SENSE之前，需要将采集的k空间数据转换到空间域然而，SENSE需要另一个关键的输入数据：线圈这是因为使用SENSE进行重建的MRI机器可能导致具有叠加像素的混叠MR图像。这种现象的发生是因为减小采样k空间线的距离会减小FOV并导致混叠。由于每个线圈的叠加MR图像根据线圈的灵敏度以不同的权重发生。因此，线圈（2004年）。������������������������ =其中，X是展开的MR图像矩阵，X是线圈2.2.2. GRAPPA广义自动校准部分平行采集或GRAPPA是一种在局部k空间数据中操作的方法，与SENSE方法不同，它通过从冗余数据W. Kusakunniran，S.Karnjanapreechakorn，T.Escherapisith等人智能系统与应用18（2023）2002033图1.一、编码器-解码器网络的概述结构。信息Griswold et al.（2002年）的报告。与SENSE方法的另一个不同之处在于GRAPPA使用欠采样的k空间，该k空间保留称为自动校准信号（ACS）的中心区域数据。该ACS计算与每个缺失的k空间线相关的GRAPPA权重（k）。这能够被完成，因为k空间中的中心信息对应于低空间频率信息，其能够被重建到MR图像的总体结构中。因此，通过利用GRAPPA权重和来自所有线圈的相邻采样k空间作为卷积方程，可以用线 性组 合填 充每 个缺 失的 k 空间 线， 如下 所述 Griswold 等人 。（2002），Baert（2007），Hamilton et al.（2017），Blaimer et al.（2004年）。������=��� ∗ (5)其中，k是缺失的k空间数据，k是已知的k空间数据。在填充每个缺失线圈然后，使用平方和方法将线圈2.3. 编解码卷积神经网络近年来，许多类型的深度卷积神经网络已被用于解决医疗相关领域的挑战性问题，因为它们可以根据每个问题的大小和复杂性进行缩放。一种突出的网络类型是编码器-解码器类型。编码-解码卷积神经网络由编码器和解码器两大部分组成编码器模块充当图像特征提取器，使网络能够学习图像的特征。然后解码模块将提取的已知图像特征将它们转换回问题需求，例如，分割目标和重建图像。通常，编码器-解码器网络包含四个编码器和解码器模块，但可以根据问题的复杂性而变化。这种类型的架构使得编码器-解码器网络对于对象分割、图像重建和超分辨率问题具有鲁棒性。Ronneberger et al.（2015）提出了最先进的编码器-解码器卷积神经网络，类似于图1所示的用于生物医学图像分割的称为U-net的U字符。U-net在各种生物医学图像分割问题上取得了非常高的性能。此外，每个编码器模块连续地将输入图像这个过程使U-net能够在多个尺度上学习图像特征。然后，这些提取的特征被传递到每个相应的解码器模块在同一级别的U-网。每个解码器模块将输入图像的大小扩展U-net结构可以实现出色的分割效果，特别是在医学图像上。许多研究工作改进和扩展了原有的U-网结构。Zhou等人提出了U-net的改进版本，称为U-net++，用于医学图像分割Zhou等人（2018）。与原始U-net相比，U-net++包含更多的密集层和一系列嵌套的特征提取器。因此，U-net++的可训练参数数量显著增加，并且U-net++可以超越原始的U- net。Milletari等人提出了编码器-解码器网络，其中其结构看起来类似于V字符而不是U字符Milletari等人（2016年）。V-net也包含与U-net相同的编码器和解码器MRI容积。Gu等人提出了增强的U- net，将原始编码器模块更改为预训练的ResNet-34，以获得更有效的特征提取。（2019年）。由于多线圈MR机器的并行成像技术的出现，有许多技术用于传统技术的重建过程，包括SENSE和GRAPPA，以及需要额外输入数据的更高级技术Lustig等人（2008），Hammernik等人（2016，2018），Donoho（2006）。然而，将深度卷积神经网络应用于MRI图像重建的研究并不多见.例如，Zhu et al.提出了基于CNN的解决方案，可以将欠采样的k空间数据转换和重建为全采样的MR图像，以产生有希望的重建MR图像Zhu等人。（2018年）。最近，提出的方法在fastMRI竞赛中，采用U-net对膝关节和脑部MR图像进行MR图像重建Zbontar等人（2018）。这些研究为深度CNN在MR图像重建中的应用开辟了道路。因此，本文提出了应变网络，也依赖于W. Kusakunniran，S.Karnjanapreechakorn，T.Escherapisith等人智能系统与应用18（2023）2002034图二、拟议的StrainNet的概述结构。图3.第三章。 概述了所开发的编码器模块的结构。编码器-解码器的结构，类似于U网，作为一个主干，带有ad-band-Strainer模块。此外，为了在训练过程中获得更好的性能，引入了双域损失函数。3. 该方法3.1. 应变网在本文中，应变网络提出了基于编码器-解码器型卷积神经网络。它采用多线圈欠采样MR图像作为输入，并输出单个重建的MR图像。图图2显示了StrainNet的体系结构，它由三个部分组成，深度为四个层次。首先，编码器部分充当特征提取器各种比例的特征。由于所提取的特征的质量与特征提取器的数量有关过滤内核）在每个级别。然而，大量的滤波核会导致大量的可训练参数，网络可能难以适应输入数据样本。最终，训练过程会受到过度拟合现象的影响。因此，每一级的编码器模块都是基于性能和网络复杂度之间的权衡而精心构造的。编码过程可以概括为以下等式。���������������������,���=���(������������������������������)(6)其中，R2是网络中第n级的编码器模块，���以连续的顺序。编码器模块还减少输入是多线圈欠采样MR图像。图像的大小在每一个层次的一半，为多尺度特征提取。其次，应变部分从编码器接收提取的特征，并过滤掉不相关的特征。然后，剩余的特征被传递到第三部分，即，解码器。滤波后的特征随后被连续地解码和扩展，直到重构图像具有与输入图像相同的大小。在这项研究工作中，应变网络有四个层次的深度。因此，编码器，过滤器和解码器都存在于所有四个层中，如图2所示，其中相同的颜色都属于同一级别。3.1.1. 编码器模块编码器模块是StrainNet的特征提取器，将多线圈MR图像作为输入数据。每个编码器模块提取特征，并在每个级别将输入图像如图3所示，编码器模块结构显示来自每个子模块的数据流。每个编码器模块由两个子模块组组成，组合了3X 3卷积，归一化，Leaky ReLU激活和辍学。这种结构是为网络的简化和可扩展性而设计的如果在每个级别中需要更多的可训练参数，则可以相应地附加更多的子模块组。此外，卷积层中的滤波器数量可以根据问题的复杂性进行调整。标准化帮助模块将提取的特征标准化为相同的尺度。Leaky ReLU激活将提取的特征从线性空间转换到非线性空间，以增强重要特征。dropout丢弃弱提取的特征。最后，输入图像W. Kusakunniran，S.Karnjanapreechakorn，T.Escherapisith等人智能系统与应用18（2023）2002035图四、建议的过滤器模块的概述结构。使用max pooling。然后将提取的特征传递到Strainer模块和下一个编码器模块。3.1.2. 滤网模块如图2所示，Strainer模块被放置在StrainNet内部的每一层的编码器和解码器部件之间。过滤器模块使网络能够在各种尺度下选择高质量的提取特征。此外，所选择的特征被传递到解码器模块，作为用于MRI重建的额外输入数据。特征选择过程可以在下面描述。���������������������,���=���(( ������������������������������))(7)���其中，过滤器是网络中第n层的过滤器模块，而过滤器模块是������������������������是选定的特征。图4演示了过滤器模块的结构，该模块由两个主要组件组成。它们在最后与剩余输入数据连接在一起。第一个组成部分是一组多尺度特征池，称为残差多核池（RMP）Gu et al.（2019）。它作为一个过滤器，在多个尺度上丢弃低质量的特征。因此，RMP适用于帮助StrainNet从混合和复杂的多尺度特征中选择高质量的特征。RMP结构由四个最大池化内核组成：2X2、3X3、5X5和6X6，如图5所示，用于处理多尺度特征。然后，接着进行1X 1卷积以进行降维所选特征在最后与残留特征图连接。第二组件是放大/缩小。它由三个卷积层和一个残差级联组成。放大/缩小可以分为两个子单元。第一个是放大，它在第二个卷积中使用缩放因子减小特征大小。此外，第二子单元是缩小，其将特征尺寸向后增加一步然后将特征分别传递到第三卷积和级联具有缩放因子的放大功能使StrainNet能够从较低级别的编码器模块中学习大致的基本特征。缩小重新调整大小的功能，以匹配解码器模块放大/缩小单元图图2示出了解码器模块在解码器层接收来自（N+ 1）解码器层的输入特征，已经被破解了然而，基本的未解码特征帮助每个解码器模块学习如何用所选择的良好特征重建输出图像。缩放因子由特征尺寸减小多少来确定。这使得放大/缩小能够学习多个级别的基本编码特征。图6显示了放大/缩小结构图。为了实验的简单性，放大/缩小使用缩放因子2。这使得网络可以使用下一级的基本编码特征。3.1.3. 解码器模块解码器模块是从所选择的编码特征重建图像并连续地增加图像的大小的过程下面可以描述解码过程其 中 ， 解 码 ��������������� 器 模 块 是 网 络 中 ������������������ 第 n 级 的 解 码 器 模 块 ， 并 且������������������������������������������是重建的图像。等式（8）显示了通过编码、滤波和解码步骤处理相同网络级别的特征它还使用来自下一级的重建结果作为滤波特征的输入。图7示出了解码器模块结构，除了两组编码器子模块之外，该解码器模块结构还包括两个广告层，包括像素编码层和卷积层piX el shu是用于增加特征然后，附加卷积层被应用于维度匹配。最后，两组编码器子模块被用作中央重建器单元。由于编码器模块和解码器模块也使用相同的编码器子模块，因此可以防止网络难以适应输入数据集。piX el shu e由Shi et al.（2016）提出，用于图像和视频超分辨率。与通常使用数学算法的双三次或线性插值的常规技术不同，像素像素树利用附加特征通过从多个通道中获取特征并将其shu化到具有更大尺寸的单个通道中来执行piXel shu化。如图6所示，作为示例，来自4个通道的2X2特征被转换成单个通道中的4X4特征。因此，该步骤可以减少通道的数量，但是相反地增加单个通道中的特征尺寸。因此，它可以实现比插值方法甚至公知的转置卷积更高质量的重建图像。这是因为，在训练过程中，上采样过程也由网络训练用于重建过程。因此，网络可以学习从每个通道中选择正确的数据作为补充数据来扩展特征的大小。此外，与其他技术相比，使用piX3.2. 双畴损失图9a和图9b分别示出了欠采样的MR图像和由水平轴上的运动模糊表示的人工模糊的MR图像。可以看出，这两个图像在双πX el现象方面看起来彼此接近。因为当将欠采样的k空间变换回空间域时，它生成混叠的MR图像，其中一些像素被折叠到邻近区域中。以及模糊图像，一组像素线性平移到附近像素的位置模糊参数Tiwari等人。（2013年）。如图10a和10b所示，当通过对欠采样和人为模糊的MR图像应用傅立叶变换来创建幅度谱图像时，它们都具有相同的特征。它们是可见光垂直线，代表叠加像素现象。然而，模糊MR图像的幅度谱图像包含均匀扩展的轻垂直线，不像欠采样MR图像的幅度谱图像由于欠采样过程而具有随机扩展的轻垂直线。这些可以区分沿着两个幅度谱图像的水平轴的平均幅度强度值图（即，频率）。如图11b所示，人工模糊MR图像的图形在每个峰值之间包含比欠采样MR图像更平滑的线。W. Kusakunniran，S.Karnjanapreechakorn，T.Escherapisith等人智能系统与应用18（2023）2002036图五. RMP的概述结构。见图6。 建议的放大/缩小组件的概述结构。见图7。解码器模块的概述结构。图八、 pix el shu e操作的概述结构。见图9。（a）欠采样MR图像和（b）人工模糊MR图像的图示。图像（Fig.11a）。图中的每一个峰代表幅值谱图像中的可见光垂直线（图10a和10b）。当对模糊MR图像的图中的峰的数量进行计数时，其等于用于生成模糊MR图像的模糊参数的数量。见图10。（a）欠采样MR图像的幅度谱图像和（b）人工模糊MR图像的图示。W. Kusakunniran，S.Karnjanapreechakorn，T.Escherapisith等人智能系统与应用18（2023）2002037||||见图11。（a）沿欠采样谱MR图像水平轴图形的平均幅度强度值和（b）人工模糊谱MR图像的图示。MR图像（图9b），其中中心峰可计为两个峰Tiwari et al.（2013），Moghlobal and Jamzad（2007）。因此，幅度谱图像可以识别运动模糊及其参数。然后，可以通过根据该知识构建运动模糊模型来应用去模糊过程，Tiwari等人（2013）、Moghad-dam和Jamzad（2007）、MayntX等人（1999）、Ji和Liu（2008）。然而，在幅度谱图像及其图形上的欠采样MR图像因此，传统的建模过程，如去模糊，不能应用。所提出的证据表明，无论是混淆和模糊的MR图像具有相似的空间和频域特性。这项研究不是为去混叠过程（如运动模糊）建模混叠频率数据，而是提出了一种新的损失函数来利用深度卷积神经网络的复杂性，它能够学习非线性复杂特征来训练StrainNet，称为双域损失（Dual-Domain Loss，简称DLS）。SNR是空间和频率上的两个损耗的组合（即，幅度谱）数据空间。下面描述了该方程= 1 1,+ 2(1,)(9)with���1=������������������ −���������一（十）其中，是重建的MR图像 ，并且是真实MR图像，是针对R1的重新缩放因子，R1和 R2分别是空间和频率 R1损失的权重（使得1+2= 1 ）。见图12。用于（a）SENSE和（b）GRAPPA技术的欠采样k空间图像及其对应的欠采样MR图像（c）和(d)在应用逆傅立叶变换之后，分别地。该损失函数使网络能够学习空间重建和地面真实MR图像之间的差异。然而，网络也可以学习频率数据空间中的差异。这将填充幅度谱图像中的缺失数据（即，可见光垂直线）。最终，它将导致减少在重建的MR图像中的混叠伪影。由于基于常规的MR图像重建技术在不同的域上操作，其中SENSE在空间域上，而GRAPPA在频域上。因此，这些技术的欠采样过程是变化的。SENSE需要通过相等地减少k空间线来采集欠采样的k空间，如图所示12a. 相比之下，GRAPPA需要在中心区域中保留所ACS线）以及用于计算GRAPPA的权重的等间距的减小k空间线，如图所示。12B.因此，这两种技术的变换MR图像非常不同，如图12c和12d所示。由于GRAPPA技术通常输出更高质量的重建MR图像。因此，大多数深度卷积神经网络技术，包括所提出的StrainNet，都使用欠采样k空间，类似于GRAPPA类型Zbontar et al.（2018），Zhu et al.（2018）。因此，StrainNet必须学习重建GRAPPA类型的欠采样MR图像。4. 实验结果在本节中，对来自快速MRI数据集Zbontar等人（2018）、Knoll等人（2020）的多线圈膝关节MR图像进行了实验。fastMRI数据集由来自四台不同MRI机器的1，594次扫描的完全采样k空间数据组成所有k空间数据样本均为15通道类型。数据集包括两个脉冲序列：冠状动脉质子密度加权和脂肪抑制（PDFS，798次扫描）W. Kusakunniran，S.Karnjanapreechakorn，T.Escherapisith等人智能系统与应用18（2023）2002038表1在验证数据集上比较所提出的方法和现有网络在多线圈膝关节任务中的性能。模型加速度NMSEPDFSPSNRPDFSSSIMPDFSfastMRI网络（Zbontar等人，2018）U-Net（Ronneberger等人，（2015年）CE-Net（Gu等人，2019年度）U-Net++（Zhou等人，2018年）应变网fastMRI网络（Zbontar等人，2018年）4倍8倍0.0054 0.01120.0046 0.01072015年12月31日0.0222 0.02590.0044 0.01070.0120 0.018137.58 36.3936.6420.96 23.6432.94美元38.60 36.6734.12 34.230.9287 0.86550.9354 0.86930.6431 0.67560.8387 0.82890.9373 0.86950.8915 0.8286U-Net（Ronneberger等人，2015年）0.0087 0.0156 35.54 34.89 0.8997 0.8324CE-Net（Gu等人，2019年）0.2514 0.2045 20.79 23.55 0.6139 0.6658U-Net++（Zhou等人，2018年）0.0256 0.0384 30.73 31.27 0.8164 0.7836电话：+86-021 - 8888888传真：+86-021 - 8888888表2所提出的方法的重建结果为每个组合的验证数据集上的数据集1和 212NMSEPDFSPSNRPDFSSSIMPDFS0.01.00.3729 0.202219.00 23.690.3789 0.54682019 - 05 - 23 0.9243 0.86112019 - 06 - 21 0.0060 0.0119 37.09 36.11 0.9229 0.86072019 - 06 - 21 0.0120 37.02 36.07 0.9230 0.86072019 - 06 - 23 0.0060 0.0118 37.11 36.13 0.9236 0.86090.5 0.5 0.0057 0.01152019 - 06 - 21 0.0054 0.0114 37.62 36.33 0.9275 0.86312019 - 06 - 25 0.0060 0.0118 37.13 36.15 0.9240 0.86152019 - 05 - 26 0.0057 0.0116 37.38 36.24 0.9262 0.86282019年12月31日星期五上午10时30分1.0 0.0 0.0060 0.0118 37.12 36.16 0.9241 0.8618无脂肪抑制（PD，796次扫描）。将膝关节图像裁剪为320 × 320像素。所有实验均采用随机型4倍和8倍掩蔽k空间来模拟MRI机所提出的应变网络与现有的三个图像重建网络进行了比较（见表1）。比较中使用的三个网络是：• U-Net Ronneberger et al. （2015年）• CE-Net Gu et al. （2019年）• U-Net++ Zhou et al.（2018年）所有这三种网络都是最先进的编码器-解码器类型的网络，在许多领域都表现出良好的性能，例如，图像分割、图像重建和图像超分辨率。U-Net是编码器-解码器网络Ron- neberger等人（2015）的巅峰和基线，其中CE-Net是U-Net编码器部分的增强版本，通过（2016），并显示出显著改善的结果Gu et al.（2019年）。另一方面，U-Net++是U-Net的改进版本，用于创建编码器-解码器模块的嵌套组，以形成更复杂的结构。与U-Net Zhou等人（2018）相比，U-Net++在医学图像分割方面显示出更好的结果。因此，将StrainNet与这些网络进行比较是有希望的。所有实验都使用RMSProp算法训练100个epoch，以最小化三个网络的L1损失和双域损失关于StrainNet用于测量性能的评估指标是归一化均方误差（NMSE），峰值信噪比（PSNR）和结构相似性（SSIM）。我们的实验从寻找最佳值开始 ，2002年。然而，为了加速该优化步骤，所提出的网络的较小尺寸版本（即，起始特征尺寸为1X 320X 320X 32）。这个较小的版本可以显着减少训练时间，同时保留相同架构表2中示出了对于R11和���R12的每种组合的实验结果。在表2中，可以看出，当λ1=0.6和λ2=0.4时获得最高性能。然后，围绕这个最佳点进一步研究了然后得出结论，对于全尺寸版本，最佳组合是1= 0.7，因此，在剩余的实验中，通过具有双域损失的多线圈欠采样MR图像来训练所提出的应变网络，其中，（ R1，R2���）和R3分别根据经验设置为（0.7，0.3）和0.05。三个比较的网络通过根平方和（RSS）进行训练，将多个线圈图像组合成单个MR图像，损失为0.01EX实验结果如表1所示，其中将StrainNet和三个网络与其他已发表的fastMRI基线结果进行了比较Zbontar等人（2018）。所有网络都经过训练， fastMRI的训练数据集，并在fastMRI的验证数据集上进行测试。不使用fastMRI的测试数据集，因为fastMRI竞赛仅提供训练和验证数据集上的真实MR图像（全采样MR图像）。表1给出了两种类型脉冲序列的三种度量的网络图13b -14e和图15b -16e分别显示了两种脉冲序列下4倍和8倍加速的重建MR图像的示例。重建图像与地面真实MR图像进行比较。图17b -17f和18b -18f分别显示了4倍和8倍加速度下的一些放大区域5. 讨论实验结果表明，在4倍和8倍加速度的情况下，有希望的重建性能表1W. Kusakunniran，S.Karnjanapreechakorn，T.Escherapisith等人智能系统与应用18（2023）2002039图十三. 使用PD脉冲序列进行4倍欠采样的样本重建。它们是（a）地面实况图像，（b）U-Net重建图像，（c） CE-Net重建图像，（d）U-Net++重建图像，以及（e）StrainNet重建图像。图14个。使用PDFS脉冲序列进行4倍欠采样的样本重建。它们是（a）地面实况图像，（b）U-Net重建图像，(c)CE-Net重建图像，（d）U-Net++重建图像，以及（e）StrainNet重建图像。图15. 使用PD脉冲序列进行8倍欠采样的样本重建。它们是（a）地面实况图像，（b）U-Net重建图像，（c） CE-Net重建图像，（d）U-Net++重建图像，以及（e）StrainNet重建图像。图十六岁使用PDFS脉冲序列进行8倍欠采样的样本重建。它们是（a）地面实况图像，（b）U-Net重建图像，(c)CE-Net重建图像，（d）U-Net++重建图像，以及（e）StrainNet重建图像。结果表明，StrainNet在4倍和8倍加速下的每个评估指标上都优于fastMRI基线网络和表1还显示了改进的U-Net类型网络，包括CE-Net和U-Net++，难以重建欠采样的MR图像。这可以通过在CE-Net中用ResNet-34替换标准编码器模块和在U-Net++中替换编码器-解码器模块的嵌套组来实现。这两个网络在其他问题上表现出更高的性能。然而，在MR图像重建问题中，传统的编码器-解码器模块的性能优于改进的版本。尽管StrainNet在4倍加速时的性能略高于U-Net，但StrainNet在8倍加速时的性能明显优于U-Net。图17b -17f和18b -18f中的放大图像也表明，来自应变网络的重建图像保留了更好的微小细节。比其他网络更好，对比度更高。这在诊断疾病时可能很有用。此外，对于未来的工作，替代解决方案可以基于一种生成对抗网络Sohan和Yousuf（2020）。此外，可以使用经过良好训练的分类模型进一步验证重建图像的质量，例如：Aurna等人（2022）。如果这些图像能够被正确分类，这可以证实疾病的细节在一定程度上保留在重建图像中。6. 结论本文提出了一种基于应变网络的磁共振图像重建方法。在对k空间数据进行掩蔽后，对多线圈欠采样的k空间进行变换，以模拟MRI机W. Kusakunniran，S.Karnjanapreechakorn，T.Escherapisith等人智能系统与应用18（2023）20020310图17. 使用放大区域进行4倍欠采样的样本重建。它们是（a）具有突出显示的缩放区域的地面实况图像，（b）地面实况缩放图像，（c）U-Net缩放重建图像，（d）CE-Net缩放重建图像，（e）U-Net++缩放重建图像，和（f）StrainNet缩放重建图像。图18. 使用放大区域进行8倍欠采样的样本重建。它们是（a）具有突出显示的缩放区域的地面实况图像，（b）地面实况缩放图像，（c）U-Net缩放重建图像，（d）CE-Net缩放重建图像，（e）U-Net++缩放重建图像，和（f）StrainNet缩放重建图像。回到空间欠采样的MR图像。然后利用应变网络对多线圈欠采样的MR图像进行融合，重建出全采样的单幅MR图像。StrainNet的结构基于众所周知的CNN编码器-解码器类型，在重建问题上表现良好。除了传统的编码器-解码器模块外，StrainNet还包括编码器和解码器模块之间的多层池。这可以帮助网络在训练欠采样的MR图像时消除不相关的信息。本研究还提出了一种新的损失函数，称为双域损失（ Dual-DomainLoss），通过增加 频率数据上的1损失和空间数据上的标准 1损失。所提出的网络在多线圈膝关节验证数据集上的重建结果可以在每个指标上优于U-Net和其他编码器-解码器网络，包括NMSE，PSNR和SSIM。StrainNet可以保留通常难以从重建结果中重建的小信息，特别是在4倍加速时。除了MR图像重建之外，StrainNet还可以适应其他问题，例如可能由运动模糊或不同类型的模糊引起的图像的去模糊过程。该模型采用了两个超参数可以控制的频域和空域信息。此外，模糊效应可能是在频域中解释。因此，所提出的StrainNet可以学习将此信息应用于去模糊过程。所提出的方法有可能实现更好的性能，特别是在从高频数据重建细节的空间域。为此，有必要增加所提出的架构的复杂性。因此，它将需要更多的计算资源和时间来训练重建模型，因为参数的数量可以从大约5亿扩展到15亿。CRediT作者贡献声明Worapan Kusakunniran：概念化，数据管理，形式