双域自监督变压器加速多对比MRI重建

4966DSFormer：一种用于加速多对比MRI的双域自监督变压器重建博周1，3尼尔戴伊2，3 乔施伦佩尔3塞耶德·萨代赫·莫赫塞尼萨利希3池刘1詹姆斯S. 邓肯1 米哈尔索夫卡31耶鲁大学2新约克大学3超精细研究摘要多对比MRI（MC-MRI）捕获多重共体互补成像模式辅助放射决策。为寻找时间而献上极品多重获取的成本，当前深度加速MRI再构建网络关注挖掘多重对比之间的冗余。保留的，现有的工作是大型监督与配对数据和/或未经证实的详细全采样MRI序列。分叉，Recon-Struction网络泰皮卡利雷利论卷积的Architec-Tures在模型长范围相互作用的能力方面受到限制，并导致对精细解剖学细节的次优恢复。到他们结束，我们现在是一个双域自监督变压器（DSFormer）用于加速MC-MRI重建。DSFormer开发深条件级联变压器（DCCT）符合以下两种深条件下培训的级联Swin变压器重建网络（SwinRN）实现MC-MRI信息共享的策略。我们进一步使用DCCT的双域（图像和k-空间）自监督学习策略，以消除获取全采样训练数据的成本。DSFormer生成器高保真重建which超常电流全监督基线和接近the表演的富勒监督。1. 导言诊断学家often捕获单主体多对比度磁共振图像（MC-MRI）序列以获取向外的补充组织信息更精确、更全面的放射学评价[21、2]。保留，适当的物理约束，MRI内在的可感知的请求在引导病人的不舒适和积累运动的意义和系统不完善在图像模糊的生物医学相关的解剖学细节。在加速方法中，它们可以从频率域（欠采样）重建高保真和无人工图像，这些限制对它们的利益具有引导作用。（k-空间）核磁共振测量和减影扫描时间。当逆傅里叶变换can重构Im-AGEs来自费尔k-空间措施、资讯科技来at the重建中强走样和模糊效应的代价和哈斯瑟斯莫蒂瓦特德沃克斯惠希埃克普洛伊特用fewer artifacts实现更高质量重建的变换域数据先驱者（Transform-Domain Data Priors）[20、6、22]。豪韦弗，他们甲基ods最大静收率模糊和亚临床重建及阿雷盖内拉利慢和超参数敏感的美国他们是以迭代为基础的特定于实例的优化。在SEC-ONDS命令下具有预测时间的情况下，在高低采样率下具有更强的recently、深度MRI重建网络的改进型MRI重建保真度[32、27,24,8,1,7,43,38,3,40,31,37,34,28,42,25]。有气有色，他们的作品类型通过地面监督训练取得了更大的成就。全取样的图片与/或k-空间目标数据、惠希is奥夫滕在需要时间和成本的情况下，实践不可行。Recently、自我监督的重建框架哈夫埃梅尔格德只要求欠采样k空间数据[31、37、10]、他们的表现受到了全面监督的限制。弗瑟，whether监督或自我监督，在单一对比MRI交流电定位的认识性工作大重点，哪里最诊断要求MC-MRI可视化障碍的解剖特征。不幸的，在MC-MRI重建中，全采样MRI模态重征短获取可以作为推荐使用的指导目标模态，该目标模态重征长获取，通过方法惠施注入一个全采样参考模态美国安特特拉输入渠道进入a重建净-工作[35、29、5、42、17,18]。当他们MC-MRI方法取得卓越的预测-结构时，他们有跟随的主要限制。首先，前置MC-MRI重建方法操作 直 接 在 欠 采 样 目 标 MRI 图 像 作 为 输 入 （ Recon-structed维亚零填充和the逆傅里叶变换）和那些从严重的别名在他们的开始点。第二、电流MC-MRI重建网络泛在雇主卷积体系结构[十七、35、5、26]、这样的U型网络设计[26]和顺序的康-4967LL图1。对它的一种概观丁乌阿勒-达乌德S精灵监督型反式福尔默（德斯福尔默尔）。深条件级联变压器（DCCT）是在自监督模式下训练的随机分区欠采样k空间数据集并行地输入DCCT。The分区数据一致性损失（PDC）和外观一致性损失（空调（）用于自我监督培训。在测试中，任意欠采样数据是由DCCT重建的。斯文恩（Fig。3）它一直是主干网DCCT.卷积层与剩余物连接[十七、27]、博思在建模长范围互动和最大程度的恢复减少精细图像细节的时候是有限的。非局部性的情境信息。第三，现有要求全监督全采样的MC-MRI重建方法培训数据来自规模很大的帕伊雷德数据、惠希这是一种令人担忧的沉默。目标对比需求长时间获取的全采样数据是运动和其他累积误差的前提。具有短获取的欠采样数据上的预先、自监督学习操作对非理想成像无能为力条件。到他们结束，我们现在的DSFormer，一个双域自我监督变压器为加速MC-MRI Recon-Struction，有遵循贡献：1. 多 对 比 度 信 息 共 享 。 我 们 在 MC-MRI Recon-Struction中开发了一种有效的多对比信息时代的深度MC-MRI调理方法。简报，美国已接受零填充的并将初始重建用于最重要的工作中，我们框架勒维拉杰斯全取样的参考核磁共振成像数据通过将其k-空间数据移植到欠采样/加速的未获得k-空间bins中塔尔格特模态，谁的反转是一个尖锐的，去分类的和解剖学修正的起点。网上操作（图2）。至未来强化参考信息在the欠采样的重建-tion，we also通道-wise串联参考MRI在网络旁输入。2. 核磁共振重建的视觉变形金刚。灵感来源于雷森特进展在视觉变形金刚展示在CNNs上进行IM-Proved图像恢复[33、4,16,19]通过非本地处理来恢复精细的细节，我们开发了一个Swin变压器重建网工作（SwinRN），使其在CAS-CADED框架中作 为 主 干使 用 。 通 过 联 合MC-MRI 条 件-ing 与SwinRN-cascades、we普罗波塞a深康迪-4968×用于高保真MRI的离子级联变压器（DCCT）重建。3. 双域的自我监督的学习。 到列车DCCT在一种自我监督的模式下使用只使用下置的目标MRI数据，我们将使用一种双重图像和k-空间域自我监督的学习方法，实现重建质量可比全面监督训练。差 速 加 速 协 议 MC-MRI 数 据 的 扩 展 实 验 演 示 了DSFormer采用全监督或仅自监督两种方式训练的基因平均优越重建超过了采用全监督训练的上一篇体系结构和条件机制战略。2. 相关的工作全监督MRI重建。卷积神经网络（CNNs）对欠采样k空间数据的重建图像有可扩展的研究。对于实例而言，王埃及艾尔。 [32]回收器全取样的MRIs从欠采样获取用监督CNN培训配对数据。施伦佩尔等。[27、24]开发具有中间数据一致性层的CNNs的深级联。在输入中原始采样k空间的惠信与重建一致。哈默尔尼克等。[8]发展变分网络以解重建--用梯度下降法优化CNNs。Simi-Larly、阿格加瓦尔埃及艾尔。 [1]使用a共轭梯度带重建的算法网络。在对图像域中的操作方法的添加中，双图像和k-空间方法都存在被探索的情况。Eo等。[7]添加一个附加的k空间重建网络到[27]使能跨域MRI重建-tion。西米拉利，辛格等。[28]显示使用两任务无关层的组合频率和图像特征表示学习可以改进单域方法的重建性能。朱埃及艾尔。[43]用流形学习将欠采样k空间数据直接映射到其图像重建。Moreover，加强学习辅助重建网络改善重建质量的努力是正确的[34、23]。怀勒阿基耶文承诺性能、these方法从大尺度配对欠采样和全采样k-空间扫描再求奇全监督训练数据[38、3、14]。Moreover，他们的方法只关注单对比MRI重建MC-MRI内侧重建。自我监督MRI重建。允许的、自监督的重建方法只允许欠采样的k空间数据存在被提议进行单对比MRI重建。HQS-Net [31]数据一致性项的Deco-Ples最小化和图2。为的K-空间填充（KF）条件4加速T2w重建。欠采样的T2w数据与经过KF的全采样PD数据合并，生成一个初始DCCT输入生成Much fewer Arfacts。零填充。中的规则化条款[27]基于一个神经网络，这种网络训练只针对欠采样测量。也门等。[37]提出了一种物理引导的自监督学习方法，该方法可以拖动深部梯级重建网络[27]用另一个数据分区预测一个欠采样k空间数据分区，用类似方法在也门使用等。[36]用于受试者特异性零摄片MRI重建-tion。同流合污去我们的工作，科克马兹等。[15]保零射用自监督变压器-GAN特定于实例的优化和它不是可比的这提交作为它的重点在潜在的噪声到图像甘映射和需要训练在each新的输入片。胡等。[10]使用ISTA-Net的所有保留意见[39]用并行训练框架进行自我监督的单对比MRI重建。 弗瑟莫尔、周等。[41] devise一种基于三分支的双域自监督重建框架，实现承诺绩效论单一对比度低场核磁共振。 豪韦弗、对我们的知识，自我监督多β-ConstrastMRI Recon-Struction雷姆因斯未被探索的和is the主体的这工作。MC-MRI重建。电流型、深度学习型的快速MC-MRI重建方法[42、35、29、5、十七、18]。向等。[35]使用全采样T1w图像作为一个附加的CNN频道输入来便利化ac促进T2w重建。相似，达尔等。[5]加法对立面学习和a感性的损失[12]到弗瑟伊姆-普罗夫表演。 更多recently、刘埃及艾尔。 [17]和周等。[42]将全采样参考数据作为附加信道输入输入到深级联网络[27]。相似策略对可变重建有同样的建议[8、18]。3. 方法和材料总装DSFormer流水线图1和两大零件的一致性：（1）深条件级联变压器架构（Fig。1b）以及（2）用于培训DCCT的双域自监督学习策略（Fig。 1a）。4969×××·|·|×米米×图3。斯温变压器重建网络（SwinRN）的架构。它是初始特征提取、深度特征提取和图像重建模块的一致性，并且是作为图像中的骨干重建网络使用的1.3.1. 深条件级联变压器具有交错数据一致性（DC）层的DCCT使用级联网络设计[27]。为了有效利用多对比度信息进行重建学习，我们开发了两个深度多对比度网络条件机制，以更好地杠杆化全样本参考获取。为了实现高质量的重建，我们准备了一个Swin变压器重建网络（SwinRN）作为主干网。DCCT.深MC-MRI调理。 与MC-MRI、we使用DCCT中Tar-get MRI共享参考MRI的两种条件方法：K-空间填充（KF）条件与通道明智（CC）调理。 第一、we使用KF、贝考乌斯ture肖恩在图3. 斯温尔恩孔西斯茨的三模块：initial特写提取物(IFE)乌辛a 3 3卷积的层、深特写提取物(DFE)乌辛多斯温变压器布洛克（SwinTB）、和图像乌辛重建全球剩余物学习和a 3 3卷积层。工作流被描述为F0=P IFE（X伊尼特X参考文献），何地P IFE德诺特斯the IFE行动和德诺特斯康-迪蒂亚纳尔输入。 The IFE特写F0is then乌塞德为剩余学习法在the重建步和is美联储进入多重斯温特布斯为DFE. Ifthere阿雷n SwinTBs、the n-th产出Fnis Fn=P斯温特布n（Fn-1）。现在，DFE的输出是吉文F DFE=P DFE（F n），何地P DFE是一个3.3卷积层for决赛特写融合在DFE. 吉文F DFE和the全球剩余物连接的F IFE，the决赛重建can be世代维亚X产出=P红外线（FDFE+ FIFE），（一）何地P红外线是另一个3.3面向Gener-ating的卷积层a单通道的图像重建输出。斯温变压器块。Each SwinTB（Fig。3）多Swin变压器层的一致性（SwinTL），一种卷积层为地方特写融合、和a剩余物局部剩余学习的连接。吉文输入特征Fi、0的我-th SwinTB，《中间特征是写的》美国：F一、j= P斯温特尔一、j（Fi，j-1），（二）何地P斯温特L一、j（）is the j-th斯温特尔在the我-th斯温特。Then，地方特写融合和地方剩余物学习is更容易产生SwinTB产出：F我= P LFF我（F i，K）+F i、0，（三）多重对比核磁共振成像德皮克茨迪斯廷克特生理学财产─图像组织的分立，差异图像中的结果对比、何地K is the号码的斯温特尔在斯温特布和Pa卷积的层为斯温特布氏LFF我is但是the多重对比核磁共振成像图片股份the同解剖学。当目标对比度零填充重建与未得到采样的k空间数据库尔德结果在严重的艺术，用参考对比度k空间填充未得到的k空间。数据（assuming不运动贝特韦恩the目标和Ref-Erence）can产品别名缩小的重建与the相同的解剖学和交替对比。这个KF重建我-th局部特征融合。斯温特尔[19]层归一化（LN）、多层感知器（MLP）和多头自注意（MSA）模块的一致性[30]带规则窗口的（W-MSA）和移位窗口（SW-MSA）配置。吉文安输入与特写尺寸H ×W×C，斯温特尔第一次重塑the输入进入（米×米）×（H× W）× C比颗粒-它可以作为一个初始DCCT输入使用，所以它可以关注学习的对比转换不深入到去走样。KF的前安培在无花果里很显眼。 2.在添加到KF中，我们也使用CC。《人物画报》1b、级联的第一个输入是KF目标和参考对比MRI图像的信道-明智级联，当跟随级联输入是信道-明智康卡特纳ations的the普雷维奥乌斯卡斯卡德输出与参考对比MRI图像。斯温变压器重建网。SwinRN是DCCT的主干网建筑师-4970×米米22⌊⌋ ⌊⌋把它变成非重叠HW带视窗的伊奇窗口式集装箱米米补丁。Then，自我注意可以be计算 机 为 伊 奇 窗 口 [30] 和 can 制 定 注 意 产 出 的 W-MSA。 到埃纳布勒交叉窗口连接、自我注意能力is阿尔索计算机为伊奇窗口通过转移特征通过（米，米）在分区之前。斯温特尔加工（无花果。 3）can瑟斯be总结美国、z¯=W-米SA（LN（z））+z，（四）z▲=米有限合伙人（LN（z¯））+z¯，（五）zˆ=SW-米SA（LN（z▲）+z▲，（六）z˘=米有限合伙人（LN（zˆ））+zˆ，（七）4971▲。∇∇何地MLP它是一种2层和30-60个神经元的宽MLP，具有GELU激活[9]。在总结中，SwinRN与SwinTB区块是嵌入用于MRI重建-tion的DCCT级联框架。 We使用三斯温恩斯山比默认值在我们cascade、与each SwinRN共享相同的参数作为默认设置。each SwinRN中的SwinTB编号是四组，与each SwinTB包含四组斯温特斯。3.2. 双域自监督学习在自监督模式下列车DCCT，没有任何全采样的地面真实数据在目标上进行播放，we使用双域的自我监督、美国画报在人物1. 莱特f dcct（y标签第，y参考文献）DCCT面额，在哪里y标签是目标对比的欠采样数据和y参考文献这是反射的erence对比的全部采样数据。杜灵训练，我们第一随机分区y标签进入两个不交集威盛、y p1 = y标签▲。米1（八）the其他分区y p2和副维尔萨。 The预测k-空间分割能写美国、y2→1=F（X p2）▲。米1（十五）y1→2=F（X p1）▲。米2，（十六）Therefore，PDC的损失是制定的美国、LP直流电= ||y2→1-y p1||1+ ||y1→2-y p2 ||1，（十七）第一和第二项是部分数据一致性的位置洛塞斯为党派关系1和2,尊重。 结合图像域中的AC损耗和k-空间中的PDC损耗，我们的总损耗可以被写入美国、L东东=L空调+ λ3LP直流电（十八）何地λ3=0。1是为了平衡k-空间和图像域之间的尺度失利。3.3. 数据制备We使用578 MC-MRI主体与博思T2加权的yp 2 =y标签▲。米2，（九）和IXI的质子密度(PD)加权收购1为了我们的实验。注册的MC-MRI数据共识-何地是初等的乘积和米1和米2是分片1和分片2的二元k-空间掩码。那张便笺米1+米2=米标签，何地米标签是二元掩模指示所有欠采样位置。 各党派y p1和y p2将它存入并行的DCCT重建、X p1=f dcct（y p1，y参考文献）（十）ing的11808配对的T2和PD加权轴向斯莱塞斯韦勒斯普利特主体-怀斯进入8376配对为培训、1080为VALI-DATION、和2352为检测、与不斯莱塞斯来自阿尼主题重叠。 We康西德二MC-MRI斯塞纳里奥斯在我们外经包膜：加速T2加权获取（目标协议）比效用a全员采样 PD-bighted 采 摘 -tion （ 参 考 协 议 ） 、 和 加 速 PD-bighted靶点收购与a全员采样T2加权的推荐人─Xp 2 =f dcct（y p2，y参考文献），（十一）恩斯。这里，我们用笛卡尔抽样模式the加速因子(R)集到a价值贝特韦恩2网络股同权重在哪里。作为预想结构y p1和y p2应该与其他each保持一致，我们第一损失is安外观一致性（AC）损失在图像域中操作美国、L空调=λ1Limg+ λ2L格拉德，（十二）在哪里，L img=||X p1-X p2 ||1（十三）并且，L格拉德= ||∇五X p1-∇五X p2||1+ ||∇hX p1-∇hX p2 ||1，何地 五和h是垂直和地平线强度GRA-Dient操作员，尊重。我们经验之谈λ1=1和λ2=0。1达到最优表演。我们对k空间中的分区数据稳定度（PDC）损失which操作的第二损失对应关系。如果DCCT能够从任何欠采样k空间测量中生成高质量的图像，从第一次分区预分图像的k空间数据y p1应保持一致与（十四）4972和8对应加快目标的获取时间协议。3.4. 评价计量学和基线比较基准结果阿雷提出论2352测试斯莱塞斯来自114名病人。我们评估了目标重建的复速采用峰值信噪比（PSNR）和结构相似指数（SSIM）计算的地面真理。对于基线比较，我们首先将我们的结果与预先的全监督的MC-MRI Recon-Struction方法进行比较，该方法要求地面真实的全采样数据，包含UFNet [35]、麦克尼特[17]、安德·瓦尔内特[18]。对预先自监督核磁共振成像的进一步基准重建方法奥里吉纳利设计为单对比，我们也是扩展SSDU [37]、HQSNet [31]、安达·西斯塔[10]到MC-MRI设置通过反射效应对比度作为一个额外的输入通道。作为上界，我们对自我监督的 DSFormer提 出 了反 对 监 督 的意 见 --DSFormer 的DCCT是在哪里训练的。在a全员被监督的时尚与地真相可用。1 https://brain-development.org/ixi-dataset/, CC比萨3.0许可证4973××表1. 定量的比较的T2（左分表）和PD（右分表）重建安德三差速器加速目标对比MRI的设置。全监督方法和自我监督方法是有标记的博尔德和欠衬里的，尊重。贝斯特结果是有标记的在红。PSNR/SSIM目标：T2w|参考：PD目标：PD|参考资料：T2w运行时间号码方法× 2× 4× 6× 8× 2× 4× 6× 8(ms)的帕拉姆零填充24。86/。76122。72/。67921。48/。62319。11/。59723。92/。74421。68/。66320。47/。61018。78/。579--CS-TV[11]30。18/。89029。04/。86226。13/。78925。67/。76230。09/。88729。18/。86126。05/。78725。21/。7503023。8-SSDU [37]42。54/。98138。47/。97634。21/。97231。72/。96141。78/。98337。63/。97933。99/。96831。61/。960 49。90。11米HQSNet [31]40。13/。98037。79/。97333。38/。96931。12/。95840。82/。98135。97/。97433。37/。96731。03/。956 49。90。11米西斯塔[10]42。09/。98038。29/。97434。13/。97131。51/。96041。29/。98237。43/。97733。67/。96831。43/。959 40。80。38米UFNet [35]32。30/。97032。07/。96931。85/。96730。02/。95032。22/。97132。06/。96931。88/。96829。99/。948 10。67。6米瓦尔内特[18]33。01/。97332。71/。97132。43/。97030。65/。95733。08/。97432。86/。97232。67/。97030。55/。955 48。78。2米麦克尼特[17]43。79/。98939。14/。98335。61/。97232。12/。96342。90/。98838。56/。97935。45/。97132。03/。961 49。90。11米德斯福尔默尔45。05/。99340。31/。98537。04/。97733。65/。96945。07/。99340。52/。98737。45/。98233。48/。967 51。30。18米3.5. 实施详情我们用一台NVIDIA Quadro RTX 8000 GPU和48GB实现我们在Pytorch和Ex-Periments中的方法记忆。 The亚当求解程序[13]was乌塞德到用优化我们的模型lr=210-4，β1=0。9，和β2=0。999。 我们使用了一批规模为3的during培训。在DSFormer中，级联的数字可以灵活地调整，它被设置为三，作为游戏实验中的默认设置，并在Fig中被扫除。6. SwinRN在each cascade分享了同样的pa分流器。在each SwinRN中的SwinTB的编号是设置为四，与each SwinTB包含四个SwinTLs。During training，数据分割率之间是随机的domly生成【0。2，0。8]在飞行中，将欠采样的k-空间数据化作两个不相交的k-空间数据，并增加训练数据。对于基线 实 施 ， 我 们 与 SSDU 、 HQSNet 以 及 SSISTA 、UFNet、MCNet和VarNet进行了比较。超参数-特斯的伊奇方法阿雷调谐论the验证集与测试数据帮助最终评价。4. 实验结果4.1. 图像质量评价与比较三差加速设定下两种不同MC-MRI SCE-NARIOS的定量评价在表中是和的1. 左亚表汇总MC-MRI重建与T2靶向对比和PD反射序列对比（T2重建在这里评估）。阿蒙全员被监督的方法、麦克尼特[17]阿基耶夫斯贝斯特T2重建表演与PSNR向上到43。79 dB和SSIM向上0。989当用的时候2加速。它也能观察到那个MCNet [17]一致性不表现事先自监督MRI重建方法修正后可操作多对比数据。在最后的罗的表1,we见that德斯福尔默尔受训与自我监管单独不良监管基线和从PSNR到PSNR 43。79分贝到45。05 dB和SSIM来自0。989到0。993。相似观测是为×量身定做的44974×××加速T2实验在哪里DSFormer输出MCNet，与PSNR从增加39。14分贝到40。31从dB和SSIM增量0。983到0。985。美国期待、the重建表演的所有甲基ods分解作为加速速率增长。豪韦弗，DSFormeris斯蒂尔阿布尔到维德利出类拔萃普雷维奥乌斯超视方法与保持PSNR在37。04和SSIM at 0。977与6加速T2重建。推论运行时间和the号码的模型参数的差速器甲基消耗臭氧层物质在表中是一致的1、用深度学习方法实现像CS-TV这样的迭代方法的宏伟快速重建序[11]。与MCNet上最好的结果相比，DSFormer请求是唯一的a光增加的号码的参数和实现改进重建的运行时间表演。变异T2重建的质量比较在无花果中很显眼。4,插图4和6 Accel-Eration设置。零填充Cre-ATE的重建西格尼菲坎特别名阿特法茨和洛泽斯解剖学详情。怀勒博斯瓦内特[18]安德·麦克尼特[17]重要的再杜斯the别名阿特法茨与德克雷斯德重建呃，他们要求从配对数据进行全面监督训练。在另一只手，DSFormer，使用单独的自我监督和多重对比条件，进一步减少重建之间的剩余误差和地面真理和产量优越的重建质量。完全合格的比较的T2重建is可视化的在附则中的图S1材料。The右子台词的表1苏姆马里泽斯MC-MRI有了PD目标对比度和T2参考对比度，PD重建在哪里被评估。相似观测是制造的为PD重建、何地德斯福尔默尔斯蒂尔在所有三个加速设置下实现最佳重建普雷维奥乌斯全员被监督的方法[35、18,17]和修正上位自监督法[37、31,10]。七次PD重建方法的定性比较在补充中是显性的材料。4975××LL×图4。用T2重建的质量比较4和6加速。为了T2重建，PD就这样用了参考对比。地面真实图像和重建之间的对应错误地图是在BWR彩色地图中绘制的。跨越both监督和自我监督方法，DSFormer实现高保真重建对其改进架构的努力，双域自我监督和条件机械装置。4.2. 消融作用研究双域自监督。隔离个人-效用的the瓦里奥乌斯部件的双域的自我监督，我们用两个只有图像-领域的方式来评价绩效自我监督的（空调）或只k-空间自我监管（P直流电）。量化比较在表中得到总结2. 我们观察着那些只用任何东西的人k-空间自我监督的或只图像-域自我监督斯蒂尔伊尔德斯斯特朗重建质量、与PSNR 39。95安德4加速，惠希指标自我监督在博思域can帮助与重建-tion。组合both图像-域和k-空间自我-监理产量最佳重建业绩。从《人物》中绘出的不同自我监督设置看重建的视觉比较5.表2。不同自监督设置、包含图像-域只自监督、k-空间只自监督和t的T2重建性能-有效性的定量比较何建议双域自监督。高等是贝特。PSNR/SSIM×4×6只k-空间自我监督的40。23/0。98236。89/0。975只图像自我监督的39。95/0。98136。55/0。973德斯福尔默尔（建议）40。31/0。98537。04/0。977深MC-MRI调理。 到理解the影响的4976啊。在×××图5。未来消融研究对比MRI重建的差异自监视设置。下误差是贝特。在初始网络输入中的KF和CC，我们用是否没有KF和CC来评价DS-成型器性能，用表中的再解决总结3.DSFormer没有both KF和CC影响没有多重对比的数据是唯一使用和结果38。24低于PSNR R=4设置。在同一设定下，德斯福尔默尔与无论是仅限KF-only或只使用CC-only can inte-光栅多对比度信息及改进PSNR来自38。24到39。06与KF唯一和40。22只有CC。KF和CC领先于最佳性能，PSNR将在哪里改进40。31。相似趋势无处可寻6×加速。表3。使用DSFormer有或无KF和CC时T2重建性能的定量比较和在完全监督的manner中训练DSFormer时的相似性[十七、35]没有我们提出的一致性损失。全数平均数被监督的训练。PSNR/SSIM×4×6eration，which是唯一的0。03高于PSNR条款中的自我监督DSFormer。SwinRN的有效性可以通过比较监督DSFormer w/o KF与MCNet（表1）方法在哪里共享相同的级联框架排除主干网中的差异。我们可以观察到我们基于SwinRN成就的监督方法40。25基于简单序列卷积层与PSNR具有残差连接的which比MCNet更好是标志性的39。14安德4设置。 豪韦弗，at 6加速我们看到有监督的DSFormer和有监督的DSFormer之间出现了差距，each成就37.12和37.04分贝的PSNR，尊重，指示那里仍然是每共振峰福利到乌辛全员采样培训数据高于加速度以下因素。图6。在DSFormer上增加级联SWIN-RNS数目的效应×4加速。级联数的影响。作为数字的Cas-Cades可以在DSFormer中灵活地调整，我们分析了在我们的框架中增加级联区块数目的效果，并在数字中总结了结果6美国-荷兰国际集团4加速。用级联区块的高个数来促进重建性能，增益渐近稳定性论弗瑟因克雷亚斯山超越三DSFormer w/oKF40。22/0。98236。93/0。972布洛克斯。在T2重建中，增加数字卡斯-DSFormer w/oCC39。06/0。97935。22/0。970从3到4只增加PSNR的caded区块由少丹DSFormer w/o KF和CC德斯福尔默尔38。24/0。97140。31/0。98534。51/0。96137。04/0。9770.002分贝。 相似的观察报can be制造来自the PD重建。在德斯福尔默尔（上定界）40。34/0。98937。12/0。981在德斯福尔默尔w/o KF40。25/0。98336。99/0。974在德斯福尔默尔w/o CC39。12/0。98135。31/0。972在DSFormer w/o KF和CC38。42/0。97634。70/0。965全监督vs。自监督DSFormer。在理解全超视界与双域自我监督之间的绩效差距时，我们比较了不分区输入与替换训练的DCCT的重建绩效与直接图像-域重建与目标地面真相的一致性损失，与监督训练的相似性[35、17]。量化比较在答-ble S1。作为一个上界，完全监督的DSFormer实现重建PSNR的40。34分贝安德× 4accel-5. 会合We发育DSFormer、a双域的用于加速多对比MRI重建-tion的自监督变压器。DSFormer异形深条件级联变压器建筑受训安德博思k-空间和Im-age域自监视。对等量化基线的基准。DSFormer表现不良的上位性的基准全员被监督的方法that要求培训用配对数据（表1）而DSFormer的成就就在附近同表演当受训与无论是富勒监督-锡安或与我们提出双域的自我监督的（塔布勒3）、最大程度地缩小加速MRI的监督与自我监督方法之间的差距重建。4977参考资料[1] Hemant K Aggarwal ，Merry P Mani和Mathews Ja-CobModl：基于模型的面向宇宙问题的深度学习体系结构。关于医学影像的IEEE交易，38（2）：394-405，2018.[2] Spyridon Bakas 、 Hamed Akbari 、 Aristeidis Sotiras 、Michel Bilello、Martin Rozycki、Justin S Kirby、John BFreymann、Keyvan Farahani和Christos Davatzikos。用专家推进肿瘤基因组图谱胶质瘤mri采集Seg-Sentition标签和放射特征。科学数据，4（1）：1-13，2017.[3] 尼古拉斯·比恩、普拉纳夫·拉杰普卡尔、罗宾·L·鲍尔、杰里米·艾文、艾利森·帕克、埃里克·琼斯、迈克尔·贝雷基特、巴维克·N·帕特尔、克里斯汀·W·约姆、凯蒂·什潘斯卡娅等。膝部磁共振成像的深度学习辅助诊断：发展和回溯验证的mrnet. 公共科学图书馆医学，15（11）：e1002699，2018.[4] 寒亭陈某、云和王女士、天宇郭女士、昌徐某、一平邓、振华刘、四维马、淳静许、朝许、文高。 预先训练的图像加工变形金刚。在美国IEEE/CVF计算机视觉会议Pro-Ceedings和模式识别上，页12299-12310，2021.[5] 萨勒曼·乌尔·达尔、马赫穆特·尤尔特、穆罕默德·沙赫德卢、穆罕默德埃姆鲁拉赫Ild í z，伯克T í naz，和Tol gaC▲宇r。 加速多对比度的Prior-duided图像重建核磁共振成像维亚代对立面网络。 IEEE信号处理中选择话题的历程第，14（6）：1072-1087, 2020.[6] David L Donoho，Arian Maleki和Andrea Monta-Nari。压缩感知的消息传递算法-ing。美国国家科学院院刊，106（45）：18914-18919，2009.[7] Eo Taejoon ， Yohan Jun ， Kim Taeseong ， JinseongJang，Lee Ho-joon和Hwang Dosik。Kiki-net：用于重建欠量pled磁共振图像的跨域卷积神经网络。中的磁共振医药，80（5）：2188-2201，2018.[8] 克尔斯廷哈默尼克、特雷莎克拉策、埃里希科布勒、迈克尔P·雷希特、丹尼尔·K·索迪克森、托马斯·波克和弗洛里安·诺尔。 学习一个用于重建加速mri数据的可变网络。医学中的磁共振，79（6）：3055-3071，2018.[9] 还有亨德里克斯和凯文·金佩尔。线性误差高斯单位（胶）。预印arxiv arxiv：1606.08415，2016.[10] 陈虎、程力、王海峰、刘切根、郑海荣、王珊珊。并行网络训练框架下mri重建的自我监督学习-工作。在乳头部医学影像与计算机辅助干预国际会议，佩奇382-391.施普林格、2021.[11] 黄俊洲，陈晨，还有莱昂·阿克塞尔。快速多对比mri重建。磁共振成像，32（10）：1344-1352，2014.[12] 贾斯汀·约翰逊，亚历山大·阿拉希，还有李飞飞。实时风格转移和超分辨率的感知损失。在欧洲计算机视觉会议，第694-711页。施普林格、2016.[13] 是P·金马和吉米·巴的声音。亚当：随机优化的一种方法。预印arxiv arxiv：1412.6980，2014.[14] Florian Knoll、Jure Zbontar、Anuroop Sriram、MatthewJ Muckley 、 Mary Bruno 、 Aaron Defazio 、 MarcParente 、 Krzysztof J Geras 、 Joe Katsnelson 、 HershChandarana、etAl.FastMRI：出版了膝部图像的可用原始k-空间和dicom数据集，用于通过ing机器学习加速mr图像重建。放射学：人工智能，2（1）：e190007，2020.[15] Yilmaz Korkmaz、Salman UH Dar、Mahmut Yurt、穆扎费尔奥▲zb ey，和Tol g a库库r。 不受监督的核磁共振成像重建通过零镜头学习对抗变形金刚。IEEE Trans-医学影像学行动，2022.[16] 梁静云，曹杰章，孙国雷，张凯，吕克范古尔，和拉杜蒂莫夫特。Swinir：图像恢复为IN-ING斯温变形金刚。在议事录的the IEEE/CVF国家间会议论计算机视觉，佩吉斯1833-1844年，2021.[17] 新文刘某、京王女士、金金、明岩李女士、芳芳唐，斯图尔特·克罗泽，还有冯柳。深部未登记的多重对比mri重建。磁共振成像，2021.[18] 刘新文、王晶、孙宏福、Shekhar S Chandra、Stuart克罗泽、和冯刘先生。 论the正规化处理的通过迭代网络实现快速mr多对比度成像的特征融合和映射。磁共振成像，77：159-168, 2021.[19] 泽柳、林裕彤、岳曹、韩虎、魏一轩、郑张、林斯蒂芬、郭柏宁。Swin Trans-Former：用移位赢的分层视觉变压器-道斯。预印arxiv arxiv：2103.14030，2021.[20] 迈克尔·卢斯蒂格，大卫·多诺霍，还有约翰·M·保利。稀疏mri：压缩传感在mr快速成像中的应用。磁共振在医学上：一份官方杂志的the国际学会为磁性共振在医药，58（6）：1182-1195，2007.[21] Bjoern H Menze 、 Andras Jakab 、 Stefan Bauer 、Jayashree Kalpathy-Cramer 、 Keyvan Farahani 、 JustinKirby 、 YuliyaBurren 、 NicolePorz 、 JohannesSlotboom、Roland Wiest等。多模态脑肿瘤图像分割基准（brats）。关