1949基于融合指数和强度配准的MRI插补Jiyoon Shin1Jungwoo Lee1，21首尔国立大学2HodooAI实验室摘要3D MRI成像基于多个成像序列，例如T1、T2、T1ce和Flair，并且每个成像序列由一组二维扫描执行在实际MRI中，一些扫描经常丢失，而许多医疗应用需要全套扫描。提出了一种MRI插补方法，该方法综合了此类缺失扫描。该方法的关键部分是索引配准和强度配准。索引配准模拟相同成像序列中两次不同扫描之间的解剖差异，强度配准反映相同索引的两次不同扫描之间的图像对比度差异两个配准域被学习为不变的，并且因此，允许对缺失扫描的两个估计，一个在对应的成像序列内，另一个沿着扫描索引;将这两个估计组合以产生最终的合成扫描。实验结果表明，该方法改善了以往合成方法中普遍存在的局限性，融合了结构和对比度两个方面，捕捉到了大脑的细微部分。定量结果还显示了在各种数据集，转换和措施的优越性。1. 介绍在神经内科和神经外科的各种诊断中，磁共振成像（MRI）由于其安全性和信息丰富性而成为最受欢迎的诊断方法之一。MRI3D体积通常通过若干成像序列（ 也 称 为 脉 冲 序 列 或 模 态 ） 获 取 ; 例 如 T1 加 权 的（T1）、T2加权的（T2）、T1对比增强的（T1 ce）和流体衰减反转恢复（Flair）1，它们的不同之处在于TR（重复时间）和TE（回波时间）。每一个都是通过一组二维扫描进行和可视化的，来自三个解剖平面之一：轴向、冠状或矢状（如图所示）。①的人。 准确的诊断和图像分析，1例T1加权，T2加权，T1 对比度增强，而流，MRI需要所有T1、T2和Flair（甚至更多）序列扫描[14，25]。不幸的是，由于实际限制，例如扫描成本、延长的扫描时间和运动伪影，一些扫描经常为了提供一个简单的解决方案，存在用于从给定的模态合成翻译的模态的研究，称为用替代数据替换缺失数据的过程，通常称为插补[10，25，43]，有助于解决现实世界的医学成像问题。可变形配准[4]旨在通过使用几何对应来对齐相似的图像对，也涉及各种数据增强、合成和插补任务。然而，尽管建议了广泛的工作领域来生成缺失或不完整的医学图像，但由于大多数方法需要密切相关或相似的数据来进行处理，因此显示出局限性。此外，限制仍然在生成高质量的替代图像，失去结构或视觉部分.临床上重要的部位通常尺寸较小，并且主要集中在特定区域，这可能难以通过现有方法重建。重建还可能包括包含一些噪声分量的错误部分。一些方法确实显示了高定量测量-然而，当可视化时，图像仍然不足以用于实际临床场景。为了解决这些局限性，并提供一个其动机在于以下事实：（1）相同成像序列内的二维扫描显示出外观和对比度的相似性，同时显示出不同的解剖结构，以及（2）具有相同扫描指数的不同扫描（在不同的成像序列中）显示出相似的解剖结构，但显示出外观和对比度的差异。引入了两个注册字段：基于观察（1）的索引配准场Φ，以及基于（2）的强度配准场Φ。Φ模拟了同一成像序列中两次扫描之间的解剖学差异，而分辨率反映了同一索引的两次扫描之间的图像对比度和外观差异两个场都被训练为不变配准场2，使得衰减反转恢复缩写为T1、T2、T1ce和Flair，对于其余的文件。[2]这是一个新术语，在3.3节和图3中有详细解释。3.第三章。1950图1. MRI成像序列和二维扫描。 单个3D MRI体积可以通过各种成像序列可视化。每个序列体积在特定平面（图中的轴向平面）中产生多个二维扫描。可以在任何成像序列中应用相同的Φ，并且可以在任何扫描索引中应用相同的Φ。因此，两个配准场允许对缺失扫描的两个估计，一个在对应的成像序列内，另一个沿着扫描索引。将这两个估计组合以产生最终的合成扫描，可用于保留解剖结构和对比度方面。所提出的方法的概述在图中可视化。2.实验结果表明，该方法在不丢失结构特征和视觉特征的前提下，提高了合成图像的质量，增强了图像的细节大脑中央部位通常包含临床重要数据，但这些部位在以前的方法中一直被保留为限制。定量测量也显示了所提出的方法在各种数据集，序列转换和度量的优越性。主要贡献总结如下。• 两个配准字段匹配解剖差异和对比度差异被认为是。特别是，一个新的概念，强度注册介绍了一个简单的序列翻译。• 提出了一种新的沿平行对准方向共享的不变配准域• “Clinically与基线方法相比，大脑的中心部分显着可视化结构相似性。2. 相关作品2.1. 医学图像配准图像配准，也称为图像对准，是基于它们的空间外观来对准两个或更多个解剖学上相关的图像的过程。医学图像配准，特别是，已被广泛研究。传统算法：传统算法的流行模型算法包括弹性[24，32，41]，b样条[19，33，45]，[5]第五章：“光”的意义，光的意义。morphism [1，2，9，18，23，34，40].深度学习图像配准（DLIR）算法：虽然没有明确介绍用于配准，但空间Transformer网络（SPNN）[17]是采用深度学习进行图像对齐的首批方法之一。简单的端到端无监督方法[12，37]集成了可 伸 缩 性 ， 以 演 示 注 册 字 段 到 图 像 的 扭 曲 。VoxelMorph [3，4，44]使用了类似于RNN的结构，采用了本地化网络的编码器-解码器结构并产生变换参数。2.2. MRI跨模态转换成像序列的多样性使MRI能够在对相同解剖结构进行成像的同时产生不同的对比度。然而，由于实际的限制，完整的多模态MR图像不容易收集。人们研究了从给定的情态合成一个被翻译的情态，而没有实际的习得，即跨情态翻译[38]。监督方法：已经提出了许多基于回归的合成方法[20，21，28]。副本[20]采用了一个监督的随机森林，学习非线性回归来预测交替对比度的强度LSDN [28]通过位置敏感的深度网络整合图像强度特征和空间信息。无监督方法：跨模态翻译也通过一般的无监督方法进行处理[35]。例如，已经提出了基于GAN [15]的方法[11，38]来填充缺失的对比。[11]中显示了两种实现方式，无论两种对比度中的参考图像是否配对，它们中的每一种都是有用的。2.3. 缺失数据插补特定数据集中缺少某些数据会造成严重偏差，使数据分析效率降低1951我J××我JIj我我保险丝保险丝+索引配准序列转换融合复制不变字段图2. 拟定方法概述。蓝色、橙色、绿色和灰色虚线箭头分别表示索引配准、序列平移、融合和复制不变配准字段的过程。作为一种解决方案，插补是用替代值替换缺失数据的过程。基于GAN的插补：通过GAN [15]引入了插补模型[16，25，39，42]。 CollaGAN[25]从剩余的多个数据中简单的数据，处理插补问题，通过一个多，不幸的是，在实际的MRI中，一些扫描可能会丢失，而为了准确诊断、肿瘤分割等，需要完整的扫描。我们估算这种缺失扫描的方法在图1中简要说明。2.设SA和SA是成像序列的第i和第jA. 类似地，假设SB和SB是第i次和第j次索引扫描I j域图像到图像的翻译。使用变压器的MRI插补：随着发布成像序列B。在成像序列B中，我们假设SB可用，但是SB缺失。I j视觉转换器（ViT）[13]，最近在各种视觉任务中使用转换器的寒武纪爆炸发生。特别是在医疗任务中[10，26，43]，变压器用于处理丢失的图像。一种新型构建编码器-解码器结构（类似于Unet），其在其输入处接收SA和SA，并且在其输出处产生索引注册字段Φij SB的翘曲，Φij，记作SB<$Φij，产生SB的第一个估计;在此基础上，引入了聚合残差Transformer（ART）块在ResViT [10]中保留缺失的本地化和上下文。PTNet[43]采用Transformer层以及跳跃连接和多尺度金字塔表示我们称此过程为索引注册。还建立了另一种编码器-解码器结构，该结构接收SA和SB并产生强度配准场SAAB。第二如果SA与BAB级联，则获得SB的估计，进行高分辨率合成。JJ3. 方法单个3D MRI体积由多个成像序列表示，例如T1加权（T1）、T2加权（T2）、T1对比增强（T1ce）和流体衰减反转恢复（Flair），这些序列在显示相同解剖结构的同时通过对比度而不同。如图1，每个序列体积通过轴向、冠状或矢状平面之一中的二维扫描可视化。因此，每个扫描与成像序列和扫描索引相关联这里，例如，分辨率为240 240 155（按照惯例，x、y、z分别指矢状、冠状和轴向轴）的体积在轴向应该具有0 - 154的扫描指数范围。或SA+SAAB;该过程应称为序列翻译。最后，将两个估计融合，得到最终的估计。该插补过程中的关键部件是折射率配准场Φ和强度配准场Φ。如示于图在图3中，单个场Φ被学习为适用于不同的成像序列，并且单个场Φ被学习为适用于不同的扫描指数。两个注册领域被称为不变的显着特征。3.1. 目录登记相同成像序列内的二维扫描在外观和对比度方面具有相似性，同时显示不同的解剖结构（参见图11的“按指数扫描”）。①的人。为了捕获这些扫描之间的解剖差异，采用平滑索引配准场Φ。它参数化位移函数u，1952··--J联系我们--X----对移动图像和固定图像之间的像素位置的变化进行建模3：Φ（p）=p + u（p）.（一）设M（p）和M∈（p）分别对应于运动图像M和运动图像M∈中的像素像素el p的强度值。然后，M（p）=M（p′）=M（Φ（p）），（2）其中p′是所转移的像素位置。这也可以表示为：M=MΦ（3）其中M被称为“扭曲”到配准域Φ。为了模拟解剖学差异的分布，我们将-我扫描索引J成像序列A B使用以下公式来设置将运动图像M变形为固定图像F的配准场：Φ =fθIR（F，M）（4）其中f θIR（，）是一个参数函数，具有我们在第3.4节中描述的可学习参数θIR。3.2. 通过强度配准的序列转换具有相同扫描指数的不同成像序列的二维扫描具有相似的解剖结构，同时显示不同的外观和对比度（参见图11的“序列扫描”）。①的人。对于序列翻译，引入了强度配准的新概念，用于两次扫描之间对比度的非线性映射类似于索引配准场Φ，强度配准场Φ将函数V参数化，该函数V展示了移动图像和固定图像之间的像素强度值的变化。对于特定强度I的强度配准，可以将转移的强度表示为：I=I + v（I）。（五）在移动中没有像素位置p的任何移动，索引配准序列转换图3. 不变配准字段的可视化解释。所有正方形表示MRI图像扫描，水平共享相同的扫描索引并且垂直共享相同的成像序列。白色方块表示可用扫描，灰色方块表示缺失扫描。蓝色粗体和橙色粗体箭头使通过索引配准和序列翻译的可用扫描获得的每个配准字段可视化，并且虚线箭头使每个复制字段可视化。带有虚线边界的彩色正方形显示使用每个配准字段的估计扫描。BLE成像序列，例如， YT1，T2，T1ce，Flair，. .我们假设扫描索引由扫描所表示的解剖位置唯一确定。例如，如果序列A包含索引1、2、3、4的扫描，并且序列B包含索引1、3的扫描，则索引1和3的两个扫描源自相同的位置。为了简化呈现，让我们假设来自成像序列A和B的四次扫描。假设SB为当扫描SA、SA和SB可用时丢失。一个i j i在图像M中，利用从SA到SA的索引配准场的像素强度值的替换通过spec.I j转移值给出M（p）=（M（p））=M（p）+v（M（p））（6）将扫描简化为fθIR的移动和固定图像输入。类似地，用于序列trans-transmitting其中M是指移动的图像。 非线性映射从SA到SB的关系可以通过指定我我运动图像M和固定图像F被建模为扫描作为g θ S T的移动和固定图像输入。两个注册字段由下式给出：n =g（女、男）（7）fθ（SA，SA）= ΦA， gθ（S A，S B）= AB。（八）θSTIRi jijSTi i i其中gθST（，）是一个参数函数，参数θ ST可学习，详见第3.4节。3.3. 插补程序设Sx是具有扫描索引x的二维扫描的集合，并且设SY表示通过成像序列Y进行的扫描的集合。SY表示具有扫描索引X和成像序列Y的单次扫描。 按递增顺序的非负整数，{0，1，2，3，. }是假设x; Y是一个accessi-3在医学图像配准中，运动图像是要与固定图像匹配的图像。运动图像，也称为配准图像，是指运动图像变形到配准场。固定和移动的图像必须与一个精心制作的注册字段相同。. . ... . ... . . .. . . .1953两个场Φ和Φ 2都被训练为不变配准场，假设具有相同扫描指数的不同成像序列的扫描显示相同的解剖结构。该假设实际上成立，但它并不完全正确，因为在不同阶段采取不同的序列。不变配准场是一种新的配准场概念，它是指在配准过程中，可以沿配准方向复制的配准场如图中详细所示。在图3中，蓝色和橙色箭头分别表示折射率配准场Φ和强度配准场Φ。虚线箭头显示从平行方向的粗体箭头复制的字段-蓝色虚线箭头从左侧的蓝色粗体箭头复制，1954Ω我J^A是序列B的尾部，S显示对比度变化，在保留对比度的同时，××我我我JJ哪里IJ我JSAB=h（S，S^）（12）St我我我我˜^i j ijIR j ji橙色虚线箭头是从橙色粗箭头年龄复制的，定义为以上两个不变的字段可以公式化如下：Lsim（F，M′）=1<$[F（p）−M′（p）]2（18）f（SA，SA）= ΦA = Φ =f （SY，SY）p∈ΩRijijijRij（九）其中，F和M′表示固定图像和移动图像，对于所有Y∈ {T1，T2，T1 ce，Flair，. }的情况下，在空间域上定义的。 这是gθ （SA，SB）=AB=AB=gθ（SA，SB）当固定和移动图像具有相似的IM时适用。STi i iSTx x对于所有x ∈ {0，1，2，3，... {\fn方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F}（十）年龄强度分布和局部对比度。我们的总损失函数现在由下式给出：因此，为了估算丢失的扫描SB，A B ijjL=σIR（LIR+LIR）+（LST+LST）+LF（19）我们直接将索引配准场Φij扭曲到SB，并将强度配准场ΦAB级联到SA，S B=S B <$Φij，S A=S A+<$AB。（十一）B我J保留索引j的解剖结构。 为了显示两者在最终替代品中混合的方面（解剖和对比）的侧面，融合过程如下所示：其中超参数σIR是索引配准损失的权重损失函数也在图中示出二、4. 实验4.1. 数据集我们使用公开可用的BraTS和iSeg-2017数据集。两者都包括多个亚脑的MRI脑部扫描，其中所有3D体积都通过颅骨条带进行预处理BAping. 体素强度被归一化为[0，1]，以保证h（，）是一个融合函数。在实验中使用图像平均3.4. 学习函数fθIR和gθST 使用类似于Unet [31]的encode r -解码器结构获得。移动图像和固定图像被连接成用于每个网络的输入的3D体积 从两个网络中，我们的目标是通过索引配准场Φ捕获解剖差异的分布，并通过强度配准场Φ捕获成像序列之间对比度的非线性映射。两个场都被训练为不变的，使得可以应用索引配准场而不管成像序列如何，并且可以应用强度配准场而不管扫描索引如何。仅使用输入扫描和生成的注册字段来评估两个网络的无监督损失由下式给出：BraTS [27]：四种类型的成像序列与494例BraTS患者相关：T1、T2、T1ce和Flair。一些成像序列配对用于我们的插补：（T1，T2），（T2，T1），（T1，T1ce），（T1，Flair）和（T2，Flair），其中第一和第二分量各自分别对应于序列A和B。从分辨率为240 - 240 - 155的三维体积中，我们使用155个中心轴扫描中的8个来构建用于实验的数据集。这导致8个C2= 28对扫描索引组合，并且相应地，每个患者和序列对28个组（每组由4个扫描SA、SA、SB、SB组成总体数据分为3组：10332用于培训，1750用于验证，1750用于测试。iSeg-2017 [36]：两种类型的成像序列与iSeg-2017中的22名婴儿相关：T1和T2。成像序列以双向方式配对：（T1，T2），（T2，T1）.来自分辨率为192×144×256的3D体积，16个中心LA=Lsim（SA，S<$A）=Lsim（SA，SA<$Φij），（13）Li=Lsi m（SB，S^A）=Lsi m（SB，SA+A B）.（十四）将两个注册字段训练为不变的损失是受试者之间的范围相当1955IRJB我一JB我一JIJJ我J^JAB使用256个中的轴向扫描这导致16C2= 120扫描索引组合对，因此每个患者和序列对有120个组。所有数据都分为3组：2040用于训练，240用于验证，360测试LB=Lsim（SB，S<$B）=Lsim（SB，SB<$Φij），（15）LST=Lsim（Sj，Sj）=Lsim（Sj，Sj+ Sj），（16）以保证在没有新的获取过程的情况下重新使用所获得的注册字段是可行的。将最终融合图像与期望图像匹配的辅助融合损失由下式给出：LF=Lsi m（SB，SA B）=Lsi m（SB，h（SB，S^A））. （十七）VoxelMorph，pGAN-cGAN、Col- laGAN、ResViT和PTNet的两种实现。所有培训程序都是在不对原始文件中设置的每个设置进行任何更改的情况下进行的，对于数据集，轴向平面中的中心扫描次数相同用于公平比较。Lsim是一种图像相似性损失，用于评估预测合成图像与真实图像的相似性VoxelMorph [4]：这是最先进的基于学习的医学图像配准方法。两个版本-4.2. 基线所提出的方法进行了比较，两个版本的1956？建议的真实目标VoxelMorph-A VoxelMorph-BpGAN cGAN CollaGAN ResViT PTNet？？？？？图4. 方法的视觉比较。与Target相比，从七种基线方法（VoxelMorph-A、VoxelMorph-B、pGAN、cGAN、CollaGAN、ResViT、PTNet）和提出的方法合成扫描。大脑中心的主要部分显示在每张图像上方。黄色和蓝色箭头指出了结果中值得注意的部分。放大查看详细信息。1957J数据集兔崽子iSeg-2017过渡T1→ T2T2→ T1T1→ T1ceT1→天赋T2→天赋T1→ T2T2→ T1VoxelMorph-A [4]SSIM↑NMSE↓PSNR↑0.9020.10928.8230.9180.06329.3610.8920.09329.9530.8750.08428.6730.9040.07429.9460.7470.14923.8730.7100.17022.603[4]第四话SSIM↑NMSE↓PSNR↑0.9210.08430.4590.8990.05728.4990.8990.08130.4240.8830.08328.8830.8830.08328.8830.7790.11625.2310.6950.17122.337pGAN [11]SSIM↑NMSE↓PSNR↑0.9080.59823.7780.9150.27321.2970.9280.31025.5550.8950.31923.2580.8940.34522.8210.8630.12125.2710.8390.16922.503cGAN [11]SSIM↑NMSE↓PSNR↑0.9170.20825.2900.9150.15924.6250.9170.18424.9500.8960.23122.9440.9070.17726.6070.8330.15523.8250.8400.21223.596[25]第二十五话SSIM↑NMSE↓PSNR↑0.7401.80619.0350.7120.86719.9930.6833.70218.4780.7191.64919.2780.8020.77522.1090.4510.85817.2770.4570.48815.384[第10话]SSIM↑NMSE↓PSNR↑0.9100.37923.4260.9080.15922.0080.9150.27524.3150.8840.20323.0070.8880.31922.4060.8640.16725.7010.8420.15324.233PTNet [43]SSIM↑NMSE↓PSNR↑0.9210.72523.3380.9180.26421.4570.9110.30525.8680.8860.50922.6340.9020.35822.4770.8650.12724.6700.7590.48919.028提出SSIM↑NMSE↓PSNR↑0.9270.07430.7750.9200.05229.7460.9610.05832.7340.9200.07730.7970.9120.07930.3130.8690.10327.1320.8520.13824.725表1.针对VoxelMorph-A、VoxelMorph-B、pGAN、cGAN、CollaGAN、ResViT和PTNet评估所提出的方法。最好的结果用粗体表示，第二好的结果用下划线表示。建立了VoxelMorph模型的几个实例：VoxelMorph-A和VoxelMorph-B每个分别通过序列A和B的扫描来训练，构建用于映射每个序列中的扫描对的配准字段pGAN-cGAN [11]：提供了MRI序列翻译的两种实现-pGAN和cGAN -以供使用。当同一解剖结构的两个不同对比度图像可用时，pGAN模型非常有用它包含一对生成器和训练器，它是用像素损失和感知损失训练的。当不同对比度的两个图像无法配对用于相同解剖结构时，可以使用cGAN模型。包含两对发电机和整流器：一个用于从另一个合成一个对比度（例如，T2从T1）和另一个负责合成在相反的方向。这两对被组合以合成丢失的图像，同时由循环损失函数训练。[25]第二十五话：CollaGAN是一种通用的基于GAN的方法，用于在一组密切相关的图像中输入单个缺失数据。ResViT [10]：ResViT是一种用于多模态医学图像合成的基于变换的生成在相同解剖结构的扫描中，可以从一组可用序列或单个可用序列中输入单个缺失序列PTNet [43]：它采用Transformer层在高分辨率MRI扫描合成任务的Unet结构的瓶颈中。如在跨模态转换模型中，其示出了从具有相同解剖结构的所获得的序列扫描合成缺失的序列扫描。4.3.设置和评估指标设置：所提出的方法是使用Py- Torch [29]库实现的，单个NVIDIA Tesla V100 32 GB GPU与CUDA 11.2一起使用。所有模型都使用ADAM [22]优化器进行优化，并以0的学习率进行训练。0001，小批量大小为4。评价指标：选取结构相似性指数（SSIM）、归一化均方误差（NSME）和峰值信噪比（PSNR）三个标准评价指标对不同方法进行定量比较和评价SSIM和PSNR的高分以及NMSE的低分对应于性能良好的方法。5. 结果和讨论5.1. 定性比较用七种基线方法和本文提出的方法合成了缺失扫描SB，并在图中显示了六个测试用例。4.提供目标扫描以视觉评估每个合成图像。黄色方框表示的大脑中心部分被放大并显示在单独的图像中;黄色和蓝色箭头指出通过所提出的方法更有竞争力地增强的部分。来自VoxelMorph和pGAN-cGAN的合成图像都显示出缺失或不必要的解剖部分。此外，来自VoxelMorph的一些图像无法捕获颜色或对比度，并且pGAN-cGAN在某些情况下显示模糊的结果。这些限制是由于这两种方法都依赖于单次扫描进行合成，这可能不足以捕获影响结构的许多变量1958→LF数据集过渡兔崽子iSeg-2017T1→ T2T2→ T1T1→ T1ceT1→天赋T2→天赋T1→ T2T2→ T1没有SSIM↑NMSE↓PSNR↑0.9180.11529.9710.8730.12127.1600.9290.09430.5890.8610.10828.3660.8870.14028.8090.7790.13825.8780.8240.19424.149与SSIM↑NMSE↓PSNR↑0.9230.08630.7740.9030.06029.3620.9600.06032.5560.9110.09230.2530.8950.13429.3720.8110.10626.7140.8420.14224.606表2. 有无辅助损耗的烧蚀研究。最佳结果以粗体显示。σIR数据集过渡兔崽子iSeg-2017T1→ T2T2→ T1T1→ T1ceT1→天赋T2→天赋T1→ T2T2→ T11SSIM↑NMSE↓PSNR↑0.9230.08630.7740.9030.06029.3620.9600.06032.5560.9110.09230.2530.8950.10429.3720.8310.10626.7140.8420.14224.6062SSIM↑NMSE↓PSNR↑0.9270.07430.7750.9200.05229.7460.9610.05832.7340.9200.07730.7970.9120.07930.3130.8690.10327.1320.8520.13824.7254SSIM↑NMSE↓PSNR↑0.8980.12129.5830.8850.10328.3870.9590.06332.5210.9110.10530.1180.8890.12829.2610.8090.13026.3950.8240.14424.287表3.失重影响σIR。最好的结果用粗体表示，第二好的结果用下划线表示。MRI图像的结构和表现。特别是，Voxel-Morph学习仅捕获空间位移，这使得合成输入图像中看不到的新结构并消除不必要的解剖部分变得困难。CollaGAN的结果也不可靠，显示不完整的解剖结构和低分辨率的像素。最初在论文中，CollaGAN试图从一组密切相关的图像中的剩余数据中输入单个缺失数据。具体而言，如果提供了具有相似解剖结构的三个图像，则Col-laGAN合成一个也类似于其他三个的新图像。这一假设不符合我们讨论的MRI插补。ResViT会合成显示错误颜色或对比度的图像，PTNet会显示结构缺失或较差的 图 像 。 这 些 缺 陷 与 VoxelMorph 和 pGAN-cGAN 相似。由于这两种方法通过使用其他成像序列来执行合成，因此来自这些输入的结构和对比度没有得到充分调整。如上所述，通过基线对结果的可视化显示了结构或对比度方面的失败;或者甚至两者都有。另一方面，所提出的方法的图像非常接近目标，改善了结构和对比度细节。此外，它甚至可以捕获位于大脑中心的小解剖部位与一般图像不同，医学图像中的临床重要数据往往很细微，集中在小区域;在大脑的情况下，中心-大多数注册，翻译和估算方法无法重建或增强。通过目视检查，我们发现所提出的方法提供了一个实际的临床有用的替代品。5.2. 定量比较如表1所示，在合成图像和目标之间计算SSIM、NMSE和PSNR分数。对于每个数据集和序列转换，建议方法在所有方面都显示出优越性-仅在一个方面取得了第二好的结果，在其他方面取得了最好的结果。值得注意的是，对于BraTS的T1 T1ce转换，它明显优于竞争方法，实现了0.961的SSIMBraTS转换的所有测量结果均显示SSIM高于0.9，NMSE低于0.1，PSNR约为30。iSeg-2017转换的测量结果显示SSIM高于0.85，NMSE略高于0.1，PSNR约为25。5.3. 烧蚀研究与超参数选择融合损失的有效性：我们通过训练有和没有损失的模型来评估辅助融合损失L F的有效性。表2总结了结果。结果表明，对于所有的数据集，过渡，和措施，模型，包括辅助损失，以匹配最终的融合图像所需的真实图像显示的改善。索引配准的权重：在改变σIR的各种尝试之间，部分结果如表3所示。 对于所有类型的数据集、转换和度量，σ IR设置为2的模型显示最佳结果，σ IR设置为1的模型显示次佳结果。 由于空间调整的难度，σIR，这是一个训练的索引注册字段的权重，严重影响学习模型。6. 结论提出了一种新的基于不变配准场的所提出的方法提供了临床上有用的替代结果，其中解剖和视觉方面得到保留，并捕捉到细微的细节。致谢。这项工作得到了韩国政府国防开发署（UD 190031 RD）、信息通信技术规划评估研究所（IITP，2021-0-00106（50%），2021 -0-00106（50%））的部分支持。00180（10%））、INMAC和BK 21-plus。1959引用[1] J·阿什伯恩一种快速同构图像配准算法。NeuroImage，38（1）：95[2] B. B.阿凡斯角L. Epstein，M. Grossman和J. C.哎呀具有互相关的对称同构图像配准：评估老年人和神经退行性脑的自动标记。医学图像分析，12（1）：26[3] G. Balakrishnan，A. Zhao，M. R. Sabuncu，J. V. Guttag和A. 诉达尔卡一种用于可变形医学图像配准的无监督学习模型计算机视觉和模式识别（CVPR），第9252-9260页，2018年。[4] G. Balakrishnan，A. Zhao，M. R. Sabuncu，J. V. Guttag和A.达尔卡Voxelmorph：一个用于可变形医学图像配准的学习框架。IEEE医学成像学报，38（8）：1788[5] M. Bro-Nielsen和C.格拉姆科 医学图像的快速流体配准。在Proc. Int. Conf.生物医学计算中的可视化，第265-276页，1996年。[6] T.布洛克斯和J·马利克大位移光流：变分运动估计中的描 述 符 匹 配 。 IEEE Trans. on Pattern Analysis andMachine Intelligence，33（3）：500[7] Z. Chen，H.金，Z. Lin，S. Cohen和Y.吴来自最近邻场的大位移光流 在程序会议中 计算机视觉和模式识别（CVPR），第2443-2450页，2013年。[8] E. D'agostino，F. Maes，D. Vandermeulen和P. Suetens基于互信息的多模态非刚性图像配准的粘性流体模型。医学图像分析，7（4）：565[9] A. 诉达尔卡湾Balakrishnan，J.Guttag和M.R. 萨班库无监督学习快速概率同构配准。 在proc Int. Conf. 医学图像计算和计算机辅助干预（MICCAI），第729- 738页，2018年。[10] O. 达尔马兹湾 Yurt和T. 乔库库河Resvit：用于多模态医学图像合成的残差视觉CoRR，abs/2106.16031，2021。[11] S.联合H.达尔湾尤尔特湖Karacan，A. Erdem、E. Er-dem和T. 乔库库河使用条件生成对抗网络的多对比度MRI图像合成CoRR，abs/1802.01221，2018。[12] B. D. de Vos，F. F. Berendsen，M. A. Viergever，M. 盯着看，我。是口香糖。使用卷积神经网络的端到端无监督可变形图像配准。医学图像分析中的深度学习和临床决策支持的多模态学习，第204-212页。Springer，2017.[13] A.多 索 维 茨 基 湖 Beyer ， A.Kolesnikov ，D.Weissenborn，X.Zhai等人一张图片相当于16x16个单词：用于大规模图像识别的变压器在Proc. Int. Conf.关于学习表征（ICLR），2021年。[14] A. Drevelegas和N. Papanikolaou。脑肿瘤的成像模式。在脑肿瘤与组织学相关性的成像中，第13-33页。Springer，2011.[15] I. J·古德费洛 J. Pouget-Abadie， M. 米尔扎 B. 许、D.沃德-法利，S。奥扎尔A. C. Courville和Y.本吉欧。生成 对 抗 网 络 。 arXiv 预 印 本 arXiv ： 1406.2661 ，abs/1406.2661，2014。[16] 联合Hwang，D.黄氏D. Jung和S.尹Heberan：用于真实世界分类的生成对抗网络 在proc Int. Conf. on MachineLearning（ICML），pages 2921 -2930，2019.[17] M. Jaderberg ， K. Simonyan 、 A. Zisserman 和 K.Kavukcuoglu空间Transformer网络。在Proc. Advances inNeural Information Processing Systems （ NIPS ） ， 第2017-2025页[18] G. 詹森湖 Jacques，J. O. de Xivry，X. Geets，以及B.马克具有可变对比度增强的图像同构配准。生物医学成像国际杂志，2011：891585：1[19] P. Jiang和J. A.沙克尔福德基于map-reduce框架的神经成像模型的b样条配准。在Proc. Int. Conf.脑信息学与健康，第285-294页，2015年。[20] A. Jog，A.Carass，S.罗伊D.L. Pham和J.L. 王子随机森林回归用于磁共振图像合成。医学图像分析，35：475[21] A. Jog，S. Roy，A. Carass和J. L.王子磁共振图像合成通过补丁回归。正在进行IEEE国际生物医学成像研讨会（ISBI），第350-353页，2013年。[22] D. P. Kingma和J. BA. Adam：一种随机优化的方法.在Proc. Int. Conf.关于学习表征（ICLR），2015年。[23] J. Krebs，H. 德林盖特湾 寄过来吧，N。 Ayache和T. 曼西学习一个概率模型用于非对称配准。IEEE医学成像学报，38（9）：2165-2176，2019。[24] J. Kybic使用参数变形模型的弹性图像配准。技术报告，EPFL，2001年。[25] D. Lee，J. Kim，W. Moon和J.烨CollaGAN：用于缺失图像数据插补的协作GAN。在proc 计算机视觉和模式识别（CVPR），第2487-2496页，2019年。[26] J. Liu，S.帕苏马蒂湾A. Duffy，E. Gong，G. Zaharchuk和K.达塔一个模型来综合它们：用于缺失数据填补的多对比度多尺度Transformer。CoRR，abs/2204.13738，2022。[27] B. H. Menze、A. Jakab，S. Bauer等人多模式脑肿瘤图像分 割 基 准 （ BRATS ） 。 IEEE 医 学 成 像 学 报 ， 34（10）：1993[28] H. V. Nguyen，S. K. Zhou和R.维姆拉帕利使用高效位置敏感深度网络的医学图像跨域合成 在proc Int. Conf. 医学图像计算和计算机辅助干预（MICCAI），第9349卷，第677-684页，2015年。[29] A. Paszke，S.格罗斯，F。Massa，et al. Pytorch：一个强制风格的高性能深度学习库。神经信息处理系统（NIPS）进展，第8024-8035页，2019年[30] A. Ranjan和M. J.布莱克。使用空间金字塔网络的光流估 计 。在 proc Conf.计 算 机 视 觉 和 模 式 识 别（CVPR），第2720-2729页，2017年。1960[31] O.龙内贝格山口Fischer和T.布洛克斯U-net：用于生物医学图像分割的卷积网络 在Proc. Int. Conf.医学图像计算和计算机辅助干预（MICCAI），第9351卷，第234- 241页，2015年。[32] D. Shen和C.达瓦齐科斯Hammer：弹性注册的层次属性匹配机制 IEEE Trans. 医学影像，21（11）：1421 -14
我的内容管理
展开
