SAINT：医学切片合成的空间感知插值网络

1SAINT：用于医学切片合成的空间感知插值网络程鹏1林伟安1廖浩夫2拉玛切拉帕1周少华3、41马里兰大学帕克分校2罗切斯特大学3中国科学院4深圳鹏程实验室摘要基于深度学习的单图像超分辨率（SISR）方法在应用于3D医学体积数据（即，CT和MR图像），这是由于高存储器成本和各向异性分辨率，这必然影响它们的性能。此外，主流的SISR方法被设计为在特定的采样因素下工作，这使得它们在临床实践中无效在本文中，我们介绍了一个空间感知插值网络（SAINT）的医学切片合成，减轻内存的限制，体积数据构成。与其他超分辨率方法相比，SAINT利用体素间距信息提供理想的细节水平，并允许在运行中确定上采样因子我们基于来自包含肝脏、结肠、肝血管和肾脏的四个数据集的853个CT扫描的评估表明，SAINT在医学切片合成质量方面始终优于其他SISR方法，同时仅使用单个模型来处理不同的上采样因子。1. 介绍医学成像方法，如计算机断层扫描（CT）和磁共振成像（MRI）是必不可少的现代诊断和手术计划。为了提供人体的必要视觉信息，期望获取高分辨率和高对比度的医学图像。对于MRI，采集更高分辨率的图像需要很长时间，因此，从业者通常通过采集更少的切片来加速该过程1。’CT im- age因此，大多数医学成像体积是各向异性的，具有高切片内分辨率和低切片间分辨率。不一致的分辨率导致一系列1人体的横截面图像2在[27]中提出的残差稠密网络（RDN），其中内核从2D变为3D。(a) 双三次插值（b）mDCSRN[4](c)3D RDN2 [27]（d）SAINT（Ours）图1：来自CT切片插值结果的骨骼3D渲染图。双三次插值（a）来自稀疏采样的CT体积，具有高度不切实际的失真。方法（b）和（c）改善图像质量;然而，正如脊柱上所显示的，它们仍然没有得到充分解决。SAINT（d）在脊柱上更好地解决了细节问题。问题，从不愉快的观看体验到开发强大的分析算法的困难。目前，许多数据集[9，19，1]使用仿射变换来均衡体积之间的体素间距，这可能会对原始数据造成显著失真，如图所示。1a. 在那里-77507751因此，一些分析任务的方法，例如，病变分割必须采用复杂的算法来考虑分辨率的变化[18，22，16]。因此，非常需要一种准确且可靠的3D SISR方法来对低层间分辨率进行上采样，我们将其称为层间插值任务。三维SISR模型的实现存在各种问题。首先，医学图像本质上是体积和三维的，这通常导致基于深度学习（DL）的方法的存储瓶颈。虽然可以通过基于补丁的训练来缓解这个问题，但是当在推理时将补丁缝合在一起时，这种方法将产生不期望的伪影因此，与其2D对应物相比，3D SISR模型的深度或宽度以及它们的输入样本量必须一致。其次，实际的切片插值模型需要鲁棒地处理不同水平的上采样因子，而无需重新训练以适应各种临床要求。 大多数SISR方法只能恢复图像从一个下采样级别（例如，×2或×4），这对于实际应用是不够的。Huet al.[10个国家]通过Meta学习上采样结构允许任意放大因子。不幸的是，为了实现该功能，该方法需要为每个像素生成一个过滤器，这是非常内存密集型的。最后，主流的SISR方法没有考虑图像的底层物理分辨率。由于医学图像的物理分辨率通常各向异性到不同程度，解决物理分辨率的新公式可能会增加输出的灵敏度为了解决这些问题，我们提出了一种空间感知插值网络（SAINT），这是一种通过2D CNN网络处理层间图像来对3D CT图像进行上采样的有效方法。这解决了算法瓶颈和相关的拼接伪影。为了解决各向异性分辨率问题，SAINT引入了各向异性Meta插值（AMI）机制，该机制受到Meta-SR [10]的启发，该机制使用滤波器生成元网络来实现灵活的上采样率。AMI使用新的图像范围投影，而不是使用Meta-SR中的输入-输出像素映射，该投影考虑了医学图像中的空间分辨率变化，并允许整数中的任意上采样因子然后，SAINT引入了残差融合网络（RFN），该网络消除了将AMI（以2D方式处理图像）应用于3D CT图像所导致的不一致性得益于AMI的有效插值，RFN是轻量级的，收敛速度快。结合AMI和RFN，SAINT不仅显著解决了推理时的内存瓶颈，允许更深更宽的3D SISR网络，而且还提供了改进的性能，如图所示。1.一、我们的主要贡献概括如下：• 我们提出了一个统一的三维切片插值框架称为SAINT各向异性卷。这种方法在内存方面是可扩展的，并消除了缝合-使用3D方法创建的工件。• 我们提出了一种称为各向异性Meta插值（AMI）的2D SISR网络，它从各向异性体积中对切片间图像进行上采样。它与Meta-SR相比，使用单个模型处理不同的上采样因子，结合了空间分辨率知识，并生成更少的滤波器权重• 我们提出了一种残差融合网络（RFN），它通过残差学习来细化合成切片的细节，从而融合AMI产生的体积ing.• 我们通过对来自四个数据集（包括肝脏、结肠、肝血管和肾脏）的853个CT扫描进行广泛评估，来检查所提出的SAINT网络并定量地展示其优越性能。SAINT在独立数据集和不可见的上采样因子上表现良好，进一步验证了其在实践中的适用性。2. 相关工作与传统的插值方法相比，基于DL的二维SISR方法有了很大的本文重点介绍了自然图像SISR的最新进展及其在医学成像中的应用，如重建和去噪。2.1. 自然图像SISRDong等人[5]首先提出了SRCNN，它通过三层CNN学习将LR图像转换为HR图像的映射。许多后续研究探索了改善SISR的策略，例如使用更深的架构和权重共享[13，26，14]。然而，这些方法需要插值作为预处理步骤，这大大增加了计算复杂度并导致数据中的为了解决这个问题，Donget al. [6]提出将LR图像的反卷积层直接上采样到更精细的分辨率。Shi等人[20]首先提出了ESPCN，它允许通过使用子像素卷积层和周期性洗牌算子在网络末端对图像进行上采样来实现实时超分辨率。此外，许多研究表明，残差学习在SISR中提供了更好的性能[17，15，27]。具体地，Zhangetal. [27]结合了残差学习和密集块[11]，并引入了残差密集块（RDB），以允许看到7752图2：空间感知插值网络（SAINT）的整体管道。为了可视化的目的，基于它们的骨骼结构在3D中渲染体积。直接通过其他层，实现最先进的性能。除了性能之外，还研究了上采样因子的灵活性，以实现更快的部署和更好的鲁棒性。Lim等人[17]提出了一种称为MDSR的EDSR方法的变体，用于在模型中创建单独的子结构，以适应不同的上采样因子。Jo等人[12]采用动态上采样滤波器用于视频超分辨率，并基于LR帧中每个像素的相邻帧生成滤波器，以实现更好的细节分辨率。Hu等人[10]提出Meta-SR为每个LR-SR像素对动态生成滤波器生成对抗网络（GAN）[7]也被纳入SISR中，以提高生成图像的视觉质量。Ledig等人指出仅通过L1损失训练SISR网络本质上会导致模糊估计，并提出SRGAN[15]以生成更多细节丰富的图像，尽管实现了较低的PSNR。2.2. CT图像质量改善由于其实际意义，加速CT采集的研究有着悠久的历史。最近，人们的注意力主要集中在噪声数据的更快加速上，然后使用基于CNN的方法进行高质量的恢复。对于CT采集，应用范围从低强度、低剂量CT图像的去噪[29，3，24]到改善稀疏视图和有限角度数据重建图像的质量[28，2，25，8]。已经试验了各种网络结构，包括编码器-解码器（UNet）、DenseNet和GAN因为它可能会产生无法解释的伪像我们主要关注像素级L1损失。虽然大多数工作集中在提高2D医学图像质量，Chenet al.[4]提出了mDCSRN，它使用DenseNet的3D变体 用 于 超 分 辨 率 MR 图 像 。 为 了 解 决 内 存 瓶 颈 ，mDCSRN通过较小的3D立方体块进行推理，并将每个块与相邻立方体的三个像素进行填充以避免失真。Wang等人使用了类似的方法。[23]第10段。Wolterink等人[24]通过为CNN网络提供很少的切片，并仅在较低层应用3D内核来解决这些问题。3. 空间感知插值网络设I（x，y，z）∈RX×Y×Z表示一个密集采样的CT体积。按照惯例，我们将x轴称为即因此，存在三种类型的切片：• 的 矢状 切片 为 一 给定 x：Ix（y，z）=I（x，y，z），• 的 冠状 切片 为 一 给定 y：Iy（x，z）=I（x，y，z），• 给定z的轴向切片：Iz（x，y）=I（x，y，z），<$z。不失一般性，这项工作考虑切片插值沿轴向轴。对于密集采样CT体积I（x，y，z），对应的稀疏采样体积被定义为：I↓rz（x，y，z）=I（x，y，rz·z），（1）X×Y ×Z结构 与SRGAN类似，涉及其中I↓rz（x，y，z）∈Rrz，rz是稀疏系数，GAN [24]报告了较低的PSNR值和较好的视觉效果。续费 我们避免在我们的模型中应用GAN损失，沿z轴从I（x，y，z）到I↓rz（x，y，z），上采样因子从I↓rz（x，y，z）到I（x，y，z）。7753C↓rz↓rzCor↓rz↓rz↓rz↓rzCor↓rzC0↓rz0cc图3：AMI架构。特征学习阶段从ILR生成FLR。基于动态检测-3.2. 各向异性Meta插值我们将Gθ分解为三个部分：（i）特征学习（FL）阶段φFL，它从LR im中提取特征使用从RDN [27]中采用的架构来进行上采样，（ii）滤波器生成（FG）级，其通过生成不同大小的卷积滤波器来实现任意上采样因子，以及（iii）各向异性子像素卷积，其执行子像素卷积和周期性重排（PS）操作以产生最终输出。3.2.1特征学习给定一个输入低分辨率图像ILR∈y在挖掘rz时，滤波器生成级生成滤波器Wc，X↓rz（y，z），I↓rz（x，z）}，特征学习（FL）阶段其与FLR卷积以产生ISR。那么SR就是简单地提取其特征图FLR：C c重新安排了最后的ISR。ILR坐标与所产生的ISR像素坐标之间的物理距离通过FDM映射且提供到滤波器产生级。此图演示了当上采样因子rz=4和滤波器大小k=3FLR=φFL（ILR;θFL），（4）其中θ FL是滤波器学习网络φ FL的参数。注意，F LR∈{F x（y，z），F y （x，z）}。为了同样简洁的符号，我们也使用ISR∈x弧垂 （y，z），Iy（x，z）}来表示对应的超切片插值的目标是找到一个变换在（2）中获得的解析图像。T：RX×Y×Zrz →R X×Y×Z 可以最佳地将对于任意整数rz，I↓rz（x，y，z）回到I（x，y，z）。3.1.拟定方法如图2、SAINT由两个阶段组成：各向异性Meta插值（AMI）和残差融合网络（RFN）。3.2.2各向异性亚像素卷积主流SISR方法使用子像素卷积[20]来实现各向同性上采样。为了实现各向异性上采样，我们将沿z维度的上采样因子定义为rz。如图3、我们的各向异性亚像素卷积层取低分辨率图像给定I↓rz（x，y，z），我们将其视为2D sagit序列ILR ∈RH×W 及其对应的特征FLR∈′在矢状轴边缘处的切片Ix（y，z）。相同的体积也可以被视为Iy（x，z）从冠状轴。将Ix（y，z）内插到Ix（y，z）和将Iy（x，z）内插到Iy（x，z）等效于分别沿x轴和y轴以RC×H×rzW为输入，输出一幅超分辨图像ISR∈RH×rzW。形式上，该层执行以下操作：ISR=ILR，ISR=FLRW，（5）xyI SR= PS（[I SR，ISR，. . .，ISR]），（6）我们应用AMIGθ对I↓rz（y，z）和I↓rz（x，z）进行上采样，如下所示：0 1rz−1其中，[？- 是的- 是的 ]表示卷积和通道方式x弧垂（y，z）=Gθ（Ix（y，z）），Iy（x，z）=Gθ（Iy（x，z））。（二）操作，分别。 W c，c ∈ {1，. - 是的- 是的 ，r z−1}表示卷积核，其构造将在第3.2.3节中讨论。 卷积运算目的是输出ISR，其是ILR的内插切片。超分辨率切片被重新格式化为sagit-将输入ILR=ISR与内插总计和冠状超分辨体积Isag（x，y，z），切片{ISR，. . .，ISR}，得到了一个rz×H×W张量I（x，y，z），并轴向重新采样以获得I z （x，y），1rz−1corzcorzcor（x，y）。我们将RFNFθ应用于熔丝Iz{I{I我我我7754凹陷保险丝（x，y）在一起，使得：凹陷（x，y）和然后应用周期性洗牌（PS）来重塑张量用于超分辨率图像ISR。Iz（x，y）=F（Iz（x，y），Iz（x，y）），（3）3.2.3滤波器生成保险丝θ凹陷Cor受Meta-SR的启发[10]，它采用了元模块并获得我们最终合成的切片Iz（x，y）。为了生成卷积滤波器，我们设计了一个FG级，77550C凹陷CoravgCCC凹陷CorGTGTRC2一个CNN结构，可以动态生成W。此外，我们提出了一个滤波距离矩阵（FDM）算子，它提供了一个表示的物理距离之间的观察体素在ISR和插值体素。在{ISR，. . .，I SR}。1rz−1滤波器距离矩阵。 我们表示空间分辨率，将ISR定义为（RH，RW）。如图3中，对于F LR中的每个卷积运算，取来自F LR的k×k块以生成I SR上的体素。 去找那个-（a）Iz（x，y）（b）Iz（x，y）（c）Iz（x，y）（d）I保险丝（x，y）首先根据ILR生成的特征块中的每个点在最终图像ISR中的坐标位置重新排列，计算ILR生成的特征块中的每个点与ISR中的输出体素的点之间的坐标距离。然后将坐标距离乘以空间分辨率（RH，RW），从而产生该对之间的物理距离表示。具体地，我们将ISR中的坐标与ISR中的坐标之间的PS重排映射定义为MC，使得ISR（h，w）=ISR（MC（h，w））。 在数学上，Mc可以表示为：.，，ΣCMC（h，w）=h + c，wrz+.（七）z图4：（a）由Isag生成的轴向切片。(b)从Icor.有些细节在（a）中得到了更好的解决，而另一些细节在（b）中得到了更好的解决。由于在（x，y）平面中缺乏约束，它们都表现出这通过（d）中的RFN来解决，RFN细化它们的平均Iavg，如（c）注意，代替独立于其相邻切片的2D切片的超分辨，我们在实践中通过将三个连续切片作为输入到AMI来估计单个SR切片输出以允许更多上下文。在对Ix中的所有x和I y中的所有y应用AMI模块之后，我们最终我们将物理距离记录在称为FDM的矩阵中，表示为P=[P1，. - 是的- 是的，Pr−1]. 该算法生成-重新格式化矢状面和冠状面的超分辨率切片分别为Isag（x，y，z）和Icor（x，y，z）。我们将（9）中的L1损失应用于训练AMI：在算法1中示出了针对每个信道c计算Pc。L=Σ G（Ix）−Ix+G（Iy）−Iy，（9）AMIθ↓rzgt1θ↓rzgt1算法一：滤波器距离矩阵输入：目标通道：c、过滤器尺寸：k，空间分辨率：（R H，R W），PS映射：M输出：通道c的FDM：Pc对于h=0到k，其中在密集采样体积I中I x=I x（y，z）和I y=I y（x，z）。从轴向角度来看，Isag（x，y，z）和Icor（x，y，z）提供了对缺失轴向切片的逐行估计。然而，由于对估计的轴向切片没有强制约束，因此不一致的插值-对于w= 0到kdo，Pc（h，w）=<$（M0（h，w）−Mc（k（RH，RW）<$2端端，k、2、））·如图所示，这些操作会导致明显的伪影。4.第一章我们在拟议管道的RFN阶段解决了这个问题。3.3.残差融合网络Pc∈Rk×k是一个紧表示，它具有三个理想的性质：（i）它将空间分辨率嵌入到-（ii）它对通道位置是可变这些特性使得Pc成为生成可以基于不同空间分辨率而改变的因此，我们将Pc提供给过滤器生成CNN模型φFG 估计Wc∈RC′×1×k×k，公式如下：Wc=φFG（Pc;θFG）（8）其中，θFG是滤波器生成网络的参数，Wc是产生ISR的滤波器权重。我们建议读者参考补充材料部分，该部分解释了P的变化如何影响AMI的插值速率。7756图5：RFN架构RFN通过学习各个切片内的结构变化，7757凹陷CoravgavgCor保险丝凹陷保险丝GTGT凹陷Cor如图5，我们首先取垂向和冠状超分辨率体积I sag（x，y，z）的轴向切片。我们遵循[4]中讨论的基于块的算法将体积分解成形状为64×64×64的立方体，和I cor（x，y，z），得到I z （x，y）和Iz（x，y），分别为活泼地由于I z中的每个像素 （x，y）和Iz（x，y）表示并在每侧上用三个像素的边缘来推断它们对于其他非SAINT 3D网络，我们仅推断中心，凹心采用矢状面和冠状面256×256×Z的最佳估计值来改善记忆问题。切片的平均值Iz（x，y）可以减少一些所有方法的定量结果都是在方向性伪影然后我们应用剩余学习，这已被证明是有效的，在许多图像到图像的任务[17，15，27]，融合网络Fφ：中心256×256×Z贴片。数据集。我们使用了来自公开的医学分割十项全能[21]和2019年的z保险丝（x，y）=Iz（x，y）+FφZ向垂度（x，y），Iz（x，y）），（十）肾脏肿瘤分割挑战（KiTS [9]，我们在下文中称为肾脏数据集）。更具体地说，我们使用来自我在哪里（x，y）=Fφ（Izzcor）是fu的输出-医学细分十项全能，并采取463卷40人参加培训，40人参加验证，351人参加测试。Sion网络训练融合网络是：ing.肝脏数据集包含切片厚度为1 mm和4- 5 mm的体积、结肠和肝脏血管的L保险丝=Iz（x，y）−Iz<$1，（11）数据集包含具有4- 5 mm切片厚度的体积在其中I z=I z（x，y）来自密集采样的CT体积。在训练之后，将融合网络应用于所有合成切片Iz和Iz，产生CT体积Ifuse（x，y，z）。替代实现。我们尝试了SAINT的增强版本，其中I（x，y，z）被视为从四个不同的方向，而不是两个，在数量上有了微小的改善。此外，我们还试验了RFN的3D版本，其中所有过滤器都从2D变为3D，并且没有发现任何改进。我们相信，由于AMI是在轴向轴向扩展切片上优化的，因此所产生的体积已经是轴向一致的。我们建议读者参考补充材料，了解有关实验的更多细节。4. 实验实施详情。我们使用PyTorch3实现了所提出的框架。为了确保公平的比较，我们构建了所有模型，使其具有相似的网络参数和网络深度;网络参数包括在表1和表2中。对于AMI，我们使用六个残差密集块（RDB），每个RDB八个卷积层，每层的增长率为32。对于3D版本的RDN，我们将增长率更改为16，以补偿较大的3D内核。对于mDCSRN [4]，由于CT和MRI的采集方法不同，我们用RDN的上采样模块替换最后一个卷积层，而不是对LR图像进行频谱下采样。我们使用Adam optimization训练所有模型，动量为0.5，学习率为0.0001，直到它们收敛。有关模型架构的更多详细信息，请参阅补充材料部分。3D体积需要大量内存才能通过深度3D CNN网络直接推断对于mDCSRN，3https://pytorch.org网站我（一，我7758为了检查模型性能的鲁棒性，对于看不见的数据，我们还从肾脏数据集中添加了32个CT体积用于评估，其中切片厚度在其他数据集中较少所有体积的层尺寸为512×512，层分辨率范围为0.5 mm至1 mm，层厚度为从0.7mm到6mm。对于数据增强，在切片维度上对所有密集CT体积进行下采样，以丰富切片分辨率较低的体积。执行这种数据扩充，直到体积具有少于60个切片，或者其切片厚度大于5mm。评估指标。我们比较了不同的超分辨率方法使用两种类型的定量metrics。首先，我们使用峰值信噪比（PSNR）和结构相似性指数（SSIM）来衡量低层次的图像质量。对于实验，我们通过因子rz=4和rz=6对原始体积进行下采样。4.1. 消融研究在本节中，我们将评估AMI相对于其他实现的有效性。具体而言，我们将其表现与以下各项进行比较：A) MDSR：由Lim等人提出。[17]，MDSR可以用多个上采样因子超分辨率图像。B) RDN：原始的RDN架构，允许固定的上采样因子。C) Meta-SR：使用相同的RDN结构进行特征学习，Meta-SR在最后一个阶段基于位置投影动态生成卷积核。表1总结了针对AMI的不同实施方式的性能，基于Isag（x，y，z）进行评估，我们发现其具有比Icor（x，y，z）7759HR 2D MDSR x4PSNR/SSIM 24.01/0.77352D RDN x424.42/0.8101Meta-SR x424.51/0.7995AMI x425.84/0.8414↓r=2z↓r=2z规模PSNR/SSIM参数肝结肠肝血管肾2D MDSR2.92M37.17/0.972836.74/0.974136.80/0.976738.81/0.9752二维RDN2.77M38.50/0.980038.11/0.980538.36/0.983740.09/0.9800X2Meta-SR2.81M38.03/0.977037.69/0.978538.03/0.981839.69/0.9776AMI2.81M38.64/0.980838.34/0.981538.48/0.984040.33/0.9807AMI+RFN2.93M39.16/0.982638.91/0.983539.13/0.985840.82/0.98212D MDSR2.92M33.43/0.947132.76/0.943632.91/0.949034.57/0.9508二维RDN2.77M34.22/0.954633.39/0.951133.74/0.957135.17/0.9550X4Meta-SR2.81M34.20/0.954133.51/0.951633.74/0.957035.08/0.9544AMI2.81M34.40/0.956133.65/0.952933.93/0.958635.28/0.9560AMI+RFN2.93M34.91/0.960334.19/0.957934.48/0.963035.79/0.95972D MDSR2.92M31.15/0.923730.16/0.913330.22/0.921632.30/0.9297二维RDN2.77M31.78/0.931530.82/0.923231.13/0.931932.47/0.9314X6Meta-SR2.81M31.88/0.932230.86/0.923431.09/0.931832.60/0.9329AMI2.81M32.05/0.933330.99/0.924931.22/0.933332.72/0.9343AMI+RFN2.93M32.50/0.939231.50/0.932031.89/0.940133.22/0.9393表1：SAINT（AMI+RFN）与替代方法的消融研究（定量评价）。最好的结果用粗体表示，第二好的结果用下划线表示。2D MDSR x6HR19.75/0.47272D RDN x619.22/0.4482Meta-SRx622.81/0.7069AMI x623.42/0.7376图6：针对AMI的不同方法的视觉比较。差异图提供在结果的右侧，以便更好地可视化。放大后的图像效果最佳对于所有方法。对于r z=4和r z=6，我们发现im-MDSR和2D RDN，我们使用r z= 4版本的net-AMI的图像质量优于其他方法，可以对Ix进行过采样（y，z）和Iy（x，z），和而Meta-SR和RDN具有相当的性能。尽管参数数量较高，但由于针对不同的上采样因子使用了不同的子结构，对于视觉演示，我们可以在图中看到。AMI能够恢复脊柱骨之间的分离，而其他方法导致骨合并在一起的错误恢复。与Meta- SR相比，AMI在其滤波器生成阶段生成的滤波器权重少HW倍在有限内存的情况下，这允许GPU并行处理更多切片，并实现更快的每卷推断时间。为了检查不同方法的鲁棒性，除了rz=4和rz=6之外，我们还在rz=2上测试了这些方法，这不包括在训练中。AMI和Meta-SR可以通过改变滤波器生成网络的输入来动态调整上采样因子用于2D将输出轴向降采样两倍，以获得结果与其他方法相比，我们观察到元SR的性能显着下降。由于Meta- SR到其滤波器生成级的输入取决于上采样因子，所以看不见的上采样因子可能负面地影响所生成的滤波器的质量。在COM中，AMI在其滤波器生成输入中不显式地包括上采样因子，并且在看不见的上采样因子上稳健地执行。4.2. 定量评价在本节中，我们评估我们的方法和其他SISR方法的性能。定量比较见表2。MDCSRN使用DenseNet结构和批量归一化，这已被证明会对超分辨率任务7760规模PSNR/SSIM参数肝结肠肝血管肾双三N/A28.36/0.873328.01/0.862227.83/0.872030.33/0.89463D MDSR2.88M33.70/0.948732.79/0.944232.80/0.948035.36/0.9563X4mDCSRN2.98M33.70/0.949432.83/0.945532.76/0.948735.44/0.95723D RDN2.88M34.12/0.953533.21/0.949733.26/0.953835.60/0.9582圣2.93M34.91/0.960334.19/0.957934.48/0.963035.79/0.9597双三N/A26.57/0.840526.28/0.826526.00/0.838228.59/0.86353D MDSR2.88M31.18/0.923729.99/0.912229.95/0.919232.82/0.9348X6mDCSRN2.98M30.90/0.921029.93/0.911329.74/0.917032.64/0.93303D RDN2.88M31.52/0.928630.54/0.920430.49/0.926332.71/0.9339圣2.93M32.49/0.939531.48/0.932131.87/0.940433.22/0.9393表2：3D SISR方法在PSNR和SSIM方面的定量评估。最好的结果用粗体表示，第二好的结果用下划线表示。地面实况HR双三mDCSRN3D MDSR3D RDN圣(a)X4PSNR/SSIM 34.21/0.970035.36/0.977035.42/0.977736.17/0.980640.57/0.9888地面实况HR双三mDCSRN3D MDSR3D RDN圣(b)X6PSNR/SSIM 30.36/0.940035.50/0.971136.26/0.975035.46/0.973939.86/0.9863图7：不同方法对SAINT的视觉比较差异图提供在结果的右侧，以便更好地放大后的图像效果最佳[17、27]。此外，使用3D补丁的推断导致可观察到的伪影，其中补丁被缝合在一起，如图1中的mDCSRN结果所示。7.第一次会议。对于肝脏、结肠和肝脏血管数据集，SAINT的性能大大优于竞争方法;然而，对于kid-ney数据集，性能的提高不太显著。对于所有数据驱动的方法来说，在未知数据集上进行泛化是一个棘手的问题，因为诸如采集机器、采集参数等因素。微妙地改变数据分布。此外，诸如PSNR和SSIM的定量测量并不总是很好地测量图像质量。我们直观地检查结果，发现SAINT生成更丰富的细节相比，其他方法。 它在图中显而易见。7，在SAINT产生的不同图像中保留了最少量的结构伪影。有关SAINT在解决内存瓶颈和更多切片插值结果方面的优势的更多讨论5. 结论我们提出了一种多阶段的三维医学切片合成方法称为空间感知插值网络（SAINT）。该方法允许任意上采样率，消除了竞争3D方法带来的内存限制我们在四个不同的CT数据集上仔细评估了我们的方法，发现SAINT在视觉质量和定量测量方面优于其他竞争方法，尽管其他方法经过专门的上采样率训练。SAINT也是鲁棒的，从它在不参与训练过程的肾脏数据集上的虽然我们限制了我们的网络的大小，以便与其他方法进行公平的比较，但SAINT的多阶段性质允许轻松扩展网络大小和提高性能。未来的工作包括研究SAINT对下游分析任务（如病变分割）的影响，并提高恢复微小细节的性能。7761引用[1] S. Bakas等人用专家分割标签和放射组学特征推进癌症基因组图谱、胶质瘤MRI收集。科学数据，2017年4月。1[2] H. Chen，Y.Zhang，Y.Chen，J. Zhang，W.张先生，H.太阳，Y. Lv，P. Liao，J. Zhou和G.王.学习：专家评估的稀疏数据ct重建网络。IEEE医学成像学报，37（6）：1333-1347，2018年6月。3[3] H. Chen，Y.Zhang，M.K. Kalra，F.Lin，Y.Chen，P.獠J. Zhou和G.王. 低剂量ct与残差卷积神经网络编解码器。IEEE医学成像学报，36（12）：2524-2535，2017年12月。3[4] Y. Chen，F. Shi，中国山核桃A. G. Christodoulou，Z.Zhou，Y.邂和D.李 高效准确的MRI超分辨率，生成对抗网络和3D多级密集连接网络。CoRR，abs/1803.01417，2018。一、三、六[5] C.东角，澳-地C. Loy，K.他，还有X。唐使用深度卷积网络的图像超分辨率。CoRR，abs/1501.00092，2015年。2[6] C.东角，澳-地C. Loy和X.唐加速超分辨率卷积神经网络。CoRR，abs/1608.00367，2016。2[7] I. J·古德费洛 J. Pouget-Abadie， M. 米尔扎 B. 许、D.沃德-法利，S。奥扎尔A. C. Courville和Y.本吉欧。生成对抗网络。CoRR，abs/1406.2661，2014。3[8] Y. Han和J.C.烨通过深度卷积小框架构建U网：应用于稀疏视图CT。CoRR，abs/1708.08333，2017。3[9] N. 海勒N. Sathianathen， A. 卡拉帕拉， E. 沃尔查克，K. Moore，H. Kaluzniak，J. Rosenberg，P. Blake，Z.Ren-gel，M.奥斯特赖希J. Dean，M. Tradewell，A.沙阿河泰-保罗，Z。Edgerton，M. Peterson，S. Raza，S.Regmi，N. Pa- panikolopoulos和C.重量.试剂盒19挑战数据：2019年300例肾肿瘤病例的临床背景、CT语义分割和手术结局。1、6[10] X. Hu，H.Mu，X.Zhang，Z.Wang，T.Tan和J.太阳Meta-sr：一种用于超分辨率的放大任意网络。在IEEE计算机视觉和模式识别会议（CVPR）上，2019年6月。二、三、四[11] G. Huang，Z.Liu和K.Q. 温伯格密集连接的卷积网络。CoRR，abs/1608.06993，2016。2[12] Y.乔，S。W.哦，J.Kang，和S。J. Kim使用动态上采样滤波器的深度视频超分辨率网络，无需显式运动补偿.2018年IEEE/CVF计算机视觉和模式识别会议，第3224-3232页3[13] J. Kim，J. K. Lee和K. M.李你使用非常深的卷积网络实现 精 确 的 图 像 超 分 辨 率 。 CoRR， abs/1511.04587 ，2015。2[14] J. Kim，J. K. Lee和K. M.李你用于图像超分辨率的深度递归卷积网络。在2016年IEEE计算机视觉和模式识别会议上，CVPR 2016，美国内华达州拉斯维加斯，2016年6月27日至30日，第1637-1645页，2016年。27762[15]C.莱迪格湖Theis，F.放大图片作者：J. Caballero，A. 坎宁安A.阿科斯塔A. P. Aitken，A. Tejani，J. Totz，Z. Wang和W.石使用生成对抗网络的照片逼真的单图像超分辨率。在2017年IEEE计算机视觉和模式识别会议上，CVPR 2017，檀香山，HI，美国，2017年7月21日至26日，第105二、三、六[16] X. Li，H. Chen，X.齐，阿根-地窦角，澳-地Fu和P.Heng。H-致密网：混合稠密连接unet用于ct体积的肝 脏 和 肿 瘤 分 割 。 IEEE 医 学 成 像 学 报 ， 37（12）：2663-2674，2018年12月。2[17] B.林，S。儿子，H。Kim，S.不还有K M.李你用于单图像超分辨率的增强深度残差网络CoRR，abs/1707.02921，2017。二三六八[18] S. Liu ， L.Xu ， S.K. Zhou ， T.Mertelmeier ，J.Wicklein，A.K. Jerebko，S.格尔比奇岛Pauly，W.Cai和D. Comaniciu.三维各向异性混合网络：将卷积特征从2d图像转移到3d各向异性体积。CoRR，abs/1711.08580，2017年。2[19] B. H. Menze、A. Jakab等人多模式脑肿瘤图像分割基准（BRATS）。 IEEE Trans. Med.Imaging，34（10）：1993-2024，2015. 1[20] W. Shi，J. 卡瓦列罗角 Hus za'r，J. Totz，A. P. Aitk enR. Bishop，D. Rueckert和Z.王.使用有效的子像素卷积神经网络实现实时单图像和视频超分辨率，2016年。二、四[21] A. L.辛普森，M。Antonelli，S.巴卡斯湾比列洛湾法拉哈尼湾van Ginneken，A. Kopp-Schneider，B.A.陆地人G利延斯湾Menze，O.龙内贝格尔河M.Summers ， P.Bilic ， P.F. 基 督 河 K. G. 去 吧MGollub，J.Golia- Pernicka，S. H. Heckers，W. R.Jarnagin，M. K. 麦雨果S. Napel，E.沃龙佐夫湖Maier-Hein和M. J·卡多佐用于分割算法开发和评估的大型注释医学图像数据集，2019年6[22] G. Wang，W.Li，S.Ourselin和T.弗科特伦使用级联各向异性卷积神经网络的脑肿瘤自动分割计算机科学讲义，第178-190页，2018年。2[23] Y.王，英-地Teng，X. He，J.Feng，and T.张某使用3D卷积神经网络的CT图像超分辨率，2018年。3[24] J. M.沃尔特林克Leiner，M. A. Viergever和我。是口香糖。用于低剂量ct降噪的生成对抗网络。IEEE医学成像学报，36（12）：2536-2545，2017年12月。3[25] T. Würfl，M. 霍弗曼，V. Christle in，K. 布雷宁格，Y. Huang，M. Unberath和A. K.迈尔深度学习计算机断层扫描：在有限角度问题中从图像域学习投影域IEEE医学成像trans-actions，37（6）：1454-1463，2018年6月。3[26] K. Zhang，W.Zuo，S.Gu和L.张某学习深度CNN去噪器先验用于图像恢复。在2017年IEEE计算机视觉和模式识别会议上，CVPR 2017，檀香山，HI，美国，2017年7月21日至26日，第2808- 2817页，2017年。27763[27] Y. Zhang， Y.田氏Y.孔湾，澳-地Zhong和Y. Fu.用于图像超分辨率的残差稠密网络。CoRR，abs/1802.08797，2018。一二四六八[28] Z. Zhang，X. Liang，X.董，Y. Xi