4726一种用于4D动态医学图像的Yuyu Guo1，2，Lei Bi2，Euijoon Ahn2，Dagan Feng2，Qian Wang1*，Jinman Kim2*1上海交通大学生物医学工程学院医学影像技术研究所2澳大利亚悉尼大学计算机科学学院{yu.guo，wang.qian}@ sjtu.edu.cn，{lei.bi，euijoon.ahn，dagan.feng，jinman.kimsydney.edu.au}@www.example.com摘要动态医学图像由于辐射剂量大、扫描和重建时间长而限制了其应用现有的方法试图通过在采集的样本之间插入体积来减少动态序列中的体积样本。然而，这些方法限于2D图像和/或不能支持图像体积样本之间的功能运动中的大的但周期性的本文提出了一种适用于4D动态医学图像的时空体 SVIN引入了双网络：第一个是时空运动网络，它利用3D卷积神经网络（CNN）进行无监督的参数体积配准，从一对图像体积中导出时空运动场;第二种是顺序体积内插网络，其使用导出的运动场来内插图像体积，以及新的基于回归的模块来表征功能器官结构中的周期性运动循环。我们还引入了一个自适应的多尺度架构来捕捉体积大的解剖运动。实验结果表明，我们的SVIN优于国家的最先进的时间医学插值方法和自然视频插值方法，已扩展到支持体积图像。代码在1可用。1. 介绍动态医学成像模态使得能够检查人体的功能和机械特性，并且用于临床应用，例如，四-1https://github.com/guoyu-niubility/SVIN三维（4D）计算机断层扫描（CT）用于呼吸器官运动建模[33]，4D磁共振（MR）成像用于心脏功能分析[9]，4D超声（US）用于超声心动图分析[40]。这些4D模态具有高空间（体积）和时间（时间序列）采样率，以捕获器官活动的周期性运动周期，并且该信息用于临床决策制定。然而，这些动态图像的采集需要更大的辐射剂量，这可能会对人体造成伤害，以及更长的图像扫描和重建时间;这些因素限制了4D成像模式在更广泛的临床应用中的使用[32，10]。图1.两个时间阶段的心脏运动：收缩末期（ES）和舒张末期（ED）。红色边界框突出显示心脏结构。所有的图像都显示在轴向视图中，以不同的比例裁剪，以放大心脏。为了减轻这些因素，减少时间采样已被广泛采用，但这会损害有价值的时间信息[23，15]。在这些方法中，中间时间帧可以用于改善视觉检查、定量建模（例如，动态运动4727轨迹）和准确的解释/诊断。这些益处适用于各种临床应用，例如，图像引导治疗中的运动补偿[37]、器官运动建模[1]和4D多模态图像的对准或融合[1，40]。这种插值方法依赖于非刚性配准[6，28，40]或基于光流[30，19]的算法。非刚性配准方法计算从一个体积到另一个体积发生的密集图像体积对应，然后使用计算的对应来生成中间体积。然而，这样的方法通常产生伪影或模糊边界，并且当解剖结构或器官活动的变化（例如，size and shape) are large.另一种方法是使用基于光流的方法（使用深度学习）[19，38]来估计密集运动（即，变形）场。然而，这些方法仅限于2D图像插值，因此没有利用医学图像体积中固有的丰富空间信息。当图像序列之间的运动不是线性轨迹并且不是以恒定速度变化时，它们也是有限的。因此，这些方法不适用于在时空空间中表现出大的非线性运动的体积时间成像模态。本文提出了一种适用于4D动态医学图像的时空体插值网络（SVIN）据我们所知，这是第一个基于深度学习的4D动态医学图像插值方法。我们的模型的概述如图所示。2、由两个主要网络组成。我们的第一个时空运动网络利用3D卷积神经网络（CNN）进行无监督的参数体积配准，从两个图像体积中获得时空运动场。在第二个连续体积插值网络中，导出的运动场用于插值图像体积，以及一个新的基于回归的模块来表征功能器官结构中的周期性运动循环。我们还提出了一个自适应的多尺度架构，学习在多个体积的空间和外观变形，以捕捉大的运动特征。我们证明了我们的方法在心脏运动插值上的应用，这是使用4D CT和4D MR图像采集的。这些图像的特征是心脏结构在收缩到舒张过程中的扭曲动作，并在肌肉形态上有复杂的变化，如图所示。1.我们的方法被用来增加时间分辨率的CT和MR图像体积。我们评估我们的方法相比，国家的最先进的插值方法。我们进一步进行了消融研究，以证明我们的运动网络的有效性。2. 相关作品我们将相关的工作分为三个类别，我们认为这与我们的研究有关：（1）医学动态图像插值;（2）医学图像的时空运动场计算;（3）自然视频插值方法。2.1. 动态医学图像插值许多现有的医学图像插值方法依赖于基于光流或非刚性配准方法，以通过平均相邻图像序列之间的像素值来生成线性插值图像[6、22、30、28、40、37]。例如，Ehrhardt et al.[14]提出了一种基于光流的方法，用于在心脏时间图像的相邻切片之间建立空间对应。Zhang等人[40]使用基于非刚性配准的方法来合成超声心动图和心血管MR图像序列。这些方法的主要优点然而，他们的假设将相邻图像之间的时空运动最近，有两种基于CNN的方法通过运动场的MR图像的时间内插从Lin Zhang等人。[25]和Kim et al.[19]第10段。与以往的作品相比，他们取得了出色的表现。然而，他们的方法不支持完整的3D体积信息，并且在运动变化较大时表现不佳2.2. 从体图像序列许多研究使用可变形医学图像配准技术来估计输入图像序列之间的运动场可变形医学图像配准技术可以分为两部分：非学习型[36，2，20，5，13]和学习型方法ods [21，39，35]。典型的基于非学习的方法是使用B样条[2]，Demons [36]和ANT [3]的自由形式变形这些方法通过计算拓扑结构的相似性来优化位移矢量场。近年来，基于深度学习的方法使用了时空运动场的标记数据，并且表现出了很好的性能[21，39，35]。然而，它们的性能取决于大规模标记数据的可用性为了解决这个问题，提出了几种无监督尽管这些方法证明了良好的结果，[12]和[24]仅在基于块的体积或2D切片中有用。Jiang等人[4]最近开发的4728图2.概述了所提出的方法，其中包括一个运动网络和插值网络。运动和插值网络采用自适应多尺度结构，以覆盖大范围运动。在插值网络中集成了一个回归模块来约束中间运动场。CNN，VoxelMorph，其使用全3D体积信息。然而，它不是为动态图像序列而设计的，在动态图像序列中，它具有很大的运动变化。2.3. 自然视频插值方法视频内插是自然场景中的一项活跃的研究任务，例如，基于模型的跟踪，补丁识别，匹配和帧率上采样[17，11，27，29]。Niklaus等人[31]开发了一种空间自适应卷积核来估计每个像素的运动。 Liu等人。[26]将帧插值分为两个步骤，光流估计和图像插值。他们的网络以非监督的方式学习一对输入的连续帧，然后根据估计的输出改进插值。Jiang等人[18]提出了Slomo -一种通过线性组合双向光流来内插帧运动的技术，然后通过端到端CNN进一步细化估计的运动流场。最近，Peleget al.[34]提出了一种多尺度结构化神经网络，以更好地从高分辨率帧中捕获局部细节。然而，当考虑将这些方法应用于动态医学图像插值时，这是一个具有挑战性的问题，因为医学图像体序列的时间采样比自然场景视频低得多此外，动态医学图像中的变形和视觉差异比自然场景视频相对更复杂3. 该方法令{I T，T= 1，2...，N}是表示从舒张末期（ED）（T = 1）到收缩末期（ES）（T = N）阶段的心脏运动的体积图像的序列，并且令{I i，I j|（i，j）∈ T}是指示心脏运动内的两个随机时间点的一对心脏图像。 我们的目标是插值中间图像I t，（t ∈ T）。对于这项工作，我们使用了ED（表示为ED）和ES（de-注意为I ES ）相位，以内插完整的心脏运 动 。{φi→j，φj→i}表示Ii和Ij之间的双向运动场图图2显示了总体的建议方法。最初，空间-时间运动网络用于以无监督的方式学习和捕获IED和IES之间的双向运动场。然后使用学习到的时空运动场φED→ES和φ ES→ED粗略地创建两个线性内插的中间图像。使用粗插值的中间图像及其相应的变形场，我们通过体积插值网络进一步细化粗中间图像，其中我们使用基于回归的模块来约束插值以遵循心脏生物运动的模式。具体而言，我们的体积运动估计和插值网络都使用自适应多尺度架构，该架构能够捕获各种类型的运动-小体积和大体积时空变形（参见图2）。第2和第3段）。4729i→j图3.我们的时空体积运动网络的架构与自适应多尺度架构。3.1. 时空体积运动场估计图3呈现了用于空间时间运动场估计的3D CNN的架构。我们估计一个运动场，它可以表示在两个单独的时间点的体积图像的逐体素运动流这可以表示为函数Dθ（Ii，Ij）=φiParticipij （x，y，z），其中φiParticipij（x，y，z）指示表示3D空间中的运动的向量，并且θ是可学习的路径。为了训练我们的运动场估计网络，我们使用了具有自适应多尺度网络架构的图像相似性损失和运动场平滑正则化损失（如图3所示如果有网-工作输出φn{n= 1，2，3}，其中i表示不同尺度的体积图像（我们使用3个不同尺度总之），我们将运动场平滑度正则化损失定义为：Σ3网络的ramers我们用了一个编码解码器架构用于通过giv en生成φiParticipij的具有跳过连接的结构Lφ（Dθ（Ii，Ij））=c=1ci→j中文（简体）Ii和Ij。为了产生一个体积运动场，可以覆盖各种类型的变形，我们提出了一个自适应的多尺度架构，嵌入了全局和局部学习。更具体地说，对于全局学习，我们的运动场估计网络专注于大的去中心化。其中，x是梯度算子。从VoxelMorph [4]中利用了图像方面的相似性损失，这可以定义为：Σ3Ls（Ii|φi→j），Ij）= φi（Ic|φc ）−Ic<$2（4）而体积图像在低尺度水平将忽略局部细节，而更详细的信息，c=1i i→j j当体积图像在高比例尺下时，图像会被覆盖。此外，将低尺度的全局变形集成到高尺度，降低了网络学习的难度，约束网络更加关注细节变形。我们的变形场可以定义为：3.2. 序贯体插值网络基于导出的形变场φED→ES和φES→ED，我们使用线性插值方法来合成中间形变场，如下所示：φED→t=tφED →ES（五）φi→j=Dθ（Ii，Ij）或 φj→i =Dθ（Ij，Ii）（一）φES→t=（1 −t）φES→ED（六）Ij=I（Ii|φi→j）或Ii=（Ij|φj→i）（2）其中，|φi→j）表示由空间向量场φi→j双线性插值基于Eqs.在图1和图2中，针对It的基于线性插值的变形场可以近似为：It=（1−t）（IED|φED→t）+t（IES|φES→t）（7）ǁ∇φ4730Itktk为了提高双向的一致性，Eq. 5和6可以修改如下：φED→t=t（1 −t）φED→ES-t2（φES → ED|φES → ED）φES→t = −（1 −t）2<$（φED→ES|φED→ES）+ t（1 −t）φES→ED（八）（九）此外，我们引入超权重映射γ来平衡使用来自双向（前向和后向）的变形的重要性，并且这可以被定义为：γES=1−γED（10）图4.心脏收缩期间左心室（LV）容积变化的图示棕色曲线表示LV的真实运动流，蓝色隐藏线表示简单的线性假设。蓝色点和绿色点代表中间时间点。因此，基于双向变形和γ的线性图像插值可以定义为：Σ3 ΣNL相似=10cc第2条（14）It=（1−t）γED（IED）|φED→t)（十一）c=1k=1Σ3+ t γ ES（I ES|φES→t）哪里c=1（）表示3尺度体积图像如图1右侧所示。2、我们用一个损失{Itn}Nn，=1表示实际中间体积、自适应多尺度网络架构，以确保合成的中间体积图像将具有高的图像和我不知道Nn=1 代表预测的合成-时空分辨率3.3. 基于回归的插值约束模块由于大多数生物运动具有相对固定的运动模式，特别是在心脏运动中[8]，我们提出了一个基于回归的模块来建模心动周期的心脏运动与时间相位之间的关系（如图所示）。4）.具体来说，我们试图建立一个中间体图像。回归损失Lr是细化为单个时间点的外观差异ΣNLr=tk−tk1（15）k=1正则化损失Lg用于将预测的运动约束为在双向上一致，并且被定义为：Σ3表示基于群体的心脏运动向量的回归模型，其指示在indi.Lg=c=1CED→tCES→t 第1章（十六）vidual time point.然后使用个体时间点的基于人群的心脏运动来约束出现的合成中间体积图像的时间。我们在时间点t的回归估计Rθ定义为：t=Rθ（φED→t−tφED→ES，（十二）φES→t −（1 −t）φES→ED）3.4. 体积插值的培训详细信息为了训练我们的顺序体积插值网络，我们的损失函数被定义为图像相似性损失Lsimilar、回归损失Lr和调节损失Lg的总和：其中，图像方面的相似性损失L_similar用于评估在多个相似性损失下预测的合成中间图像和真实中间图像的相似性。图像缩放并定义为：-我ǁ∇φ公司简介4731已设置权重λr= 1;λs= 500;λg= 50经验地使用验证集。4. 实验4.1. 材料和实施细节我们用两个数据集证明了我们的方法：4D心脏CT（4D-C-CT）和ACDC（4D-MR心脏电影或标记MR成像）[7]。图5示出了随机采样的心脏序列体积切片的快照。4D-C- CT数据集由18个患者数据组成，每个患者数据具有从ED到ES的5个时间点（图像体积）。图像体积的特征在于切片内（x和y分辨率）的高分辨率范围为0.32 mm至ACDC数据集包含100个患者数据。 平均而言，每名患者10.93时间点从ED到ES，它具有从1.37到1.68 mm的x-和y-分辨率和5到10 mm的z-分辨率的成像将所有4D-C-CT扫描重新采样为128 x128 x96网格，并将所得图像裁剪为473296x96x96。对于ACDC数据集，我们将所有扫描重新采样为160x160x10。我们在z轴上将ACDC数据填充0，将其大小增加到160x160x12，以减少3D卷积的边界效应。我们随机选择了80个训练/ 20个测试患者数据，并对两个数据集进行对比度归一化，与其他类似研究一致[16]。我们使用Pytorch 库实现了所有网络，并在两个11GB的Nvidia 1080Ti GPU上进行了训练。所有模型都以0.0001的学习率进行训练。在我们所有的评估中，我们对两个数据集都使用了3重交叉验证图5.我们的训练数据快照显示CT（左）和MRI（右）。4.2. 评价和衡量标准为了评估SVIN中的两个网络，我们进行了消融研究。对于无监督时空运动网络，我们将其与最先进的基于CNN的可变形医学图像配准进行了- VoxelMorph [4].对于内插网络，在组件中使用了最先进的图像内插方法，包括（i）用于医学图像的基于RVLI [40]配准的体积线性内插，（二）MFIN [25] -基于CNN的医学图像插值（基于2D切片），和（iii）Slomo -2D中的自然视频插值[18]及其扩展，用于医学图像体积（3D-Slomo）。对于图像体积内插，我们在ED-ES帧之间内插了3个中间体积（见图5），均匀分布在各个时间点。我们使用标准的图像插值评价指标，包括峰值信噪比（PSNR），结构相似性指数（SSIM），均方误差，归一化均方根误差（NRMSE）。我们使用相同的评估指标进行时空运动场估计，与其他医学图像配准方 法 一 致 此 外 ， 我 们 进 一 步 使 用 Dice 相 似 系 数（DSC）来衡量我们的插值在医学成像应用中的有用性。5. 结果和讨论5.1. 消融研究在两个数据集- 4D-C-CT和ACDC上的运动场估计的结果在表1和2中示出。我们的重新-图6.时空容积运动估计结果的比较。强度图像从估计的空间-时间运动场变形红色曲线表示实际分割结果，而绿色显示扭曲分割结果（参见所示的黄色箭头）。红色箭头表示一些器官边界。表1. 4D-C-CT数据集上时空运动场估计的性能。MSE（10−2）PSNRNRMSESSIMDSC体素变形0.78727.100.2760.8070.880我们0.19733.170.1380.9180.944表2. ACDC数据集上时空运动场估计的性能。MSE（10−1）PSNRNRMSESSIMDSC体素变形0.19438.060.1320.9120.920我们0.16838.930.1210.9140.936结果表明，在4D-C-CT数据集上，具有我们自适应架构 的 运 动 估 计 网 络 在 所 有 指 标 上 都 优 于 最 近 的VoxelMorph [4]，实现了33.176的PSNR得分，0.1388的NRMSE，0.9185的SSIM和0.00197.同样，它在ACDC数据集上的所有指标中也有更好的得分。相对于VoxelMorph，我们的运动估计架构在4D-C-CT数据集上比ACDC数据集有更高的改进。我们将此归功于我们强大的多尺度自适应3D CNN，它可以有效地学习运动中的大小变化。图6示出了基于导出的运动场的合成体积及其对应的扭曲分割结果。它清楚地表明，通过我们的运动架构学习的运动场的扭曲分割结果与地面实况更相似。5.2. 与最新插值方法的表3和表4表示4D-C-CT和ACDC4733图7.两个4D-C-CT样本的定性结果（第一个样本的顶部两行;第二个样本的底部两行第一个左列显示成对输入体积（ED和ES），最后一个右列显示实际中间体积。其余列显示使用不同方法重建的插值中间体积。数据集，分别。正如预期的那样，结果表明，在较晚时间点的中间体体积具有更好的性能。这是由于较早的时间点具有较大的运动变化，这导致其准确性较低。表3. 4D-C-CT数据集上的多容积心脏序列插值结果。MSE（10−2）PSNR NRMSESSIM第一点0.45 29.45 0.211 0.830第二点0.43 29.47 0.210 0.825第三点0.28 31.52 0.165 0.863表4. ACDC数据集上的多容积心脏序列插值结果。MSE（10−2）PSNRNRMSESSIM第一点1.2239.340.1090.934第二点0.9540.420.0870.950第三点0.2845.860.0520.977体积插值的比较定量结果见表5和表6。SVIN在4D-C-CT数据集上的所有测量结果均优于所有其他最先进的插值方法。同样，它也有最好的ACDC数据集上所有指标的得分 我们将此归因于我们的自适应多尺度架构捕获运动的变体类型和基于回归的模块，其有效地约束中间体积运动并学习相关的固有功能运动模式（参见图1B）。第7和第8段）。我们的结果表明，RVLI是最接近我们的结果。然而，RVLI不能准确地插值体积时，有明显的伪影，如图。7和8 MFIN和Slomo也没有考虑完整的3D体积信息，即，仅限于2D空间，这导致其得分较低。正如预期的那样，我们实施的3D-Slomo产生了相对于2D方法更好的结果。然而，3D-Slomo不能准确地合成清晰的器官边界，并且当存在心脏活动的大的变化时不能估计运动轨迹（七）.表5.4D-C-CT数据集的性能比较MSE（10−2）PSNRNRMSESSIMDSCMFin1.0626.840.3080.7090.844Slomo1.1326.520.3080.7040.8393D-Slomo0.9226.330.3030.7130.872RVLI0.5428.700.2370.806-我们0.3930.150.1960.8400.9174734图8. ACDC数据集两个样本的定性结果。第一个左列显示成对输入体积（ED和ES），最后一个右列显示实际中间体积。其余列显示不同方法的插值中间量。表6.ACDC数据集上的性能比较MSE（10−1）PSNRNRMSESSIMMFin1.08230.690.3090.607Slomo1.00131.080.2960.6303D-Slomo0.34135.270.1780.845RVLI0.33135.660.1730.860我们0.08141.870.0850.9536. 结论6.1. 总结提出了一种新的四维动态医学图像插值方法。我们提出的两阶段网络的目的是利用体积的医学图像，表现出大的变化之间的运动序列。我们的SVIN优于最先进的时间医学插值方法以及已扩展到支持体积图像的自然视频插值方法。消融研究进一步证明，与最先进的无监督医学配准方法相比，我们的SVIN运动网络能够更好地表示大的功能运动。6.2. 扩展实现在第4节中，我们讨论了我们的多尺度体系结构，用于学习不同空间外观体积缩放以保留体积合成的空间信息而不是学习空间变换模型，作为未来的工作，我们将实现我们的架构在其他体积合成任务。我们利用基于回归的约束模块来探索与功能运动相关的潜在这可以扩展到具有周期性循环运动的其他4D体积医学虽然我们在心脏成像模式上证明了我们的SVIN模型，但是我们的方法不限于应用于其他动态图像。我们建议，我们的方法是广泛适用于其他4D医学图像，以及非医学图像的体积插值问题，Lems的运动场可以建模。引用[1] Puyol-Anton等人基于磁共振和超声数据的多模态时空心脏运动图谱。医学图像分析，40：96[2] 约翰·阿什伯恩一种快速的同构图像配准算法。神经影像，38（1）：95[3] Brian B Avants，Nicholas J Tustison，Gang Song，PhilipA Cook，Arno Klein和James C Gee。脑图像配准中蚂蚁相似性度量性能的可重复评估。神经影像，54（3）：2033[4] Guha Balakrishnan，Amy Zhao，Mert R Sabuncu，JohnGut-tag，and Adrian V Dalca.一种无监督学习模型4735用于可变形医学图像配准。在IEEE计算机视觉和模式识别会议论文集，第9252-9260页[5] Serdar K Balci ， Polina Golland ， Martha ElizabethShenton和William Mercer Wells。用于分组配准的自由形式b样条变形模型。医学图像计算辅助交互，2007年。[6] Christian F Baumgartner、Christoph Kolbitsch、Jamie RMc- Clelland、Daniel Rueckert和Andrew P King。用于呼吸运动的高分辨率动态磁共振成像的分组同步流形对准。 医学 成像信 息处理 国际会 议，第 232-243页。Springer，2013.[7] Olivier Bernard ， Alain Lalande ， Clement Zotti ，Frederick Cervenansky，Xin Yang，Pheng-Ann Heng，Irem Cetin ， Karim Lekadir ， Oscar Camara ， MiguelAngel Gonzalez Ballester，et al.用于自动MRI心脏多结构分割和诊断的深度学习技术：问题解决了吗？IEEEtransactions on medical imaging，37（11）：2514[8] Benedetta Biffi ， Jan L Bruse ， Maria A Zuluaga ，Hopewell N Ntsinjana ， Andrew M Taylor 和 SilviaSchievano。使用合成的高分辨率3D心血管磁共振图像和统计形状分析研究心脏运动模式。儿科前沿，5：34，2017。[9] Axel Bornstedt 、 Eike Nagel 、 Simon Szena 、 BernhardSchnackenburg、Christoph Klein和Eckart Fleck。多层面动态成像：在15秒内完成功能性心脏磁共振检查。磁共振 成 像 杂 志 ： An Official Journal of the InternationalSociety for Magnetic Resonance in Medicine，14（3）：300-305，2001.[10] Federi coCane`，BenedictVer he gghe，MatthieuDeBeule，Philippe B Bertrand ， Rob J Van der Geest ， PatrickSegers，and Gianluca De Santis.从4d医学图像（ct、mri和超声）到左心室内膜的4d结构化网格模型，用于患者特 定 模 拟 。 BioMed Research International ， 2018 ，2018。[11] Byeong-Doo Choi 、 Jong-Woo Han 、 Chang-Su Kim 和Sung-Jea Ko。运动补偿帧内插使用双边运动估计和自适应重叠块运动补偿。IEEE Transactions on Circuitsand Systems for Video Technology，17（4）：407[12] Bob D de Vos，Floris F Berendsen，Max A Viergever，Mar- ius Staring，and Istanis Eliggum.端到端无监督可变形图像配准与卷积神经网络。医学图像分析中的深度学习和 临床决 策支持 的多模 态学习 ，第 204-212页。Springer，2017.[13] 伊恩·L·德莱顿。形状分析Wiley StatsRef：统计参考在线，2014年。[14] 简·厄哈特，丹尼斯·赛林，亨德尔斯。基于光流的时间序列图像内插。2006年医学影像：图像处理，卷6144，页61442K。国际光学与光子学学会，2006年。[15] 基伦·格兰特·霍林斯沃思 通过数据欠采样和压缩减少临床MRI传 感 重 建 Physics in Medicine Biology ， 60 （ 21 ） ：R297，2015.[16] Yeonggul Jang，Yoonmi Hong，Seongmin Ha，SekeunKim，and Hyuk-Jae Chang.心脏磁共振成像中左室和右室的自动分割。在心脏的统计数据和计算模型国际研讨会上，第161- 169169. Springer，2017.[17] Bo-Won Jeon ， Gun-Il Lee ， Sung-Hee Lee ， and Rae-Hong Park.使用金字塔结构的帧速率上转换的粗到细帧内插。IEEE Transactions on Consumer Electronics，49（3）：499[18] Huaiizu Jiang ， Deqing Sun ， Varun Jampani ， Ming-Hsuan Yang，Erik Learned-Miller，and Jan Kautz.超级斯洛莫：用于视频内插的多个中间帧的高质量估计。在IEEE计算机视觉和模式识别会议论文集，第9000- 9008页[19] Neerav Karani，Christine Tanner，Sebastian Kozerke，and Ender Konukoglu.自由呼吸时腹部mris的时间内插医学 图 像 计 算 和 计 算 机 辅 助 干 预 ， 第 359-367 页 。Springer，2017.[20] Arno Klein，Jesper Andersson，Babak A Ardekani，JohnAshburner，Brian Avants，Ming-Chang Chiang，Gary EChristensen ， D Louis Collins ， James Gee ， PierreHellier，et al. 14种非线性形变算法在人脑mri配准中的应用评价。神经影像学，46（3）：786[21] Julian Krebs ，Tommaso Mansi，Herve 'Delingette ， LiZhang ， Florin C Ghesu ， Shun Miao ， Andreas KMaier，Nicholas Ay-ache，Rui Liao，and Ali Kamen.通过基于代理的动作学习实现稳健的非刚性配准。在医学图像计算和计算机辅助干预国际会议上，第344-352页。Springer，2017.[22] Gun-Il Lee，Rae-Hong Park，Young-Seuk Song，Cheol-An Kim和Jae-Sub Hwang。实时三维超声FE-使用运动补偿帧速率上转换来谈论图像增强技术2003年医学影像：超声成像和信号处理，第5035卷，第375-385页。国际光学与光子学学会，2003年。[23] Guang Li，Deborah Citrin，Kevin Camphausen，BorisMueller，Chandra Burman，Borys Mychalczak，RobertW Miller，and Yulin Song.四维医学影像与四维放射治疗的进展。癌症研究治疗技术，7（1）：67[24] 李红明和范勇。非刚性图像配准使用具有深度自我监督的 全 卷 积 网 络 。 arXiv 预 印 本 arXiv ： 1709.00799 ，2017。[25] 张琳，卡拉尼·尼拉夫，坦纳·克里斯汀，科努格鲁·安德。经由运动场预测的时间内插。2018.[26] Ziwei Liu ， Raymond A Yeh ， Xiaoou Tang ， YimingLiu，and Aseem Agarwala.使用深体素流的视频帧合成。在IEEE计算机视觉国际会议论文集，第4463-4471页[27] Gucan Long ， Laurent Kneip ， Jose M Alvarez ，Hongdong Li，Xiaohu Zhang，and Qifeng Yu.学习图像匹配4736简单地看视频。在欧洲计算机视觉会议上，第434-450页。施普林格，2016年。[28] Coert T Metz ， Stefan Klein ， Schaap ， Theo vanWalsum，and Wiro J Niessen.利用nd+ t b样条和分组优化方法对动态医学成像数据进行非刚性配准。医学图像分析，15（2）：238[29] SimoneMeyer、AbdelazizDjelouah、BrianMcWilliams、Alexander Sorkine-Hornung、Markus Gross和Christo-pher Schroers。用于视频帧插值的相位网。在IEEE计算机视觉和模式识别会议论文集，第498-507页[30] 南泰镇朴来宏尹在浩基于光流的超声图像帧内插。在国际会议图像分析和识别，第792-803页Springer，2006年。[31] 西蒙·尼克劳斯、龙迈、风流。基于自适应可分离卷积的视频帧在IEEE计算机视觉国际会议论文集，第261-270页[32] Yoshiharu Ohno ，Hiroto Hatabu ， Daisuke Takenaka ，Daisuke Adachi，Michio Kono，and Kazuro Sugimura.孤立性肺结节：动态磁共振成像在管理中的潜在作用-初步经验。放射学，224（2）：503[33] Tinsu Pan，Ting-Yim Lee，Eike Rietzel，and George TYChen.在多层ct上对受呼吸运动影响的体积进行4d-ct成像。医学物理，31（2）：333-340，2004年。[34] Tomer Peleg 、 Pablo Szekely 、 Doron Sabo 和 OmrySendik。Im-net用于高分辨率视频帧插值。在IEEE计算机视觉和模式识别会议上，第2398-2407页，2019年[35] Hessam Sokooti ， Bob de Vos ， Floris Berendsen ，Boudewijn PF Lelieveldt，Ibergis Islavgum，and MariusStaring.利用多尺度3d卷积神经网络进行非刚性图像配准。医学图像计算和计算机辅助干预国际会议，第232-239页。Springer，2017.[36] J-P Thirion作为扩散过程的图像匹配：与麦克斯韦的恶魔作类比。医学图像分析，2（3）：243[37] Erik Tryggestad 、 Aaron Flammang 、 Sarah Han-Oh 、Rus- sell Hales、Joseph Herman、Todd McNutt、TebohRoland、Steven M Shea和John Wong。基于呼吸的动态mri分类，为放射治疗计划导出代表性4d-mri医学物理，40（5）：051909，2013。[38] Wenjun Yan，Yuanyuan Wang，Zeju Li，Rob J Van DerGeest，and Qian Tao.通过短轴电影MRI的光流网分割左心室：保持心脏运动的时间相干性。医学图像计算和计算机辅助干预国际会议，第613-621页。Springer，2018.[39] 肖扬，罗兰德·克维特，马丁·斯泰纳，马克·尼瑟姆默.水 银 ： 快 速 预 测 图 像 配 准 - 一 种 深 度 学 习 方 法 。NeuroImage，158：378[40] 张薇薇，J迈克尔·布雷迪，哈拉尔·贝彻和J艾莉森·诺布尔。时空（2d+ t）非刚性配准实时三维超声心动图和心血管MR图像序列。Physics inMedicine Biology，56（5）：1341，2011.
