Hanchao Yu⋆2, Shanhui Sun†1, Haichao Yu2, Xiao Chen1,Honghui Shi†3, Thomas Huang2, Terrence Chen11United Imaging Intelligence, Cambridge, MA 02140, 2University of Illinois at Urbana-Champaign, 3University of Oregon† shanhui.sun@united-imaging.com, † shihonghui3@gmail.com43130FOAL：用于心脏运动估计的快速在线自适应学习0摘要0对于人类心脏解剖和功能评估来说，心脏磁共振成像（MRI）视频的运动估计至关重要。最近的研究表明，使用基于深度学习的方法取得了有希望的结果。然而，在临床应用中，由于训练和测试数据集之间的分布不匹配，它们在性能上会出现显著下降，这在临床环境中经常遇到。另一方面，在部署之前，收集所有代表性的数据集并训练一个通用的跟踪器可以说是不可能的。在这种情况下，我们提出了一种新颖的快速在线自适应学习（FOAL）框架：一种由元学习器优化的在线梯度下降优化器。元学习器使在线优化器能够进行快速和稳健的自适应。我们通过对两个公共临床数据集进行广泛实验来评估我们的方法。结果显示，与离线训练的跟踪方法相比，FOAL在准确性方面具有更好的性能。平均而言，FOAL每个视频只需0.4秒进行在线优化。01. 引言0近年来，使用深度学习进行视频密集跟踪和运动估计在自然图像应用方面取得了巨大进展。在医学成像中，与静态图像相比，视频对于动态变化的生理过程（如心脏跳动）非常理想，并且在临床环境中常被使用。动态心脏图像的特征跟踪可以提供对心脏运动的精确和全面评估，并已被证明对心脏疾病管理非常有价值。运动估计还可以有益于心脏成像中的其他任务，如图像重建和半监督分割。最近，基于深度学习的方法在心脏运动估计方面显示出了有希望的结果。然而，大多数研究都是在...0� 本工作是作者在United Imaging Intelligence, Cambridge, MA02140实习期间完成的。0在研究环境中签署：所提出的模型是在具有类似分布的数据上进行训练和测试的。然而，在临床环境中，图像对象可能呈现不同的解剖结构（异常薄或厚的心肌）和/或动力学（心脏不规则跳动）以用于不同的疾病。此外，图像处理本身通常引入许多变化，如果不是更多的变化。这对于心脏磁共振成像尤其如此，它提供了比超声更好的视频质量，但图像外观受到多个因素的影响，包括扫描仪供应商、主磁场、不同的扫描协议和技术人员的操作。建立一个包括每种变化组合并在其上训练通用跟踪器的数据集可以说是不可能的。鉴于医学数据的稀缺性，在临床环境中，将预训练的网络在来自不同分布的数据上进行微调也不理想，有时也是不可能的。换句话说，对于临床适用的深度训练跟踪器，神经网络需要具备快速适应来自未知分布的新数据的能力。为此，我们提出了一种用于心脏运动估计的快速在线自适应学习（FOAL）机制。所提出的框架包括在线自适应阶段和离线元学习阶段。离线元学习训练模型以获得适应能力，而在线阶段将使用极少量和未知数据应用此适应来调整模型参数。我们设计了一个在两个阶段中使用的用于视频跟踪的独特模块来训练自适应跟踪器。使用所提出的FOAL训练的跟踪器在与强基线方法相比取得了最先进的结果。我们的工作贡献总结如下。0•在密集运动估计的背景下，我们提出了一种新颖的在线模型自适应方法，通过梯度下降优化将训练好的基线模型适应到新的视频中。0•我们提出了一种元学习方法，优化了所提出的在线优化器。元学习器使得在线优化器能够进行快速而稳健的适应。43140在线优化器能够执行快速而稳健的适应。0• 我们提出了在密集运动估计任务中训练元学习器的实用解决方案。0•我们提出的方法不限于基线密集运动估计的网络结构。广泛的实验证明了我们的方法在准确性上相对于基线模型的性能改进。0舒张末期 收缩期 收缩末期 舒张期 舒张末期0MYO LVRV0图1.由CMR记录的健康受试者的典型心脏周期。该周期表示心脏的舒张和收缩过程。心肌（MYO）在图像中呈现为一个黑暗的环。左心室（LV）内充满了一个超强信号，位于环内。右心室（RV）腔通过红线表示。02. 相关工作0第2.1节讨论了计算机视觉领域中运动估计的最新研究成果。第2.2节介绍了心脏运动估计的任务以及在这个领域的现有研究。第2.3节介绍了模型无关元学习，这启发了我们的方法。02.1. 相机视频的运动估计0运动估计是计算机视觉领域中的一个基本问题。在文献中，有一些基于深度学习的方法解决了运动估计问题，例如[2, 5,12, 35, 22]中的报道。Doso-vitskiy等人[5]提出了两个光流估计网络（Flownets）：FlownetSimple和FlownetCorr。前者是一个通用的架构，后者包括一个相关层来融合不同图像位置的特征向量。在[12]的工作中，Flownet2.0进一步添加了一个额外的分支来处理小位移的图像对，并使用原始的Flownet来处理大位移。Sun等人[35]提出了一个更小更高效的神经网络结构，利用特征金字塔和代价体积来获得更准确的运动。这些方法大多数都使用了有真实运动场的监督学习方法。与这些有监督的方法相反，Meister等人[22]提出了一个无监督的框架，其中流量被预测并用于将源图像变形到参考图像。该模型被优化以最小化0变形图像和参考图像之间的差异。此外，使用具有普查变换的遮挡感知的前向-后向一致性损失来改善跟踪结果。需要注意的是，我们的基线模型利用了与[22]类似的自我监督思想。02.2. 心脏运动估计0心脏运动估计以CMR图像的时间序列（视频）作为输入，并通过时间预测心脏运动。由于心脏收缩的非刚性特性，通常在像素级别上估计运动场。通常视频记录了一个完整的心脏收缩周期：从收缩开始（舒张末期ED），然后到达最大收缩（收缩末期ES），再回到舒张。图1显示了一个正常受试者视频中的示例CMR帧。帧在时间t处为I(x, y,t)，参考图像通常选择为ED或ES帧。运动估计的目标是找到映射Fθ，使得0F θ : ( I ( x, y, t ref ) , I ( x, y, t )) −→ V x ( x, y, t ) , V y (x, y, t ) (1) 其中 F θ 是具有参数 θ 的映射函数，V x 和 V y分别是沿 x 和 y 方向的运动场。根据 F θ的不同表达方式，运动跟踪方法可以一般性地分为基于光流的、基于传统图像配准的和基于深度学习的。基于光流的方法建立在对图像外观和运动强度的几个假设上，例如亮度一致性和源帧与参考帧之间的小运动。将基于光流的方法应用于CMR运动估计的问题在于这些假设在CMR视频中被违反[6]。图2显示了一些示例图像，说明了CMR的挑战。Wang等人[40]提出了一种基于梯度流的新方法，该方法使用局部形状模型来保持局部强度和形状特征的不变性。0(a)0(b)0(c)0(d)0图2. CMR运动估计中的挑战示例。(a)和(b)来自一个CMR视频，其中LV心肌（前壁）的上部由于MR线圈检测灵敏度的变化而出现强度下降。(c)和(d)来自另一个CMR视频，其中在舒张末期帧（源）和收缩末期帧（参考）之间发生了大的运动。0除了基于光流的方法，基于图像配准的方法[25, 29, 4, 32,33, 37, 15, 47]也被应用于解决心脏运动估计问题。θi ← θ − α∇θL(Ti; θ).(2)θ ← θ − β∇θ�iL(Ti; θi).(3)Encoder-DecoderIrefIsMotion FieldWarpingI'ref43150应用于解决心脏运动估计的方法。Craene等人[4]利用具有物理约束的B样条速度场计算特征点的轨迹并进行跟踪。Rueckert等人[29]提出了一种自由形变（FFD）方法来解决一般的可变形图像配准问题，最近的工作[25, 32, 33,37]利用了这种方法来估计心脏运动。众所周知，类似FFD的方法在计算效率上存在问题。为了解决这个问题，Vigneault等人[39]提出了一种粗到精的注册框架来跟踪心脏边界点。这个解决方案提高了时间效率，但需要额外的分割步骤。此外，这种稀疏跟踪在心肌区域失去了运动理解。深度神经网络在解决许多计算机视觉问题方面取得的最新成功激发了探索基于深度学习的心脏运动估计的努力。Qin等人[26]提出了一个多任务框架，将分割和运动估计任务结合起来。学习到的心脏运动场被用来扭曲分割掩模，并以半监督的方式指导分割模块。结果表明，与单一任务相比，分割和运动估计性能都得到了改善。Zheng等人[50]提出了一种改进的U-net，称为表观流网络。分割掩模被用于表观流网络中，以改善运动估计。在工作[15]中，提出了一种基于条件变分自编码器（VAE）的方法来估计心脏运动。VAE编码器用于将变形映射到潜在变量，通过高斯分布进行正则化，并通过VAE解码器解码为变形场。需要注意的是，通常很难获得真实的心脏运动，因此上述工作使用分割掩模进行了定量评估。在这项工作中，我们也使用了这种类型的评估。02.3. 模型无关元学习0元学习，或学习如何学习，旨在构建一个能够快速适应新任务的通用元模型[30]。模型无关元学习（MAML）[7]是一种通用策略，它通过训练任务搜索良好的模型无关初始化参数，并能够快速适应新任务。给定初始模型参数θ，对于训练集中的每个任务Ti，任务特定参数θi通过使用可微分的损失函数L在任务数据集中独立更新：0然后，通过所有训练任务更新原始模型参数θ：0通过这些元训练过程，最优的“初始化”参数应该对有限数量的适应步骤内的新任务适应敏感。MAML已经广泛应用于少样本学习[8, 36,9]，神经架构搜索[20]，图神经网络[9]，压缩感知[43]和迁移学习[48]。使用MAML的大多数应用是解决高级视觉任务，如分类和识别。MAML方法启发我们利用元学习器教导模型学习如何适应新的视频。03. 方法0我们在密集运动跟踪的背景下提出了一种在线自适应跟踪框架，利用深度神经网络。所提出的方法是一个通用的视频跟踪框架，不仅限于CMR中的运动估计。然而，为了不失一般性，本方法在CMR的背景下进行介绍。0STN0密集运动跟踪器0图 3.密集跟踪框架的概述。编码器是一个Siamese结构，接受源图像和参考图像作为输入。由Siamese编码器产生的特征图被连接并输入解码器。03.1. 密集运动跟踪0图 3描述了我们的密集跟踪框架的架构。密集运动跟踪的整体思想是一种端到端的无监督学习方法，受到[ 22]的启发。为心脏标注运动场是一项棘手的任务，无监督学习避免了对真实运动场的需求。在我们的工作中，我们使用了网络的轻量级骨干：输入是源图像和参考图像（例如同一视频中的两帧）。编码器是一个Siamese [ 3]结构。解码器是一系列卷积和转置卷积运算符，用于解码特征并将输出恢复到原始图像大小。输出是预测的运动场。为了进行无监督学习，利用空间变换网络[ 13]对源图像进行变形/扭曲，使其与参考图像对齐，使用图像重建损失 L mse来最小化扭曲的源图像与参考图像之间的差异。 L mse是均方误差（MSE）。除了 L mse ，还使用了[ 26]中提出的运动场平滑性损失 L smooth来避免运动的突变，并使用[ 22]中提出的双向（前向-后向）流一致性损失 L con。总损失43160因此，总损失 L total 定义如下：0L total = L mse + α s L smooth + β c L con ，（4）0其中 α s 和 β c 用于平衡三个损失。03.2. 在线优化器0无监督的密集跟踪（第 3.1节）减少了对真实运动场的需求。然而，训练集和测试集之间的分布不匹配是一个持续的挑战，特别是在医学图像领域中的长尾问题。深度学习模型的临床部署受到领域不匹配问题的影响。收集足够的样本来训练一个通用的跟踪器是一个挑战。在本节中，在提出的密集跟踪的背景下，我们扩展了跟踪器以解决数据集分布不匹配的问题。我们不是离线训练这样一个通用的跟踪器，而是使跟踪器在在线情况下意识到测试数据。这背后的思想是使给定的跟踪器能够自动适应新的视频 x。假设我们有一个使用提出的密集跟踪器在数据集 D a上训练的模型 f θ ，其分布为 p ( D a ) 。对视频 x进行在线自适应学习是一种在线优化算法，通过反向传播通过随机梯度下降步骤实现如下：0θ ′ ← θ ′ − α � θ ′ L ( f θ ′ ) ，（5）0其中 θ ′ 代表模型参数，并从 θ 初始化。 α是学习率。我们使用相同的损失函数 L ，定义如公式（ 4）。在线自适应算法的概述如算法 1 所示。0算法 1 FOAL在线优化 输入：单个视频 k ： x k ，学习率： α ，训练模型： f θ，在线跟踪优化步骤数： M θ ′ k ← θ 从视频 x k 中采样 K 对 D k = { a ( j ) k , b ( j) k } 对于 m 从 1 到 M 计算损失 L m ( f θ ′ k ) 使用 D k 使用梯度下降计算参数：θ ′ k ← θ ′ k − α � θ ′ k L m ( f θ ′ k ) 结束 输出：更新的网络权重： θ ′ k0值得指出的是，梯度下降步骤在在线阶段对网络的所有参数进行。因此，通过太多步骤在所有图像对（源图像和参考图像）上优化它们在计算上是昂贵的。我们的目标是仅使用少量在线样本在几个步骤内调整离线模型。我们通过利用元学习来优化这个优化过程。这个想法受到了MAML[7]的启发，MAML用于通过元学习好的初始模型参数。0算法2 FOAL离线元学习 输入：视频集合：X，学习率：α，β，初始模型：fθ，在线跟踪优化步骤数：m 当未完成时 循环 从X中采样N个视频{x 1，x 2，...，x N}对于i从1到N do θ ′ i ← θ 从视频xi中采样K对D i = {a(j)i，b(j)i} 对于t从1到m do 使用Di计算损失L i ( f θ ′ i ) 使用梯度下降计算参数：θ ′ i ← θ ′ i − α � θ ′ i L i ( f θ ′ i )结束循环 从视频xi中采样K对D ′ i = {a(k)i，b(k)i} 结束循环 模型更新：θ ← θ − β � θ 10N � N i L i ( f θ ′ i ) 使用每个 D ′ i 和视频特定的损失 L i ( fθ ′ i ) 结束循环 输出：更新后的模型 θ0元学习。与MAML类似，我们通过反向传播使用随机梯度下降对在线优化方程（5）进行二阶优化。03.3. 元学习0我们利用元学习器在参数θ上重新训练模型fθ，使用数据集Dmeta来教授在线优化器在方程（5）中适应fθ。优化器学习为给定的视频x调整f θ。注意，Dmeta可以是p(D a)或新分布p(D b)，其中Db是新数据集，p(D b)可能与域p(Da)不匹配。完整的算法概述在算法2中。算法2中有两个for循环。内部for循环是算法1中提出的优化算法，用于优化在线优化方程（5）。外部for循环是元学习器，元优化器定义如下。0θ ← θ − β � 1 N0i L i ( f θ ′ i )，(6)0其中i是训练过程中的第i个视频。N是用于优化元学习器的批量中的视频数量。β是元学习器的学习率。Li是在第i个视频上评估的损失（方程4）。f θ ′i是第i个视频的模型参数。03.4. 元学习的实际版本0内存限制和解决方案：与MAML[7]中讨论的少样本学习（分类问题）相比，稠密运动跟踪器需要存储更多的特征图（即需要大量的GPU内存），给定更大的图像尺寸（例如192×192）。∇θ1NN�iLi(fθ′i) ⇔ 1NN�i∇θLi(fθ′i)(7)43170表1. 基线模型、无元学习的FOAL（FOAL w/ometa）和有元学习的FOAL（FOAL +meta）在内部分布与外部分布的Dice系数结果。通过五折留一疾病交叉验证计算得到的平均Dice系数和标准差。0方法 LV RV MYO0内部分布测试集0基线 0.838(0.024) 0.825(0.013) 0.797(0.014) FOAL w/o meta0.856(0.021) 0.842(0.013) 0.820(0.008) FOAL + meta0.873(0.019) 0.859(0.013) 0.840(0.007)0外部分布测试集0基线 0.840(0.094) 0.775(0.096) 0.803(0.045) FOAL w/o meta0.863(0.077) 0.801(0.085) 0.828(0.031) FOAL + meta0.880(0.065) 0.806(0.086) 0.846(0.027)0表2. 基线模型、无元学习的FOAL（FOAL w/ometa）和有元学习的FOAL（FOAL +meta）在内部分布与外部分布的Hausdorff距离（mm）结果。通过五折留一疾病交叉验证计算得到的平均Hausdorff距离和标准差。0方法 LV RV MYO0分布内测试集0基线 7.265（0.779） 8.782（0.422） 6.930（0.548） 无元学习的FOAL6.417（0.627） 8.141（0.329） 6.286（0.469） 带有元学习的FOAL6.012（0.580） 7.731（0.303） 6.157（0.489）0分布外测试集0基线 6.921（2.147） 10.173（1.436） 6.716（1.803）无元学习的FOAL 6.158（1.727） 9.320（1.422） 6.107（1.506）带有元学习的FOAL 5.832（1.534） 9.378（1.417） 5.987（1.437）0元优化器（公式6）需要计算与特定视频相关联的每个独立模型的导数。为了解决这个问题，通过使用梯度算子和平均算子在公式6中是可交换的属性，我们将这两个算子交换如公式（7）所示。0这使得可以在GPU上计算梯度并将其传输到CPU。一阶导数近似：请注意，在公式（7）中，反向传播需要二阶导数。这涉及计算二阶Hessian矩阵，这在计算上是昂贵的。为了解决这个问题，我们使用一阶近似，其有效性在MAML[7]中得到了证明。在[7]中，这种近似方法产生了与二阶导数相当的结果。04. 评估方法0在本节中，我们介绍了对比跟踪方法的评估方法：使用提出的密集运动跟踪方法（基线模型）进行的跟踪，使用基线模型进行的在线优化而没有元学习（无元学习的FOAL）进行的跟踪，以及使用在线优化和元学习进行的跟踪（带有元学习的FOAL）。4.1.数据集和评估参考0在我们的研究中，我们使用了两个公共CMR数据集：ACDC数据集[1]和Kaggle数据科学碗心脏挑战数据[14]。所有数据采集都是通过屏住呼吸进行的，因此只观察到心脏运动的视频。手动制作心脏运动的独立参考标准可能是不可能的。为了进行定量分析，我们使用分割掩模作为独立的参考标准。在研究的测试数据集中，我们在第一帧和评估参考帧都有心脏分割参考。我们通过将源分割变形到参考帧上生成分割掩模，并使用第4.4节中定义的定量指标将其与注释进行比较。ACDC数据集：它包括来自100个受试者（健康和疾病病例）的短轴视图CMR视频。每个受试者包含多个切片（9-10），每个切片都是覆盖至少一个心跳周期的视频序列。总共有951个视频在这个数据集中。每个视频提供两个心脏分割掩模：一个用于ED相和一个用于ES相。分割标签包括右心室（RV）腔、心肌（MYO）和左心室（LV）腔。此外，这100个受试者均匀分为5个类别，每个类别有20个受试者。这些被诊断为：正常病例（NOR）、伴有梗死的收缩性心力衰竭（MINF）、扩张型心肌病（DCM）、肥厚型心肌病（HCM）、异常右心室（ARV）。CMR视频是在6年内使用两台不同主磁场的MRI扫描仪收集的：1.5T西门子Area和3.0 T西门子TrioTim（西门子医疗解决方案，德国）[1]。Kaggle数据科学碗心脏挑战数据集：它包括来自1100个受试者的短轴视图CMR视频。每个受试者包含多个切片（8-10），每个切片都是覆盖至少一个心脏周期的视频序列。总共有11202个视频在这个数据集中。原始挑战是从视频中预测射血分数。射血分数的真实值已经提供，但与我们的研究无关。受试者的健康和年龄范围很大，图像来自多个地点[14]。然而，没有披露详细的疾病类型或分割标签。尽管如此，这个大型真实临床数据集可以用来训练基线密集运动模型。LVRVMYO0.50.60.70.80.91.0DICEAll \ ARVLVRVMYOAll \ DCMLVRVMYOAll \ HCMLVRVMYOAll \ MINFLVRVMYOAll \ NORBaselineFOAL w/o metaFOAL with metaLVRVMYO0.50.60.70.80.91.0DICEARVLVRVMYODCMLVRVMYOHCMLVRVMYOMINFLVRVMYONORBaselineFOAL w/o metaFOAL with meta43180图4. 基线模型、无元学习的FOAL（FOAL w/o meta）和具有元学习的FOAL（FOAL withmeta）在所有五个折叠中内部分布与外部分布Dice系数结果的条形图。不同的疾病作为外部分布显示在不同的列中。顶行是内部分布测试，底行是外部分布测试。外部分布疾病的数据在基线训练和元训练中被排除。显示了平均值和标准差。04.2. 实现细节0对于图像预处理，我们将灰度值归一化为0-255，并应用中心裁剪和零填充来调整图像尺寸为192×192。所有模型都在TeslaV100工作站上进行训练和测试。其他实现细节如下所示。稠密运动跟踪器：对于基线模型，我们采用了由Qin等人提出的运动预测网络的轻量级（更浅更窄）版本。我们将每层的特征图数量和层数减半。我们设置αs=5×10^-5和βc=10^-6。0在公式（4）中，批量大小为20张图像。我们使用Adam优化器，初始学习率为10^-3。在线优化器：更新步骤数m=3，采样对数K=24，算法1中使用Adam优化器，学习率为α=10^-4。元学习器：在线优化器中采样视频数n=2，更新步骤数m=5，采样对数K=24，算法2中使用SGD优化器，固定学习率α=10^-5。元学习器使用Adam优化器，初始学习率β=10^-5，算法2中的元训练步骤为6000。04.3. 实验设置0假设（测试集中的外部分布）通常会导致模型在测试集上的泛化能力较差。在本研究中，我们在ACDC数据集上采用了五折交叉验证，采用了留一疾病法来分离内部分布（Pin）和外部分布（Pout）。由于不同疾病之间存在显著的心脏解剖和动态差异，一个疾病类别可以被视为相对于其他四种疾病的外部分布。对于内部分布集中的受试者，我们将其分为训练集（80×80%=64个受试者）作为p(Da)和p(Dmeta)，测试集（80×20%=16个受试者）作为p(Dtinside)。外部分布（20个受试者）的100%受试者被用作测试集的p(Dtoutside)。在这个实验中，我们在ACDC数据集上训练和评估了所有三种比较方法。微调和泛化：我们观察到，提出的具有元学习的FOAL需要从基线模型训练元学习器。在密集跟踪的背景下，从头开始训练元学习器是困难的。然而，我们提出FOAL的想法是通过元学习的在线优化来提高任何密集跟踪器的性能。为了验证其泛化能力，我们使用了没有任何元信息的Kaggle数据集。具体而言，我们使用整个Kaggle数据集的30%受试者作为p(Da)来训练基线模型。然后在ACDC数据集上进行留一疾病法交叉验证。需要注意的是，Kaggle数据仅用于训练基线模型，而p(Dmeta)，p(Dtinside)和p(Dt outside)都来自ACDC数据集。43190在第一个实验中使用了相同的分割。除了使用Kaggle数据训练的基线模型进行一种疾病的交叉验证外，我们还将基线模型与具有元学习的FOAL模型进行了比较，使用ACDC数据集的20%（100 × 20% =20个受试者）进行微调。其余ACDC数据的100%或10%用于训练这两个模型。所有5个类别都被混合在一起。基线模型和FOAL模型使用相同的训练参数，只是将学习率改为10^-5以防止参数漂移[19]。04.4. 定量指标0我们使用DICE系数（公式（8））和Hausdorff距离误差（公式（9））作为定量评估比较的跟踪方法在分割掩模上的指标。这些指标定义如下：0DICE = 2 ×0|SA| + |SB|, (8)0其中SA和SB分别是分割掩模A和分割掩模B。0H(CA, CB) = max a ∈ CA { min b ∈ CB ||a - b||2 }, (9)0其中a和b分别是轮廓A和轮廓B上的点。||∙||2是欧氏距离。05. 结果与讨论0ACDC数据的分布内与分布外比较：本部分的五折交叉验证实验在第4.3节中描述。图4显示了每个交叉验证中三种比较方法（基线模型、没有元学习的FOAL和具有元学习的FOAL）在内部或外部分布中绘制的测试样本。表1和表2分别总结了内部和外部分布的Dice和Hausdorff距离结果，这些结果是在五个折叠上平均的。图4、表1和表2显示，提出的具有元学习的FOAL方法优于基线跟踪器。对于内部分布测试，我们的具有元学习的FOAL方法平均提高了3.7%的Dice系数，并将Hausdorff距离误差平均降低了1.0mm。值得指出的是，即使训练和测试在同一疾病分布内，来自患者、扫描仪类型、扫描仪设置等方面的变化仍然很大，这可以解释我们的方法相对于基线方法减少的误差。在MYO方面，内部分布和外部分布的Dice系数都提高了4.3%。在零样本（分布外）数据集上，我们的具有元学习的FOAL方法相对于基线方法表现出更好的性能（例如，Dice系数平均增加了3.8%）。此外，我们观察到具有元学习的FOAL方法始终优于没有元学习的FOAL方法。0表3.使用Kaggle基线训练和ACDC分布内外测试集进行微调实验。Dice系数是在Kaggle数据上训练的基线模型（Baseline），在ACDC数据集上进行微调的模型（Finetune）和具有元学习的FOAL模型（FOAL +meta）进行五折交叉验证后的平均值。数字以均值（标准差）的形式显示。0方法 LV RV MYO0分布内测试集0基线 0.864(0.019) 0.847(0.013) 0.830(0.010) 微调0.861(0.023) 0.850(0.012) 0.827(0.014) FOAL + meta0.880(0.017) 0.866(0.010) 0.847(0.009)0分布外测试集0基线 0.874(0.070) 0.796(0.093) 0.841(0.024) 微调0.870(0.070) 0.792(0.094) 0.833(0.031) FOAL + meta0.885(0.059) 0.804(0.091) 0.849(0.023)0展示了元学习提高在线优化器适应能力的有效性。这个结果并不令人惊讶，因为在线优化器通过对大量视频进行离线元训练来学习如何适应新的视频。这种能力使得在线优化器能够找到比没有进行元学习的优化器更好的解决方案的次优路径。图5显示了使用基线模型和具有元学习的FOAL生成的相应变形场的扭曲分割结果。在图5中，还展示了视频中的ED和ES帧。我们观察到心脏区域内出现了明显的外观和形状差异。根据注释，我们的方法在LV（蓝色）和MYO（绿色）方面相对于基线方法有所改进。需要注意的是，由于我们的任务是无监督运动跟踪，因此不能直接将结果与监督分割[26]中的结果进行比较。0表4.使用Kaggle基准训练数据和100%和10%的ACDC训练数据集进行微调实验。报告了在Kaggle数据上训练的基准模型（Baseline），在ACDC上进行普通微调的模型（Finetune）和在ACDC上进行元学习的FOAL（FOAL + meta）的Dice系数（均值（标准差））。0方法 LV RV MYO0ACDC训练数据的100%0基准模型 0.865(0.103) 0.845(0.080) 0.829(0.065) 微调0.865(0.104) 0.854(0.079) 0.831(0.063) FOAL0.881(0.086) 0.865(0.070) 0.845(0.051)0ACDC训练数据的10%0基准模型 0.865(0.103) 0.845(0.080) 0.829(0.065) 微调0.864(0.104) 0.845(0.082) 0.824(0.073) FOAL +元0.882(0.086) 0.863(0.071) 0.845(0.051)0微调和泛化：本部分的实验设置在第4.3节中讨论。我们将在Kaggle数据上训练的基准模型（Baseline），在基准模型上进行ACDC数据微调的模型（Fine-tune）和在基准模型上进行元学习的FOAL（FOAL+meta）进行比较。在内部分布和外部分布中，五折交叉验证的平均Dice系数可以在表3中找到。基准模型在两个分布上的表现都很好，除了RV。这可能是因为Kaggle数据集包含各种心脏疾病，并且它与内部分布和外部分布数据集都有分布重叠，但RV除外。在ACDC数据集上进行微调并没有改善性能。与基准模型相比，我们的方法在内部分布测试和外部分布测试中的Dice系数分别提高了2.7%和2.4%。尽管我们在CMR数据集上测试了该方法的泛化性能，但FOAL可能具有泛化到其他运动（流）估计数据集（如KITTI和Sintel Final）的潜力。tune) and our proposed FOAL with meta-learning from thebaseline model (FOAL+meta). Averaged Dice coefficientsamong five folds for both inside distribution and outsidedistribution can be found in Table 3. The baseline modelperforms comparably well on both distributions except RV.This might be because the Kaggle dataset consists of a va-riety of cardiac diseases and it has distribution overlapswith both the inside distribution and the outside distribu-tion datasets but not for RV. Fine-tuning the model on theACDC dataset does not improve the performance. Compar-ing to the baseline model, our method improved 2.7% on theinside distribution test and 2.4% on the outside distributiontest in terms of Dice. Though we test the generalization ofthe method on CMR datasets, FOAL may have the potentialof generalization to other motion(flow) estimation datasetslike the KITTI and Sintel Final.43200图5.从ED心相位到ES心相位的掩膜叠加的跟踪结果示例。变形操作利用了从比较的方法生成的变形场。从左到右依次为：起始帧（ED相位），最终帧（ES相位），基准模型，FOAL进行元学习和专家的掩膜注释。注意，红色掩膜代表RV，绿色代表MYO，蓝色代表LV。0表4显示了使用10%或100%的ACDC训练样本进行普通微调模型和我们的FOAL进行元学习的Dice结果。与leave-one-disease-out实验不同，我们在这个实验中没有在训练样本中隔离任何疾病，并且模型在整个ACDC测试集上进行了测试。普通微调模型在10%的实验中使性能稍微变差，而在100%的实验中与基准模型相比略微提高了准确性。与此同时，FOAL进行元学习在10%和100%实验中平均分别增加了1.68%和1.71%的Dice系数。这个结果与上述的五折交叉验证测试一致。此外，图4展示了示例，演示了从ED心相位到ES心相位的掩膜叠加的跟踪结果。变形操作利用了从比较的方法生成的变形场。从左到右依次为：起始帧（ED相位），最终帧（ES相位），基准模型，FOAL进行元学习和专家的掩膜注释。注意，红色掩膜代表RV，绿色代表MYO，蓝色代表LV。0我们的FOAL使用少量数据时表现出色，这表明我们的FOAL在从强基准模型进行元训练时表现出色。我们的FOAL在线优化算法需要413±8毫秒（均值±标准差），我们发现它完全耐用于大多数当前的临床应用。06. 结论0在这项工作中，我们提出了一种新颖的在线自适应学习方法，以在密集心脏运动估计的背景下最小化域不匹配问题。在线适配器是一种基于梯度下降的优化器，它本身也是由元学习器进行优化的。元学习策略允许在线优化器使用有限数量的模型更新和少量来自单个视频的图像对进行快速适应。在所有零样本（与训练样本相比的外部分布）的实验设置中，跟踪性能显著提高。同时，观察到在线适配器可以最小化内部分布测试中的跟踪误差。实验结果表明，与没有在线适应的模型相比，我们的方法在性能上取得了更好的表现。这项初步研究显示了将该方法应用于无监督密集运动跟踪或可变形图像配准的可行性。所提出的方法为现有技术中经常被忽视的问题提供了一种实用和优雅的方法。我们希望能够激发更多的讨论和工作，以使其他临床应用受益于类似的问题。43210参考文献0[1] Olivier Bernard, Alain Lalande, Clement Zotti, Freder- ickCervenansky, Xin Yang, Pheng-Ann Heng, Irem Cetin, KarimLekadir, Oscar Camara, Miguel Angel Gonzalez Ballester, etal.深度学习技术用于自动MRI心脏多结构分割和诊断：问题是否解决？IEEE医学成像交易，37（11）：2514-2525，2018年。 50[2] Jingchun Cheng, Yi-Hsuan Tsai, Shengjin Wang, andMing- Hsuan Yang. Seg�ow:视频目标分割和光流的联合学习。在计算机视觉国际会议上的论文集，第686-695页，2017年。 20[3] Sumit Chopra, Raia Hadsell, Yann LeCun, et al.以辨别性方式学习相似度度量，应用于人脸验证。在CVPR（1）上，第539-546页，2005年。 30[4] Mathieu De Craene, Gemma Piella, Oscar Camara, Nico-las Duchateau, Etelvino Silva, Adelina Doltra, Jan D’hooge,Josep Brugada, Marta Sitges, and Alejandro F Frangi
我的内容管理
展开
