医学图像多任务训练方法优化准确性和计算效率

医学信息学解锁24（2021）100571UMS-Rep：用于高效医学图像分析的Ghada Zamzmi*，Sivaramakrishnan Rajaraman，Sameer Antani美国国立卫生研究院国家医学图书馆A R T I C L EI N FO保留字：医学图像分析疾病分类图像分割A B S T R A C T医学图像分析通常包括若干任务，诸如增强、分割和分类。传统上，这些任务是使用针对单独任务的单独深度学习模型来实现的，这是低效的，因为它涉及不必要的训练重复，需要更大的计算资源，并且需要相对大量的标记数据。在本文中，我们提出了一种用于医学图像分析的多任务训练方法，其中使用统一的模态特定特征表示（UMS-Rep）通过相关知识转移同时对各个任务进行微调。我们探索不同的微调策略，以证明目标医学图像任务的性能的策略的影响。我们用不同的视觉任务进行实验（例如，图像去噪、分割和分类），以突出我们的方法为两种成像模式（胸部X射线和多普勒超声心动图）提供的优势。我们的研究结果表明，所提出的方法降低了对计算资源的总体需求，提高了目标任务的泛化能力和性能。具体而言，所提出的方法提高了准确性（高达到1.9%↑），并减少计算时间（高达1.86%↓）。此外，我们的研究结果证明，在医学图像中的目标任务的性能受到所使用的微调策略的高度影响。1. 介绍深度学习极大地推进了视觉任务分析的前沿随着医学图像分析的突破性进展，健康应用和生物医学研究的研究兴趣激增。跨各种医学成像模态的一些常见的视觉任务[1，2]，（ii）分段（例如，参考文献。[2参考文献[6]，以及（iv）分类（例如，参考文献[2虽然这些方法已经实现了有希望的性能，但它们倾向于使用单独的预训练模型（例如，VGG16和带有ImageNet权重的ResNet）。针对多个任务训练和部署具有高计算复杂度的多个个体模型是可行的，但受到有限计算资源和重复顺序训练的限制这些因素可能会显著影响未来的发展，并在现实世界的临床环境中部署具有大量模型的此外，本发明还使用与任务一样多的模型限制了深度学习提供的潜力，因为它限制了将知识从源域转移到目标域或任务。这些挑战可以通过多任务学习（MTL）来缓解，MTL是一种机器学习概念，它将知识从共享源转移到多个目标任务[7]，从而提高目标任务的泛化能力并帮助整体性能。目标任务可以是具有相似标注的同构任务，也可以是具有不同标注的异构任务。例如，使用类似注释的两个目标任务（如语义联合学习策略包括学习考虑任务间关系的联合损失函数。其他微调策略包括独立和交替策略[7我们将在2.3节中进一步讨论这些策略。MTL技术已广泛用于自然图像，但很少有研究[[10，11]]将这些技术应用于医学图像。受自然图像MTL成功的启发，我们提出了一种基于MTL的医学图像分析训练方法* 通讯作者。 国家医学图书馆，国立卫生研究院贝塞斯达，马里兰州美国。电子邮件地址：alzamzmiga@nih.gov，ghadh@usf.edu（G. Zamzmi）。https://doi.org/10.1016/j.imu.2021.100571接收日期：2020年12月23日;接收日期：2021年3月19日;接受日期：2021年4月1日2021年4月20日网上发售2352-9148/Elsevier Ltd.这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表医学信息学期刊主页：http://www.elsevier.com/locate/imuG. Zamzmi等人医学信息学解锁24（2021）1005712i=1其中通过跨共享的医疗模式特定特征表示的相关知识传递来同时学习各个目标任务。这种方法能够降低对计算资源的要求，并增强目标任务的泛化能力。本文的主要贡献如下：我们提出了一种方法，使用一个共享的源，称为统一模态特定的表示（UMS-Rep），同时微调目标医学图像任务与不同的和类似的注释。我们表明，共享源（UMS-Rep）可以使用任何学习技术，包括无监督（无注释）或监督（注释有限）在特定的医学成像模式上构建。此外，我们表明，UMS-Rep可以模拟学习预处理任务，如图像去噪和增强。我们探讨了三种微调策略，即独立，交替，联合，调查他们对目标任务的表现在医学图像。我们定义了可派生任务，它可以是从学习的目标任务派生的任何任务。可导出任务的示例包括从分类目标任务导出的机器学习决策的视觉解释。我们的实证评估表明，所提出的训练网络的每个部分的序列，首先是具有预处理任务的共享UMS-Rep，其次是具有适当微调策略的任务特定头（目标任务），最后是可导出的任务，对于医学图像分析更有效。尤其是，我们对医学的评估-标准图像基准测试证明了我们的优越性和效率2.2. 异构目标任务[17]提出了一种用于对自然图像中的三个异构任务进行建模的方法，即街道分类、车辆检测和道路分割，具有不同的注释（全局、BOX坐标和piX el级别标签）。每个任务都是单独训练的，最终的损失是分割，检测和分类的损失之和YOLO网络[18]是学习具有不同注释的任务的方法的另一个例子。具体来说，YOLO使用一个头部作为边界boX（坐标），另一个头部用于分类（图像标签）。YOLO使用损失函数，其具有用于边界框任务的本地化损失项和用于分类任务的分类损失。与自然图像不同，医学图像不仅在注释的数量上受到限制，而且它们还表现出不同的视觉特性（例如，颜色均匀性、质地微妙性、形状变化性和高度相似的外观）。参考文献[9]尝试了一种用于学习异构医学图像任务的方法。他们建立了一组称为Genesis的模型，并将其作为学习分类和分割任务的起点。这两个任务是微调独立使用两个单独的损失函数。2.3. 微调战略我们将目标任务的微调策略分为：联合微调，交替微调和独立微调。联合微调策略涉及优化整个网络，以最小化累积所有目标任务损失的单个损失函数这种策略允许学习目标任务之间的关系在数学上，联合损失函数可以表示如下：在性能、资源和计算方面，其中LT i、wi和N表示特定任务的损失与基线方法相比，有多少任务就训练多少模型。本文的其余部分组织如下。第2节讨论了不同类型的目标任务和微调策略。第3节介绍了本文所使用的医学图像数据集，并描述了我们的医学图像分析训练方法。然后，我们提出了实验结果，并与第4节中的基线方法进行了比较。最后，我们讨论了结果，并在第5节总结了论文。2. 背景MTL方法引起了人们的关注，因为它们在提高目标任务的概括性方面取得了显着的成功[7]。这些目标任务可以根据数据标注分为同构任务（相似标注）和异构任务（不同标注）。接下来，我们将介绍同构和异构目标任务，并讨论不同的微调策略。2.1. 同质目标任务基于MTL的方法已被广泛用于联合学习具有相似注释的目标任务。例如[12]，提出了一种基于MTL的方法，从人脸图像中联合学习以下目标任务：姿势，性别，戴眼镜和微笑。这些目标任务具有全局图像标签（存在/不存在微笑、杯子等）。作为地面实况（GT）注释。任务间关系或相关性是使用参考文献[12]中提出的联合损失函数学习的。参考文献[13]提出了另一种方法，用于联合学习对象的类别和姿态。类似于参考文献[12];两个目标任务都具有图像级标签注释（即，类别标签和姿势标签），并且使用联合损失函数来学习这些任务之间的关系。参考文献中介绍了学习具有同质注释的目标任务的其他方法。[10，14它的权重和任务总数。损失的权重（wi）可以是加权的，也可以是不加权的。在未加权求和的情况下，所有任务的损失函数获得相等的权重。否则，任务损失的最佳权重加权损失的其他方法包括参考文献[14]介绍的同方差不确定性和参考文献[19]提出的跨任务一致性。替代优化单个联合函数，交替策略要求每个目标任务具有单独的损失函数;即，N个任务的N个损失函数[8]。每个任务的损失函数具有两项，第一项（Θsrc）表示共享源的参数，第二项表示N个任务的任务特定参数（ΘTN）。优化过程是通过交替地使用特定于任务的批次优化特定目标任务的损失，然后使用其特定批次优化另一个任务的损失等来执行的[8]。图1显示了交替微调策略的优化过程，该策略涉及对固定数量 在切换到下一个任务的批处理之前[8]。在每个切换中，我们用其项（Θsrc和ΘTi）更新特定于任务的损失。的Fig. 1. 交替策略中的微调方法。····G. Zamzmi等人医学信息学解锁24（2021）1005713×××××（）下一页={}（）=特定于任务的批处理的比率可以针对所有任务进行调整，基于其他因素（如性能、重要性和数据集大小）进行确定，或者使用特定方法（如参考文献[1]中提出的方法）进行计算。[20 ]第20段。通过在任务之间交替学习并更新权重（Θsrc和ΘTi=1：N），该策略允许学习跨目标任务的相似潜在表示。最后，独立策略涉及在冻结Θ src的同时独立地微调目标任务。该策略允许所有目标任务共享一个公共表示，然后是特定于任务的层。每个特定于任务的头都使用自己的损失和优化器进行微调。换句话说，我们冻结共享表示参数（Θsrc），并使用特定于任务的优化器来最小化特定于任务的数据的特定于任务的损失。总之，联合微调策略通过最小化累积所有目标任务的损失的单个联合函数来优化整个网络（共享源和特定任务头）。交替策略通过在切换到下一个任务之前最小化固定数量的批次的损失来优化特定任务。在每个开关中，源和任务特定的参数都将更新。在独立微调策略中，我们冻结共享表示的参数，并通过最小化其损失来独立地优化特定任务的头。据报道[21]，独立策略在用于微调竞争（或不同）任务时会导致更好的性能，而联合策略在合作（或类似）任务中会导致更好的性能。这归因于这样一个事实，即竞争性任务在联合学习时可能导致不相关信息的转移（即，不相关任务之间的负迁移）。此外，梯度可能会干扰，这使得多个求和损耗的优化前景更加困难。3. 材料和方法3.1. 医学图像数据集两种医学成像模式用于评价第3.2节中描述的拟议方法。这些模式是胸部X线（CXR）和多普勒超声心动图（多普勒回波）。 表1总结了本工作中使用的CXR和多普勒回波数据集表1CXR和多普勒回波数据集总结3.1.1. CXR系列我们使用了四个公开的CXR集合在我们的评估所提出的方法。这些数据集是北美放射学会（RSNA）[22];深圳结核病[23];蒙哥马利结核病[23];和小儿肺炎数据集[24]。RSNA数据集包括26，684个正常和异常的额叶CXR，这些CXR作为DICOM图像提供，空间分辨率为1024 - 1024。除标签外，GT疾病边界框可用于包含肺炎相关阴影的CXR。深圳数据集包含662个CXR图像（336个异常和326个正常图像级别标签）和肺部的GT二进制掩模（piX el级别标签）。在这个集合中的图像的大小各不相同，但它是approX像素30003000像素X像素。Montgomery数据集有138个后-前CXR，其中80个CXR正 常 ， 58 个 有 TB 表 现 的 异 常 。 图 像 分 辨 率 为 4020 4892PIX el 。Montgomery数据集的异常类别包括广泛的异常，包括结核病相关表现、积液和粟粒模式。最后，从624例患者中收集儿科肺炎数据集，并按照参考文献[24]中的描述进行标记。训练集包含总共5232张胸部X射线图像，其中3883张标记为肺炎（2538张细菌性和1345张病毒性），1349张标记为正常。测试集包含234张正常图像和390张肺炎图像（242张细菌图像和148张病毒图像）。图2示出了来自上述CXR数据集的标记图像示例。所有数据集的图像均使用双三次图像缩放为256 256插值（OpenCV内置函数）。我们还进行了均值归一化，以确保图像具有相似的分布。众所周知，数据归一化可以在训练网络时加快收敛速度。3.1.2. 多普勒回波我们使用了一个私人数据集的2444图像显示连续波和脉冲波多普勒血流从100例患者谁是在美国国立卫生研究院（NIH）的临床中心超声心动图检查这些去识别图像的使用得到了NIH伦理审查委员会（IRB#18-NHLBI-00686）的批准使用不同的商业超声心动图系统（包括Philips iE33、GE Vivid 95和GE Vivid 9）采集二尖瓣血流（MV）、二尖瓣环血流（MA）和三尖瓣返流（TR）的多普勒轨迹。每个多普勒图像都有一个血流类型标签（TR、MV或MA）和一个由专家技术人员，其将光谱包络与背景分离模态数据集总图像GT标签分辨率此外，专家技术人员评估了图像子集（2444个中的814个）的质量为低质量或良好质量。所有GT注释（全局RSNA 26，684正常1024× 1024标签和二元掩模）进一步深圳662CXR蒙哥马利138异常正常（336）异常（326）呼吸面罩（566）正常（80）异常（58）呼吸面罩（138）3000×4020×30004892经心脏病专家证实 图图3示出了来自多普勒回波数据集的标记图像示例。使用双三次插值（OpenCV内置函数）将所有图像的大小调整为256然后我们进行平均归一化。3.2. 该方法儿科培训：5232细菌（2，538）病毒性肺炎（1345）传统的医学图像分析方法（例如，参考文献[1，5]，测试：624正常（1，349）细菌（242）病毒（148）正常（234）如图4所示。该方法涉及孤立地训练用于N个单独目标任务的N个单独（编码器-解码器）模型。我们提出的方法，同时训练UMS-Rep与预处理任务和共享训练的UMS-Rep之间的目标多普勒回波多普勒2444多普勒血流（2444）任务图像质量（814）信封面具（2444）多普勒二尖瓣血流（855）流量MA流量（490）TR流量（1099）任务如图所示。 五、3.2.1. 符号和定义如图5所示，UMS-Rep学习源输入空间或特定成像模态（S）的视觉特征（XS）。然后共享学习的特征表示以同时学习N个目标任务T1：NT1，T2，.. ，TN. 源模态被定义为S{XS，PSXS}，其中XS表示特征空间，P SX S表示概率。输入模态的能力分布。G. Zamzmi等人医学信息学解锁24（2021）1005714={个={个（）（）（）{}（）={（）}图二. 来自CXR数据集的样本及其注释;第1行：RSNA，第2行：深圳TB CXR，第3行：Montgomery TB CXR，第4行：小儿肺炎CXR。UMS-Rep改进了多达N个目标任务（f1：N）的预测函数的学习和泛化。f1。 ，f2。 ... fN. ）通过将共享知识从S转移到N，预测Y1：NY1，..， YN. 由于使用共同输入或模态的医学图像分析任务共享共同的低级特征，因此共享的模态特定表示（源）可以被训练一次并用于同时微调具有不同或相似GT标签的目标任务。例如，从特定成像中提取的特征由自动编码器使用无监督学习（Y GTS）对模态（S 为）可以同时被具有不同标签空间的两个目标任务T1和T2共享，其中P S X SP1X1 和P S X SP2X2。一如果满足该约束，则可以在运行中添加新的任务专用头（或解码器）。图 5，我们还定义了D个可导出任务V1：DV1，V2，.，V D.这些任务是使用单个或多个组合特定任务的头。可衍生任务的一个例子是从分类任务预测.这样的任务对于增强医疗决策至关重要[25]。另一个可衍生的任务是自动决策推荐，它可以通过组合不同任务特定头的输出来生成。新的可导出任务也可以以最小的努力在运行中添加，只要它使用先前学习的特定于任务的头的信息来产生输出。我们提出的学习每个部分的序列，首先是具有预处理任务的共享UMS-Rep，其次是特定任务的头部，最后是可导出的任务，允许更有效地分析医学图像。3.2.2. UMS-rep结构考虑到所提出的方法具有同时减少计算/资源和增强N个目标任务的一般化的前景，出现的问题是：应该使用什么学习技术来构建共享的UMS-Rep？答案取决于输入空间和手头的任务例如，给定G. Zamzmi等人医学信息学解锁24（2021）1005715图3.第三章。 来自回波多普勒数据集及其注释的样本;第1行：多普勒任务，第2行：多普勒血流。体系结构（例如，VGG和UNet）可以替代使用。在构造UMS-Rep时，预处理任务（即，噪声降低）也被学习。使用所提出的方法同时学习预处理任务和解决视觉任务，可以防止不必要的重复，减少计算，并提高泛化能力。3.2.3. 目标任务层微调策略在微调目标任务之前，我们附加了特定于任务的层见图4。医学图像分析中的传统训练序列涉及针对单个任务使用单个模型。例如，在分析之前对医学图像进行去噪需要使用单独的图像去噪模型来生成干净的图像，然后使用这些图像作为单独模型的输入。图五、 我们提出的同时训练UMS-Rep和预处理任务的序列（粉色方框）。然后，UMS-Rep在具 有 异 构 或同构 注 释的 目 标任 务 之间 共 享。 T1：N={T1，...，TN}和V1：D={V1，..，VD}分别表示目标任务（绿色方框）和可导出任务（紫色任务）。(For对本图中颜色图例的解释，读者可参考本文的网络版对于不同任务具有不同标签空间的数据集，UMS-Rep可以使用具有最大数量的标记数据的任务来构建（监督学习）。代替使用特定任务的标签来构建共享UMS-Rep，自动编码器可以针对给定的源模态（S）进行优化，并用作同时学习多个目标任务（无监督学习）的共享表示。在本文中，我们试验了无监督和监督学习技术来构建共享的UMS-Rep。在这两种情况下，我们都使用了UMS-Rep的浅定制架构;然而，为了创建用于分割任务的特定于任务的层，我们将对称解码器附加到共享的UMS-Rep。在分类的情况下，我们将全局平均池化（GAP），全连接（FC），dropout（D）和Softmax（SM）层附加到共享的UMS-Rep。然后，我们使用三种策略微调特定于任务的层，即交替，独立和联合，调查微调策略对目标任务性能的影响。如2.3节所述，联合微调涉及学习一个单一的损失，该损失结合了所有目标任务的未加权或加权损失之和。有不同的方法（例如参考文献）。 [10] 12在本文中，我们通过经验实验，学习任务的损失的最佳权重学习一个单一的损失函数，衡量目标任务的损失允许学习目标任务之间的共同性和差异。另一方面，交替策略（见图1）通过在任务之间交替学习和更新权重来学习目标任务。该策略允许同时1）将公共特征从共享源转移到特定于任务的层，以及2）跨目标任务学习类似的潜在表示。我们确定任务特定批次的比例，如参考文献[20]所述。在确定比率之后，我们为ni个批次训练特定的任务i，并切换到下一个任务j，该任务j为nj个批次训练。最后，我们使用独立的微调策略，其中我们冻结共享UMS-Rep的权重，并使用其自己的损失和优化器独立地微调每个目标任务。目标任务可以使用不同的损失函数进行优化在本文以类别交叉熵损失最小为目标分类任务的优化目标。对于分割任务，我们最小化二进制交叉熵（BCE）和Dice损失的组合，如下所示：Ln=w1LBCEn+w2LDSCn（ 1）G. Zamzmi等人医学信息学解锁24（2021）1005716=-=×-=-+号其中，LossBCEn是二进制交叉熵，LossDSCn是骰子损失，n表示批号，w1w20的情况。5.计算每个小批次的损失，整个批次的最终损失由所有小批次损失的平均值确定。损失BCEn和损失DSCn表示如下：LBCEn=-[tnlog（yn）+（1-tn）log（1-yn）]（2）并且，在本发明中，（例如，边缘和斑点）。因此，可以构建UMS-Rep来学习CXR低级特征，然后在不同的CXR任务之间共享。4.1.1. UMS-rep构建和预处理UMS-Rep可以被训练为使用不同的学习范例来学习CXR低级特征和预处理任务。在本文中，我们使用无监督学习来训练UMS-Rep骨干用于图像去噪。降噪是一项重要的预处理任务，可在保持空间分辨率的同时提高医学图像的质量LDSC=1 -2 μtnμyn（三）是的。 图像噪声对后续任务的负面影响，例如ntn+yn分类和分段已经在几个工作中被报道（例如，参考文献[26此外，不同类型的噪声的影响，例如其中t是目标，y是最终层的输出我们根据经验发现，由于这些损失函数的全局和局部特征提取能力之间的相互作用，LBCEn和LDSCn损失的组合（等式（1）4. 实验和结果我们在两种医学成像模式上评估了我们的方法：CXR和回波多普勒。为了构建UMS-Rep，我们实验了两种学习范式：无监督（CXR）和监督（回声多普勒）。然后，构建的UMS-Rep，为每一种形式，附加与不同的目标任务对应的任务特定的层。这些层使用独立、交替或联合策略进行微调。在我们的工作中，所有目标任务的输入域具有类似的分布UMS-Reps的输入域。为了证明所提出的方法的能力，我们在准确性和计算方面将其性能与图4中所示的传统基线方法进行了比较。用于医学图像分析的基线方法除了需要N个编码器和N个解码器来学习N个目标任务之外，还需要单独的模型（编码器-解码器）来学习每个预处理任务。另一方面，所提出的方法对于N个目标任务仅需要单个编码器和N个轻量级任务特定解码器，从而显著节省了时间和训练参数的数量。我们的实验为以下问题提供了实证答案：在性能和计算效率方面，与基线方法相比，建议的训练序列提供了哪些优势？目标医学图像任务应使用何种微调策略？为了报告目标任务的性能，我们使用F-得分，马修斯相关系数（MCC）和准确性。我们还使用了交集对并集（IoU）度量来报告分割任务的性能。为了证明计算效率，我们报告了所有模型的计算时间和训练参数。我们使用具有以下配置的Windows系统训练所有模型：（1）Intel Xeon CPU E3-1275 v6 3.80 GHz 和（2 ）NVIDIA GeForce GTX1050 Ti。Keras DL框架与Tensorflow用于模型训练和评估。对于超参数优化，使用了Talos和Keras的库。这项工作的代码在UMS-Rep Github页面上公开提供。4.1. CXR成像模式虽然高级别（即，CXR目标任务的特征相对不同，CXR图像具有相似的低层特征ahttps://github.com/autonomio/talos。参考文献[28]中已经报道了高斯噪声和斑点噪声对医学图像分割的影响。因此，我们建议训练一个UMS-Rep，学习这个重要的预处理任务，以提高后续目标任务的在RSNA CXR数据集上训练卷积去噪自动编码器（CDAE或UMS-RepCXR-去噪）（参见表1）。数据集在患者水平上分为70%，20%，10%分别用于训练，验证和测试。如图6所示，UMS-RepCXR去噪具有四个卷积层（33）在编码器中，将输入压缩到其潜在空间表示。我们使用跨越卷积而不是最大池化层来增加网络的表达能力，这将提高整体性能，而不会增加参考文献[29]中讨论的参数数量。我们使用批量归一化层来提高泛化能力，使用ReLU来加速模型训练，从而加快收敛速度。对称解码器具有上采样层，以从潜在空间表示我们优化了CDAE（UMS-RepCXR-去噪）以最小化均方误差（MSE）并以最小的重构误差重构输入。CDAE（UMS-RepCXR-Denoising）的内核大小、步幅和优化器分别为3、2和RMSprop我们用16个批量来训练模型，初始学习率为1 ×10。CDAE参数的选择采用Talos软件。为了生成用于训练的噪声图像，我们向图像中添加了具有不同标准差范围的高斯噪声和泊松噪声，并使用CDAE重建干净的图像。添加的原因图像的噪声是为了证明UMS-RepCXR去噪可以学习在目标任务之间共享高斯噪声或任何类型的噪声之前对其进行降噪。此外，将噪声添加到UMS的训练过程中-RepCXR-去噪 降低 过拟合 和 引入正则化。因此，我们用不同标准差（σ）的高斯噪声对原始图像进行降质[10;20; 30; 40; 50]）以及泊松噪声 （μ σ2）并在表2中报告性能。如表2所示，我们使用峰值信噪比（PSNR）、结构相似性指数（SSIM）和多尺度结构相似性指数（MS-SSIM）定量测量了重建性能。PSNR的典型范围在30和50 dB之间，而SSIM和MS-SSIM的范围在1和1之间，其中越高越好[30]。表2中的PSNR、SSIM和MS-SSIM值是针对测试图像计算的这些结果表明训练的UMS-RepCXR-去噪忠实地重建图像，学会了在忽略噪声信息的情况下提取有用的CXR特征。一旦构建了UMS-RepCXR-去噪，它将用作具有不同或相似注释的目标CXR任务之间如图所示 六、4.1.2. 目标任务微调我们使用UMS-RepCXR-Denoising作为共享编码器，同时微调具有不同和相似注释的目标任务EX的示例具有不同注释的CXR目标任务包括肺分割（PIXEL级别）和异常分类（图像级别）。我们使用了三个任务与图像级的注释作为同质的目标任务与类似的注释。这些任务是：（1）细菌性肺炎vs正常··G. Zamzmi等人医学信息学解锁24（2021）1005717见图6。UMS-RepCXR-对异构和同构任务的共享骨干和特定任务头进行降噪GAP、D、FC、SM分别表示全局平均池化、丢弃、全连接和softmax层。橙色虚线框表示具有膨胀的卷积层。(For对本图中颜色图例的解释，读者可参考本文的网络版表2定制的UMS-RepCXR-去噪性能，用于图像去噪。噪声PSNR SSIM MS-SSIM表3执行具有不同注释的CXR目标任务。回想一下，我们使用了三种策略来微调连接到UMS-RepCXR-去噪的磁头。粗体值表示最高性能。高斯（σ=10）39.05dB 0.96 0.99高斯（σ=20）35.38dB 0.91 0.98方法调整策略目标任务准确度F-评分IoU MCC高斯（σ=30）32.75 dB 0.89 0.95分类， （二） 病毒性肺炎vs 正常分类， （3）分割关节肺分割0.92 0.92细菌性肺炎与病毒性肺炎的分类。在微调目标任务之前，CXR-去噪独立异常0.86 0.83附加到UMS-Rep CXR-去噪，如图所示。 六、请注意，在肺部分割的情况下，我们使用了整个UMS-RepCXR-去噪并将最终卷积层替换为具有单个神经元的卷积层以生成二进制肺部掩模。至于分类任务，只有优化的CDAE（UMS-RepCXR-去噪）的编码器部分，实例化并附加以下层：GAP、FC、D和SM层。后附接特定任务头到的共享UMS- RepCXR-去噪，我们试验了三种微调策略，交替关节基线分离模型分离模型分类异常分类肺部分割异常分类0.85 0.820.83 0.800.97 0.91 0.950.80 0.80调查它们对目标任务绩效的影响。 在所有在实验中，分类目标任务的任务特定层被微调以最小化CCE损失，而分割任务的任务特定层被微调以最小化等式（1）中的损失。在联合微调的情况下，我们总结了目标任务的损失函数。特定于任务的损失的权重是通过经验实验学习的（所有权重都包含在代码中）。在交替微调策略的情况下，每个目标任务的损失如2.3节所述交替更新。对于独立的微调策略，我们冻结UMS的权重RepCXR-去噪并独立地最小化目标任务。具有不同注释的目标CXR任务：使用深圳CXR数据集对这些任务进行了微调（见表1）。我们将该数据集划分为不同的折叠以执行10折交叉验证。为了进行测试，我们使用了Montgomery CXR数据集（见表1）。微调肺分割和异常分类的性能，中总结了基于共享UMS-RepCXR-去噪的任务表3.如表中所示，独立微调策略实现了比交替策略略高的性能。然而，与联合策略相比，独立策略大幅提高了性能从统计学上讲，使用McNemar检验，独立和交替策略之间的差异不显著<（p 0.05）。然而，独立和联合策略之间的差异具有统计学显著性（McNemar<检验，p 0.05）。这些结果证实了微调策略对性能的影响，并表明联合策略在用于异构目标任务时会导致较低的性能。这可能是由于不相关或冲突任务之间的负迁移。具体来说，分类任务可能会将不相关的信息传递给分割任务，反之亦然。基于这些结果，我们可以得出独立策略在微调CXR图像中的异构任务时的优越性。我们还比较了所提出的方法与基线方法的性能。为了提供公平的比较，首先使用单独的图像去噪模型（模型1）对CXR图像进行去噪，然后我们使用生成的去噪图像作为肺分割模型（模型2）和异常分类模型（模型3）的输入。这三个模型与所提出的方法具有相同的架构，但分别使用随机初始化进行训练。如表3的最后一行所示，所提出的方法在两个目标任务中都优于基线方法。在统计学上，独立微调策略和基线方法之间的差异具有统计学显著性（McNemar<请注意，性能高斯（σ=40）高斯（σ=50）30.54分贝28.35分贝0.850.790.910.88独立肺分割0.990.960.98–泊松（μ=σ2）33.37分贝0.930.97交替肺0.990.950.96–G. Zamzmi等人医学信息学解锁24（2021）1005718∼由于在最小化分割和分类任务的加权和时可能发生的负转移，基线分割模型的平均值高于联合微调策略。表4显示了所提出的方法和基线方法的计算时间和训练参数。如表中所示，与基线方法相比，所提出的方法显著减少了总训练时间和参数，其中单独的模型用于单独的任务。请注意，尽管分割任务的训练参数数量没有变化，但训练时间从148.02分钟显著减少到8.11分钟。这表明，使用共享表示（UMS-1）的所提出的方法RepCXR-去 噪）及其权重，导致更快的训练收敛。确切地说，共享的UMS-RepCXR去噪的权重导致：改进的初始化和目标任务的更快学习/收敛。具有类似注释的目标CXR任务：使用儿科肺炎数据集的训练集（表1）对这些任务进行微调，将其进一步划分为多个折叠以执行10倍交叉验证分析。然后我们使用hold-out测试集来报告性能。回想一下，这个数据集包含三个类别：正常、细菌性肺炎和病毒性肺炎。这些类的例子在图中给出。 二、表5示出了基于共享的UMS-RepCXR-去噪来微调分类任务的性能。如表中所示，在大多数情况下，联合微调策略比交替和独立策略获得更高的性能。相比在统计学上联合和独立策略之间的性能差异显著（McNemar检验，p 0.05），细菌与正常策略<这些结果表明，联合策略的优越性，微调医学图像任务与不同的注释。这可以通过联合损失函数捕获任务差异并隐式地对任务关系建模的能力来解释;即，目标任务1（细菌对正常）、目标任务2（病毒对正常）和目标任务3（细菌对病毒）之间的任务间类似地，交替微调策略实现了比独立策略更好的性能，因为它允许通过交替优化Θsrc和ΘTi将一些信息从每个任务转移到另一个任务。这些结果表明，联合和交替策略的优越性，合作医学图像任务具有相似的注释。我们还将所提出的方法的性能与基线进行了比较，其中具有随机初始化的单独的端到端模型用于单独的目标任务。具体来说，我们首先使用了一个单独的图像去噪模型来与我们的方法进行公平的比较。然后，我们使用输出的去噪图像作为三个独立模型的输入，每个模型用于一个目标任务。这三个模型与所提出的方法具有相同的架构，但分别进行训练表4异构CXR目标任务：建议方法和基线方法的计算时间和训练参数总结。随机初始化。如表5的最后一行所示，所提出的方法在所有目标任务中都优于基线方法。统计学上，联合微调策略和基线方法之间的性能差异对于所有任务都是显著的（p0.05）。<这些结果表明，所提出的方法，通过将知识从一个共享的模态特定的源到目标任务，可以提高概括性，并导致更好的性能相比，基线方法。此外，结果表明，类似任务的联合微调可以提高整体性能，同时减少学习时间，如表6所示。表6显示了所提出的方法和基线方法的计算时间和训练参数。如表中所示，与基线方法相比，所提出的方法显著减少了总训练时间和参数，其中单独的模型（编码器-解码器）用于单独的任务。具体来说，所提出的方法通过以下方式减少了训练参数的数量：81%，相比之下基线方法。同样，所提出的方法导致减少了86%的计算时间，更快的收敛。最后，重要的是要注意，无论目标任务的数量如何，与基线方法相比，我们的方法都会导致更低的计算时间和参数。这是因为，1)对于N个任务使用单个共享编码器和N个轻量级任务专用解码器而不是N个编码器-解码器，以及2）共享UMS-Rep的权重改进了初始化，并导致所有目标任务的更快收敛。4.1.3. 可导出任务在微调目标分类任务之后，我们可以通过简单地计算获胜类相对于目标任务的最后一个卷积层的梯度来可视化目标任务的输出，如参考文献[31]所述。然后，我们计算平均值，将其与该层的输出进行加权，并将其在0和1之间进行归一化以生成热图。该图可视化了头部在分类为正常和异常时所查看的区分区域。由于该可视化任务依赖于分类头的输出，因此我们可以将其定义为可从目标任务派生的任务。图7呈现了异常分类任务的可视化。4.2. 多普勒回波成像模式虽然高级别（即，虽然多普勒回波目标任务的任务特定的）特征可能不同，但是它们具有相对相似的低水平特征。因此，可以训练单个UMS-Rep来学习这些低级特征，然后在学习任务特定特征的不同目标任务之间共享。4.2.1. UMS-rep结构在本评价中，我们使用监督学习来构建UMS-Rep多普勒回波数据集，使用血流分类任务的注释（见表1）。我们使用70%的数据集来构建UMS-Rep。 如图 8，该UMS-Rep具有SIX卷积层（3× 3）用同样的填充。膨胀的颗粒（尺寸2）用于本发明的组合物中方法任务计算时间训练参数第四、第五和第six卷积层，以降低的计算成本捕获更宽的上下文我们在每个卷积后使用ReLU建议共享源（UMS-RepCXR-去噪）302.20分钟800，067层来加速模型训练和收敛。 的输出来自优化CNN的最深卷积层被馈送到GAP肺部分割头部8.11 min786，497FC层。为了减少过拟合，FC层的输出被馈送到基线异常分类负责人Shared Source 2轻量级股骨头&2.51分312.82分钟1，882，279脱落层（dropout layer）（0.5）。最后一个FC层有三个神经元，对应三个流类：TR、MV和MA。我们使用Talos来选择来自以下范围的最佳参数：内核大小[3，5，7]，单独去噪模型302.20 min800，067扩张率[2，3]，脱落率[0.1，0.3，0.5]，优化器[SGD，Adam，单独的肺部分割模型分离异常分类模型3个独立的端到端模型，用于3个任务148.02最低786，4979.25分钟459.47分3，160，070RMSprop]和批量[16，32，64]。Talos对于内核大小、膨胀率、丢弃率、优化器和批量大小分别输出3、2、0.5、Adam和16我们使用了64个epoch，并优化了模型，以最大限度地减少CCE损失。一旦构建了优化的UMS-Rep回波，它就被用作共享的G. Zamzmi等人医学信息学解锁24（2021）1005719∼表5使用所提出的方法和基线的同质CXR目标任务的性能 回想一下，我们使用了三种策略来微调连接到UMS的头-Rep CXR-去噪。粗体值表示最佳性能。方法调整策略目标任务精度F-scoreMCC独立分类（细菌vs正常）0.950.950.90交替分类（细菌vs正常）0.960.960.92联合分类（细菌vs正常）0.960.950.91独立分类（病毒vs正常）0.950.920.88UMS-RepCXR-去噪交替分类（病毒vs正常）0.960.930.90联合分类（病毒vs正常）0. 970.940.92独立分类（细菌vs病毒）0.810.760.56交替分类（细菌vs病毒）0.820.770.58联合分类（细菌vs病毒）0.830.800.62基线单独模型分类（细菌vs正常）0.940.940.89单独的模型分类（病毒vs正常）0.930.900.86单独的模型分类（细菌vs病毒）0.800.750.54表6同质CXR目标任务：建议和基线方法的计算时间和训练参数总结。分割（piX el-级）、流分类（图