类别不变的跨域转移：医学单到多疾病诊断的方法

8260CCT-Net：用于医学单到多疾病诊断的类别沂州* 1，雷黄2，陶州3，凌少41东南大学计算机科学与工程学院2北京航空航天大学人工智能研究院SKLSDE3南京理工大学计算机科学与技术学院4Inception Institute of Artificial Intelligence，阿布扎比，阿联酋摘要医学成像模型通常用于诊断单一疾病。然而，随着临床应用中对多疾病诊断的以前的工作建议利用不同的疾病标签通过微调进行迁移学习，或者在具有相似疾病的不同领域之间转移知识。然而，这些方法仍然不能解决真正的临床挑战-需要多疾病模型，但是对于每种疾病的注释并不总是可用的。在本文中，我们介绍了从单疾病诊断（源域），以提高多疾病诊断（目标域）的知识转移的任务一个类别不变的跨域转移（CCT）的方法，提出了解决这个单到多的扩展。首先，对于特定领域的任务学习，我们提出了一个置信加权池（CWP），以获得不同疾病类别的粗略热图。然后，以这些热图为条件，提出类别不变特征细化（CIFR）块以更好地定位与对应疾病相关的区分性语义区域。类别不变特性使得能够从源域转移到目标域。我们在两个流行的领域验证我们的方法：将糖尿病视网膜病变扩展到识别多个眼部疾病，并将胶质瘤识别扩展到其他脑肿瘤的诊断。1. 介绍在过去的几十年中，越来越多的自动疾病诊断系统已经被开发用于不同的医学成像任务[35，51，57，59]。 在一些特定的应用中-* 通讯作者：周毅（yizhou. gmail.com）源域（具有像素级注释）糖尿病视网膜病变诊断神经胶质瘤诊断单对多疾病诊断目标域（无像素级注释）AMD /高血压/近视/图1. 提出CCT-Net的动机。从具有细粒度注释的充分探索的单疾病诊断中学习的知识可以被转移以改进没有注释的多个相关疾病的诊断复杂度，具有细粒度注释的大数据已经简化了模型开发并导致了显著的进步。例如，糖尿病视网膜病变（DR）诊断，包括DR分级[19，21]和病变分割[44，56]，已经在眼底图像上得到了很好的研究。胶质瘤识别，包括肿瘤分割[20，5，9]，已成功应用于脑MRI扫描。最近，许多COVID-19检测模型[54，27，40]也已使用注释的肺部CT数据快速开发。然而，这些工作中的大多数只集中在一种疾病上，这限制了它们向其他相关疾病的转移在大多数临床科室中，多疾病诊断（例如，眼部疾病：DR、青光眼、高血压、近视;脑肿瘤：神经胶质瘤、脑膜瘤、垂体瘤;肺部炎症：社区获得性、病毒性、细菌性肺炎），具有较高的实用价值，深受临床医生的青睐。因此，如图所示1，这项工作的目的是转移的能力，学习判别特征从良好的-8261探索了具有丰富注释的单疾病诊断到具有有限注释的多疾病诊断。以前关于从一种疾病到另一种疾病的迁移学习的工作可以粗略地分为两种类型。第一种类型采用在带注释的自然图像[29]或相似域数据上预训练的模型，然后针对新疾病对其进行微调[26，19]。相似领域数据的低层特征可以被共享，使得模型只需要传递高层语义的疾病类别信息。然而，这种方法通常需要对新疾病进行广泛由于注释医学数据需要专业知识并且耗时，因此我们不能期望丰富的注释可用于所有疾病。第二种类型关注具有相同疾病或病变类型的不同域数据的域适应[49，12，4，30，15，34]这些工作旨在将领域不变的知识从标记的源域数据转移到未标记的目标域数据。例如，用于内窥镜数据的未监督病变分割模型[11]已经通过使用标记的胃镜分割数据的域自适应进行了探索。然而，只有当两个领域的疾病类别相同时，这种转移才是可行的：癌症、息肉、胃炎、溃疡和出血。在更一般的临床场景中，需要不共享相似外观的疾病的多疾病诊断，但是针对每种疾病的注释并不总是可用的。因此，很难直接应用这些现有的模型来解决实际问题。在本文中，我们专注于两个域具有不同疾病识别任务的问题，其中源域具有针对单个疾病的像素级标签，而目标域涉及更多疾病，没有细粒度注释（仅已知图像级疾病类别）。我们提出了一种类别不变的跨域转移方法，从源域任务中学习知识，并提高目标域任务的分类和定位性能。本工作的主要贡献如下：1. 一个特定领域的任务学习模块的目的是学习领域不变的功能，同时保持两个领域之间的提出了一种CWP全局池化方法，以获得比其他全局池化操作更好的类激活图（CAM）。2. 在不同类别的粗热图的条件下，我们提出了CIFR块来构建CCT- Net，以定位相应疾病的更具区分性的区域。类别不变的特性使得能够从源域到目标域的可转移性。此外，这种细化的特征也可以有助于最终的分类性能。3. 在两个流行的医学成像任务中进行实验评估。首先，我们将眼底图像的DR诊断扩展到多个眼部疾病的诊断例如青光眼和高血压。其次，利用脑MRI扫描上的胶质瘤分割来改善其他肿瘤（诸如脑膜瘤和垂体瘤）的分割和分类性能实验结果证明了该方法的有效性2. 相关工作2.1. 医疗疾病诊断场景深度神经网络已经在从医学成像数据诊断许多个体疾病方面取得了重大成功例如，在用于眼部疾病的眼底成像中，已经广泛地探索了DR和青光眼，任务包括DR分级[19]、DR病变语义分割 [14]和青光眼检测[16]。在胸部疾病的胸部X射线中，肺炎[45]和结核病[36]识别模型已经开发并用于临床应用。在脑MRI中，研究人员对胶质瘤分割最感兴趣，每年组织BraTS[39]竞赛，为社区提供一个贡献此外，在肺部CT中，许多开发良好的肺结节[52]和肺炎[13]检测系统已实现令人满意的性能，并达到放射科医师水平。然而，这些单疾病诊断模型对多种疾病的可转移性有限，并且通常需要新的注释。多疾病诊断系统更实用。2.2. 跨域迁移学习域自适应（DA）[49]是一种迁移学习的方式，它处理在不同（但相关）目标分布的上下文中使用在源分布上训练的模型的场景。DA方法旨在学习域不变表示以解决域移位。对抗网络[23]和基于对抗策略的各种变体[10，42，33]已被广泛用于域对齐。例如，域对抗神经网络（DANN）[17]引入了混淆损失来匹配源域和目标域的分布，以便混淆高级分类层。同时，提出了最大分类器差异（MCD）[47]，以利用特定于任务的决策边界来对齐分布。除了对抗方法，基于分歧的DA方法[53，48]旨在最小化源域和目标域之间的分歧标准，而批量归一化[32，3]参数已用于对特定于域的信息进行建模。DA还通过采用辅助重构任务[18，61]来为每个域创建共享表示来解决。这些方法中的大多数将DA定义为任务空间与源空间相似的问题然而，在我们的任务中存在疾病差异。8262S不Y不L·XYS--n=1n=1×·不×S我们有同一种类的车-SSnX YYpST--·联系我们3. 提出方法3.1. 问题公式化在所提出的域转移场景中，给出具有像素级标签Yp的源域数据XS和没有像素级标签的目标域数据XT 的两个域的疾病类别表示为Yc和不同的域是分开学习的。特定于域的仿射参数被分配用于估计每个域的不同批量统计。我们期望DSE能够学习域不变表示，因为网络内的特定于域的输入信息可以通过捕获的统计信息和从给定域学习的参数有效地去除。注意，越好的Yc，分别。 Yp和YcS域不变的特征提取的DSE，更多二进制NS，而c有NT范畴。该任务的总体目标是从源域数据（S，p，c）传递知识，以提高目标域数据（T，c）的定位和分类性能。如示于图图2中，以绿色和紫色标记的域特定编码器（DSE）被设计用于学习两个域中的不同疾病分类任务，并通过相应的分类损失Cls进行优化。可以获得粗热图以对特征进行加权以用于进一步学习区分性特征细化。然后，引入类别不变特征细化模块fCIFR（）以将不同类别热图解码为对应的像素级概率预测。此外，CIFR细化的特征可以进一步被采用，以提高分类任务的性能。的总体优化函数公式化如下：有效地，在源域数据上训练的特征细化模块可以被转移到目标域。3.2.1 置信加权合并除了获得不同疾病的初步分类结果在图像分类任务中，仅使用图像级标签的弱监督方法[8，50]通常采用类激活图（CAM）[55]来计算用于定位每个类别的粗略热图。用于特定类别的CAM指示由网络用于识别该类别的有区别的图像区域，并且可以用于解释由网络做出的预测决策。该定位能力由基本全局平均/最大池化（GAP/GMP）层实现。虽然GAP和GMP已经S c T cpL=LCls（XS，YS）+LCls（XT，YT）+λLFR（XS，YS）=I（fDSE（XS），Yc）+I（fDSE（XT），Yc）+I（f DSE（X S），Yc+λl（fCIFR（fDSE−1（XS）），Y），其中λ平衡L（·）的权重和特征细化L（·）损失，并且I（·）表示交叉项损失。3.2. 特定领域任务学习在大多数以前的作品中使用的基本疾病分类框架[19，38，45]通常采用经典的深度神经网络（例如，神经网络）。ResNet [22]或DenseNet [24]），并使用疾病类别信息对其进行优化。由于图像级疾病类别标签易于收集，因此可以获得基线分类结果和粗定位图。在这项工作中，我们的目标是优化的DSE学习的源和目标域任务的同时。两个域共享卷积（Conv）参数以约束编码器学习域不变表示。由于这两个领域通常来自不同的数据源，并且它们的疾病类别存在差异，因此低级别和高级别特征在这两个领域之间都存在分布差异。因此，除了利用单独的特定于任务的分类损失来预分类之外，还可以利用单独的特定于任务的分类损失来预然而，由于它们被广泛使用，因此它们是不可训练的，并且CAM可能无法定位最具辨别力的区域。Log-Sum-Exp（LSE）池化[43]引入了超参数γ以用作最大池化和平均池化之间的可调节选项。然而，LSE池化仍然是不可优化的，并且具有上溢或下溢问题。在这项工作中，我们提出了一个可训练的CWP全球池-ing方法，以增强具有更好的本地化性能的原始CAM给定DSE的最后一层特征图，输入图像被表示为x1，x2，… 其中N表示图像区域的数量，并且Xn是第η个区域的特征嵌入。对于每个类别，将 XnN向前传递到11Conv层以计算类别置信度得分，其指示每个嵌入的疾病可能性。不是直接采用置信度得分图作为定位图，我们进一步采用S形函数σ（）并将激活图归一化以通过归一化的置信度权重来全局地池化XNN然后，在训练期间，池化嵌入被向前传递到相同的11Conv层以学习图像级疾病分类。在测试阶段，采用σ（）之后的概率图作为定位图。总体而言，CWP定义为：N服务的疾病差异，我们采用了特定领域批处理归一化（BN）受[3]启发，以增强x=ΣΣσ（wxn+b）n=1nx，（2）域不变特征的学习。为了构建DSE，采用DenseNet-121[24]作为主干。在每个Conv层之后的BN层用于其中w和b是用于学习分类器的11个Conv参数。在图1中以灰色标记的热图。图2是通过基于CWP的CAM获得的示例。CWP用于（一）Nn=1 σ（wx+b）8263源域（像素级监控）置信加权合并Source Domain：像素级监控���R源域：图像级（N���）分类���512512512512源域任务学习…_1_2三 个类别不变特征求精1……域特定编码器（DSE）中文（简体）Featmaps，_1地图，地图_2功能增强型DSE8ℒ���1288特色地图，_S每个比例尺的位图连接…1285128Featmaps，_18DSE-1Featmaps，_ &CCTℒ���DSE-2512目标领域任务学习…目标域（映像级监控）512源域中的数据流目标域中的数据流目标域：图像级（N���）分类���…置信加权P冷却1目标域：无像素级监控特色地图SXXY512…特色地图图2. 建议方法的管道。源域数据具有像素级标签，而目标域数据仅具有图像级标签。提出了绿色DSE（DSE-1）算法，用于获得初步分类结果和类别特定的粗定位图（HN）。CCT-Net实现特征细化，并通过CIFR块转移从源域学习的这种能力，以实现目标域中疾病类别的分割。增强后的特征集中在更具区分力的区域，进一步由紫色域特定编码器（DSE-2）编码，以提高疾病分类性能。源域和目标域任务学习。尽管初始的基于CWP的CAM已经丢弃了大的不相关区域以区分正确的疾病，但是其粗糙的热图仍然包含来自噪声或错误分类的类别的一些分散注意力的信息。在这项工作中，我们的目标是将这些粗略的热图细化为细粒度的像素级预测，这些预测描绘出更具鉴别力的区域，并且还将这种细化能力从源域转移到目标域。请注意，CAM可能不是最好的弱监督定位方法[8]，但这不是这项工作的主要关注点。我们将专门研究这一点，以在未来的工作中增强CCT-Net3.3. 类别不变跨域迁移给定具有像素级注释的图像，通常采用语义分割模型[31，13]然而，在我们的任务中，只有源域S被提供像素级p，而目标域T是未标记的，并且包含不同的类别。因此，我们提出了CCT-Net来转移从源域学习的特征细化能力，以实现目标域中新类别的像素级分割此外，细化的特征可以进一步用于改善分类性能。3.3.1类别不变特征求精将多组CIFR块堆叠起来的CCT网继承了传统的图像分割框架[46，60]，但具有本质区别。如图1左上所示3、为了执行像素级分割，分割网络中的标准扩展路径通常将输入图像的瓶颈特征解码成用于C类别输出掩码的C本质上，扩展模块接受一个输入，并在最后学习C然而，对于CCT-Net，由DSE预测的不同类别的类别特定的CCT-Net的流水线如图右上方所示。3.第三章。对于每个输入元组（即瓶颈特征+ 一个类别热图），CCT-Net细化类别特定特征并预测由类别的地面实况掩码监督的单通道输出向量。请注意，CCT-Net的作用是根据类别的粗略热图对像素是否属于特定类别进行分类因此，采用不同类别的元组来训练CCT-Net，使其具有类别不变性，以用于特征求精。此外，由于DSE能够提取域不变特征，CCT-Net可以有效地将从源域学习到的细化能力转移到目标域中的所有类别。在这项工作中，CCT-Net由四个CIFR块组成，其操作如图1底部所示。3.第三章。在一定规模的块中，不同类别特定的粗热图首先与输入单独连接ConvBN-T/BN-S致密块状BN-T/BN-S致密块状BN-T/BN-S致密块状BN-T/BN-S致密块状BN-T/BN-SCIFR块CIFR块……CIFR块CIRF块致密块状BN-T/BN-S致密块状BN-T/BN-S致密块状BN-T/BN-S致密块状BN-T/BN-S置信加权合并8264×一A∈ΣΣ×图3. 上半部分：分段网络[46]的标准扩展路径和建议的CCT-Net的管道比较。底部：CIFR Block的结构细节。特征图。通过DSE的基于CWP的CAM获得的热图被调整大小以适合当前块的空间大小。 接下来，添加两个11Conv层以减小用于计算注意掩模RH×W的通道维度，其中H和W分别表示宽度和高度。然后，使用softmax函数进行归一化这样就得到了最终的类别不变注意力α：eA（x，y）3.4. 实现细节虽然我们的训练方案可以从一开始就采用端到端的策略，但当我们首先预训练DSE-1，然后添加CCT-Net和功能增强的DSE-2进行组合训练时，我们观察到更好的这是因为训练CCT-Net需要在第一阶段提供有效的类别特定热图。此外，由于其像素级监督，CCT-Net仅在源域数据流上进行训练式中的参数λ在我们的实验中，将1设置为0.5，这会产生最佳性能。其他超参数设置如下。采用Adam优化器，初始学习率为0.001，默认参数β1= 0。9，β2= 0。999最小批处理大小设置为32。4. 实验和结果4.1. 数据集和评估指标眼部疾病（眼底成像）- FGADR[58]是具有1，842个像素级标记图像的细粒度注释DR数据集。DR相关病变包括微动脉瘤（MA）、硬性渗出物（EX）、软性渗出物（SE）、出血（HE）、视网膜内微血管异常（IRMA）和新生血管（NV）。ODIR-5 K[1]由7，000个眼底图像组成，具有多标签图像级注释。这些标签包含八种眼科疾病类别，包括糖尿病、青光眼、白内障、年龄相关性黄斑变性、α（x，y）=Hi=1Wj=1 eA（i，j）、（3）退行性变（AMD）、高血压、近视、正常和其中α（i，j）表示在（i，j）处的类别不变注意力α的值。我们采用α对输入特征图进行加权，然后通过双线性插值进行上采样。CIFR块的所有剩余操作类似于[46]中的扩展路径。来自DSE的相同尺度密集块的跳过连接用于级联，其可以恢复在下采样期间丢失的空间信息。最后，一个3 - 3卷积层被用来计算细化的输出特征图。请注意，CCT-Net的网络参数仅在对具有像素级监督的源域数据进行训练时是可优化的，并且对于目标域数据流是固定的3.3.2 特征增强的领域任务学习如前所述，除了提供像素级分割性能外，CCT-Net本质上还细化了特征表示，以描绘更具区分力的区域。如图中紫色所示。2，我们采用与DSE-1相同的网络架构，除了第一 个Conv层，以构建特征增强的DSE（DSE-2），以进一步提高疾病分类性能。我们对CCT-Net的最后一层特征图进行元素最大化，并将结果作为DSE-2的输入。其它疾病因此，我们采用FGADR和ODIR-5 K数据集作为源和目标域数据，分别在我们的任务。此外，为了获得FGADR数据集的图像级标记，如果分类的真实掩模具有注释斑点，则将对应的图像级标记标记为阳性，否则为阴性。对我们任务的评估包括两个步骤。第一步是使用骰子得分（Dice）和精确-召回曲线下的面积（AUC-PR）在像素级（与分割相同）评估类别不 变 特 征 细 化 模 块 的 性 能 第 二 步 是 使 用 Cohen’skappa、F-1评分和受试者工作特征（ROC）的AUC在图像水平上评估多眼病识别结果脑部疾病（MRI）- BraTS 2019[39]提供了335例患者的术前多模式MRI扫描，并重点关注本质异质性脑肿瘤（即神经胶质瘤）的分割。每个患者病例包含155个切片。像素级注释包括⑶增强肿瘤（ET）、瘤周水肿（ED）以及坏死和非增强肿瘤核心（NET）。我们使用BraTS 2019作为源域数据。BrainTumor[7]有3，064张T1加权对比增强（T1-ce）图像，来自233名患有三种脑肿瘤的患者：脑膜瘤、脑膜瘤和脑膜瘤。Featmaps热图特色地图Seg网CCT网C1类别不变特征精化（CIFR）块类别特定的粗热图（调整为当前块空间大小）类别不变注意输出细化要素输入特征CIFR块特征图跳过DSE-1中密集块的连接特色地图特色地图特色地图特色地图特色地图上采样ConvConvConv8265胶质瘤、神经胶质瘤和垂体瘤。提供了像素级和图像级标签。我们使用BrainTumor作为目标域数据，因此其像素级注释仅用于测试。请注意，由于BrainTumor仅具有T1-ce模态，因此我们也仅采用BraTS 2019的T1-ce模态图像以保持一致性。像素级分割的评估指标是Dice和Hausdorff（Haus.）距离，而准确度和混淆矩阵被用来评估图像级分类。4.2. 单眼至多眼眼病诊断DR是研究最广泛的眼病，它会损伤视网膜后部的血管，导致失明。除DR外，其他眼部疾病，如青光眼、白内障、AMD和高血压也很重要，但研究数据较少。在本实验中，我们评估了CCT-Net转移从DR数据中学习到的知识以改善多种眼部疾病诊断的能力。不同的像素级注释病变类别，包括来自FGADR数据集的MA、HE、SE和EX，用于训练CCT-Net。它们对应的图像级标签用于训练源域的DSE来自ODIR-5 K数据集的多疾病图像级标签我们研究了我们的方法在像素级分割和图像级分类方面的有效性4.2.1像素级掩模分割我们主要关注的是调查的有效性的跨域的类别不变的特征细化的CCT网络。我们首先通过评估像素级分割性能并将CCT-Net与标准分割网络细化的掩模进行比较来验证这一点。在这个视觉任务中，由于目标域数据的像素级地面实况不可用，我们在表1中报告了源域的分割结果。然而，在图中提供了源域和目标域的像素级分割的定性可视化。4，这也有效地证明了可转移性。定量结果评估的可转移性的目标域将在下一个任务的大脑MRI。多个基线和最先进的分割模型与表1中的方法进行了比较。首先，w/o-CCT不应用CCT，而是直接将由基于CWP的DSE-1获得的粗略地图预测（通过阈值0.2二值化）的大小调整为用于评估的地面实况的大小。此外，为了探索不同全局池操作产生的粗定位性能如何影响CCT-Net，将我们的CCT-w-CWP预测的用于分割的掩码（通过阈值0.2二值化）与其他三个基线产生的 掩 码 进 行 比 较 ： CCT-w-AVG ， CCT-w-MAX 和CCT-w- LSE。其他四个传统细分网络包括-表1.视觉：源域中的分割性能两个最好的结果是红色和蓝色。'w/o'='without'，'w'='with'.马和SE EX表2.目视：目标域中的分类结果方法KappaF-1AUC基线DSE-1-w-AVG0.65560.91630.9274DSE-1-w-MAX0.65480.91550.9271DSE-1-w-LSE0.65610.91680.9279DSE-1-w-CWP0.67120.91950.9298转移DANN[17]0.69340.92780.9381中文（简体）0.72960.93860.9477意大利[58]0.73480.94260.9498DSE-1+CCT*+DSE-20.67470.91830.9309DSE-1+CCT+DSE-2 B10.72530.93690.9448DSE-1+CCT+DSE-2 B20.75080.95100.9583ing FCN-8 s[37]， DeepLab v3+[6]（s=8），U-Net[46]和Attention U-Net[41]也进行了比较。在[58]之后，采用双重交叉验证如表1所示，我们观察到由DSE-1使用不同全局池化操作获得的粗略热图对CCT-Net的性能具有不同的影响。CCT-w-AVG和CCT-w-MAX实现了类似的结果，但比U-Net表现更差，因为这两种基本的全局池化方法没有足够好的初步定位性能。与CCT-w-AVG相比，CCT-w-LSE使PR的Dice和AUC平均分别增加1.7%和1.8%，而CCT-w-CWP显著提高了性能，Dice和PR分别增加了4.75%和6.95%，这说明基于CWP的DSE-1获得了更好的本地化性能，有利于CCT-Net的训练一旦CCT-Net被分离（即，w/o-CCT），使用粗糙图的分割性能较差。此外，虽然传统的分割网络使用C通道输出分类器将分割任务作为每个像素上的分类问题来处理图4示出了与目标域中的多种疾病相关的各种病变区域被分割。4.2.2图像级疾病分类虽然目标域数据没有像素级注释，但我们验证了CCT-Net的特征细化能力是否可以从源域转移到目标域，以提高多疾病分类性能。我们报告分类重新-方法骰子PR骰子PR骰子PR骰子PRFCN-8s[37]0.4680.3630.5090.6060.6370.6420.5860.686DL V3+[6]0.4820.3640.5500.6190.6480.6590.6020.702U-Net[46]0.5210.3820.5700.6430.6550.6830.6070.726Att. U-Net[41]0.5360.4350.5760.6780.6890.7120.6370.762不含CCT0.4530.3590.4710.5540.6330.6380.5690.653CCT-w-AVG0.4930.3690.5530.6220.6510.6580.5990.705CCT-w-MAX0.4910.3680.5520.6220.6490.6550.5960.703CCT-w-LSE0.5170.3830.5670.6400.6630.6810.6160.723CCT-w-CWP0.5420.4520.5910.6870.7090.7210.6440.7688266输入粗略地图精细地图地面实况输入粗地图细化地图输入粗地图细化地图地面实况 输入粗地图细化地图地面实况图4.像素级掩模分割的定性结果可视化每行显示不同的疾病类别。靶结构域的结果见表2。首先，具有不同全局池化操作的 DSE-1 模 型 ， 包 括 DSE- 1-w-AVG 、 DSE-1-w-MAX、DSE-1-w-LSE和DSE-1-w-CWP进行比较，以提供不使用CCT的基线结果。此外，为了研究CCT的有效性，DSE-1+CCT+DSE-2B 1和DSE-1+CCT+DSE-2B 1被用于研究CCT的有效性。2 B2，分别采用标准BN和领域特定BN的DSE。为了确定性能的提高是否来自新的模型设计或参数的增加，我们还比较了DSE-1+CCT*+DSE-2，它降低了CCT的监督，但仍保持网络在管道中在这三种方法的DSE中采用了CWP全局池化。我们还将我们的模型与三种最先进的迁移学习方法DANN [17]，MCD [47]和ITL [58]进行了比较。在MCD中，添加像素级注释数据以优化源域的差异损失。接下来[58]，训练和测试集被分成4：1用于五重交叉验证。如表2所示，对于使用DSE而不使用CCT-Net的基线，CWP全局合并的性能优于其他合并方法。与DSE-1-w-AVG 相 比 ， DSE-1-w-CWP 的 Kappa 略 微 增 加1.56%。迁移学习方法MCD和ITL利用从像素级注释源域 数 据 中 学 习 到 的 知 识 ， 与 DSE-1-w-CWP 相 比 ，Kappa分别显著增加了5.84%和6.36%。我们的DSE-1+CCT+DSE-2 B1，采用CCT-Net细化的特征，也改善了目标领域的分类结果，Kappa增加了5.41%。由于源和目标域数据之间存在分布差异，因此增强DSE的域不变特征提取能力可以使CCT-Net更好地执行目标域的类别不变特征细化。我们在DSE中采用域特异性BNDSE-1+CCT*+DSE-2图示表明当丢弃LFR时CCT无效。源域源域目标域目标域8267弱监督DSE-1脑膜瘤胶质瘤垂体瘤脑膜瘤90.67%2.35%6.98%胶质瘤百分之一点九四百分之九十三点九四4.12%DSE-1+CCT+DSE-2_B2脑膜瘤胶质瘤垂体瘤脑膜瘤93.79%2.11%4.10%胶质瘤百分之一点四四95.68%2.88%垂体瘤2.32%百分之一点五四96.14%表3. 大脑：两个领域的分割性能。两个最好的结果是红色和蓝色。'w/o'='without'，'w'='with'.源域方法ETED净骰子豪斯骰子豪斯骰子豪斯监督FCN-8s[37]0.7315.870.48517.480.6505.83DL V3+[6]0.7475.700.50017.020.6695.23U-Net[46]0.7625.460.51416.730.6804.79Att. U-Net[41]0.7755.230.52816.250.7014.52不含CCT0.6089.710.42420.180.6049.83CCT-w-AVG0.7455.670.49917.030.6695.18CCT-w-MAX0.7435.880.49716.940.6615.31CCT-w-LSE0.7635.420.52116.560.6834.71CCT-w-CWP0.7865.080.54115.960.7144.38目标域方法脑膜瘤胶质瘤垂体瘤骰子豪斯骰子豪斯骰子豪斯监督FCN-8s[37]0.8246.170.62111.300.7855.09DL V3+[6]0.8515.650.63810.730.8124.73U-Net[46]0.8755.200.64710.610.8304.49Att. U-Net[41]0.8894.970.66510.280.8494.15不含CCT0.7158.550.53115.260.6606.93CCT-w-AVG0.8455.760.62910.990.7934.95CCT-w-MAX0.8385.880.62411.180.7924.95CCT-w-LSE0.8625.380.64110.760.8194.62CCT-w-CWP B10.8735.210.65310.550.8304.46CCT-w-CWP B20.8835.050.66810.220.8414.274.3. 单发至多发性脑肿瘤识别脑肿瘤是脑中异常细胞的团块或生长。许多不同类型的脑肿瘤可以通过脑MRI识别。一些脑肿瘤是良性的，而另一些是恶性的。胶质瘤是最常见的原发性脑肿瘤，其起源于胶质细胞并浸润周围组织。此外，脑膜瘤起源于大脑和脊髓周围的膜，而垂体瘤是在垂体中发育的异常生长在这个实验中，BraTS 2019提供的具有ET、ED和NET像素级标签的神经胶质瘤数据被用于 训 练 CCT-Net 。 目 标 域 中 的 分 类 任 务 是 从BrainTumor数据集中区分三种类型的肿瘤，脑膜瘤、垂体瘤4.3.1像素级掩模分割在该任务中，源域和目标域都具有像素级的基础事实，但是我们仍然仅采用源域注释来训练CCT-Net，并且采用目标域注释来进行测试。因此，对于目标域，我们用于分割的CCT网络是弱监督的，这可以更好地说明我们方法的跨域可移植性。对于源域和目标域，采用基于患者ID的五重交叉验证。在目标域数据流中，仅使用训练集的图像级类别标签。如表3的目标域结果所示，与使用像素级标签训练的传统监督分割网络相比，我们的基于弱监督CCT-w-CWP B1在DSE中采用标准BN，已经稍微优于一些分割模型，验证了类别不变特征。表4.大脑：目标域的分类精度。两个最好的结果是红色和蓝色。'w'=' with '。方法脑膜瘤胶质瘤垂体瘤基线DSE-1-w-AVG0.88630.91940.9275DSE-1-w-MAX0.88450.92050.9282DSE-1-w-LSE0.90480.93790.9441DSE-1-w-CWP0.90670.93940.9438转移DANN[17]0.90920.94090.9472中文（简体）0.91230.94460.9531意大利[58]0.91590.94720.9555DSE-1+CCT*+DSE-20.90610.93890.9442DSE-1+CCT+DSE-2 B10.92460.95030.9560DSE-1+CCT+DSE-2 B20.93790.95680.9614图5. DSE-1和DSE-1+CCT+DSE-2 B2的混淆矩阵和特征可视化的比较。CCT-Net的真实细化能力此外，CCT-w- CWP B2（其使用DSE中的域特定BN来学习更好的域不变表示）在跨域可转移性方面进一步一些定性结果在图的底部可视化。4.第一章我们还将我们的方法与补充文件中的一些弱监督模型[28，25，2]进行了4.3.2图像级疾病分类本研究中的训练和测试分割与像素级掩模分割的分割相同 由于目标主要任务是单标签疾病类别分类，因此分 类 准 确 度 如 表 4 所 示 。 我 们 的 全 装 备 DSE-1+CCT+DSE-2B 2提高了三种脑肿瘤的平均准确性，与DSE-1-w-CWP相比提高了2.21%。为了更好地展示CCT-Net的详细改进，我们还将图2中两种比较方法的判别特征空间和五、5. 结论我们建议将单病诊断扩展到多病诊断，以更好地服务于临床需求。CCT-Net是一个跨领域的类别不变的转移，从源领域学习知识，以改善目标领域的结果。我们验证了我们的方法在两个流行的医学成像领域。本工作得到了国家自然科学基金（62106043）的资助。DSE-1DSE-1+CCT+DSE-2_B28268引用[1] 国际眼病智能识别竞赛https://odir2019.grand-challenge的网站。org.[2] Jiwoon Ahn，Sunghyun Cho，和Suha Kwak.具有像素间关系的实例分割的弱监督学习。在CVPR中，第2209-2218页[3] Woong-Gi Chang、Tackgeun You、Seonguk Seo、SuhaKwak和Bohyung Han。用于无监督域自适应的特定于域的批量归一化在CVPR中，第7354- 7362页[4] 程晨、齐斗、皓晨、静秦、冯安恒。协同图像和功能适配：跨模态域适应医学图像分割。在AAAI，第33卷，第865-872页[5] Chen Chen ， Xiaopeng Liu ， Meng Ding ， JunfengZheng，and Jiangyun Li.用于mri中实时脑肿瘤分割的在MICCAI，第184- 188192. Springer，2019年。[6] Liang-Chieh Chen，Yukun Zhu，George Papandreou，Florian Schroff，and Hartwig Adam.用于语义图像分割的具有粗糙可分离卷积的编码器-解码器。参见ECCV，第801-818页[7] Jun Cheng，Wei Huang，Shuangliang Cao，Ru Yang，Wei Yang，Zhaoqiang Yun，Zhijian Wang，and QianjinFeng.通过肿瘤区域增强和分区增强脑肿瘤分类的性能。PloS one，10（10）：e0140381，2015.[8] Junsuk Choe、Seong Joon Oh、Seungho Lee、SanghyukChun、Zeynep Akata和Hyunjung Shim。正确评估弱监督对象定位方法。在CVPR中，第3133-3142页[9] Jose Dolz ， Karthik Gopinath ， Jing Yuan ， HerveLombaert，Christian Desrosiers，and Ismail Ben Ayed.高密度-网络：用于多模态图像分割的超密集连接CNN。IEEE Transactions on Medical Imaging，38（5）：1116[10] 董家华、杨聪、孙乾、侯东东。语义可转移的弱监督内窥镜病变分割。在ICCV，第10712-10721页[11] 董家华，杨聪，孙甘，钟必能，徐晓伟.可以转移的内容：用于内窥镜病变分割的无监督域自适应。在CVPR中，第4023-4032页[12] 齐斗，欧阳成，陈成，陈浩，和冯安恒.Convnets的无监督跨模态域自适应用于具有对抗性损失的生物医学图像分割在IJCAI，第691-697页[13] 范登平，周涛，季戈鹏，周毅，陈耿，傅华柱，沈建兵，邵凌。Inf-net：从ct图像自动分割新冠肺炎肺部感染。IEEE Transactions on Medical Imaging，2020。[14] Alex Foo，Wynne Hsu，Mong-Li Lee，Gilbert Lim，andTien Yin Wong.用于糖尿病视网膜病变分级和病变分割的多任务学习。在AAAI，第13267[15] Bo Fu，Zhangjie Cao，Mingsheng Long和Jianmin Wang.学习检测通用域适配的开放类在ECCV。Springer，2020年。[16] Huazhu Fu，Jun Cheng，Yanwu Xu，Damon Wing KeeWong，Jiang Liu，and Xiaoxun Cao.基于多标记深度网络 和 极 坐 标 变 换 的 视 盘 和 杯 关 节 分 割 。 IEEETransactions on Medical Imaging，37（7）：1597[17] Yaroslav Ganin 、 Evgeniya Ustinova 、 Hana Ajakan 、PascalGermain、HugoLarochelle、FrancçoisLa violette、Mario Marchand和Victor Lempitsky。神经网络的领域对抗机器学习研究杂志，17（1）：2096[18] Muhammad Ghifary ， W Bastiaan K