基于全景域自适应和任务重加权的显微图像无监督实例分割

1基于全景域自适应和任务重加权的显微图像无监督实例分割东南刘1张东浩杨松2范章3劳伦·衡黄4号美辰五号蔡卫东11澳大利亚悉尼大学计算机科学学院2澳大利亚新南威尔士大学计算机科学与工程学院3美国哈佛医学院布里格姆妇女4美国匹兹堡大学电气与计算机工程系5美国微软公司{dliu5812，dzha9516}@ uni.sydney.edu.au，unsw.edu.au{fzhang，odonnell}@ bwh.harvard.edu，henghuanghh@gmail.commay4mc@gmail.com，tom. sydney.edu.au摘要用于细胞核实例分割的无监督域自适应（UDA）对于数字病理学是重要的，因为它减轻了劳动密集型注释的负担和跨数据集的主移位。在这项工作中，我们提 出 了一 个 周 期 一致 性 泛 光 域 自适 应 掩 模 R-CNN（CyC-PDAM）架构，用于组织病理学图像中的无监督核更具体地说，我们首先提出了一个核修复机制，以消除合成图像中的辅助生成对象其次，设计了一个第三，为了避免源偏向特征的影响，我们提出了一种任务重加权机制，动态地为特定于任务的损失函数添加权衡权重在三个数据集上的实验结果表明，我们提出的方法明显优于最先进的UDA方法，并表现出与完全监督方法相似的性能1. 介绍组织病理学图像中的细胞核实例分割是数字病理学工作流程中的重要步骤。病理学家能够根据有丝分裂计数、每个细胞核的形态结构和一组细胞核的空间分布来诊断和预测癌症[7，25，5，1，34]。目前，监督学习-(a)（b）（c）（d）（e）图1。我们提出的框架的示例图像。(a)荧光显微镜图像;（b）真实的组织病理学图像;（c）我们合成的组织病理学图像;（d）由我们提出的UDA方法产生的细胞核分割;（e）地面实况。用于细胞核实例分割的基于方法是普遍的，因为它们在保持高准确性的同时是有效的[24，35，3，9，33，50，29，28]。然而，它们的性能严重依赖于大规模的训练数据，这需要专业知识进行注释。如图所示，由于 复 杂 的 细 胞 结 构 ， 该 过 程 耗 时 且 劳 动 密 集 。 1（b），和大的图像尺寸。例如，用50幅图像和12M像素注释组织病理学数据集花费病理学家120到230小时[16]第10段。此外，在实际临床研究中，即使是40倍物镜放大倍数的一张完整载玻片图像也包含1B像素[10]。因此，研究不依赖于组织病理学注释的方法是必要的。 它可以帮助以减轻病理学家的工作量，并解决缺乏组织病理学注释的问题。最近提出的无监督域自适应42434244(UDA)方法通过在源域上进行监督学习来解决这个问题，并在没有注释的情况下获得目标域的良好性能模型[36，8，45]。目前，UDA减少了源域和目标域的特征图分布之间的距离。此外，一些其他方法专注于从源域图像到目标图像的像素到像素转换，用于对齐跨域图像外观[20，52]。对于这些方法，由于不完美的平移，合成图像和真实图像之间的分布仍然存在一些差异[15，2，21]。为了结合图像平移和UDA方法的优点，已经提出了几项工作来学习目标和合成的类目标图像之间的域不变特征[15，21，2]。这种方法实现了UDA分类、对象检测和语义分割任务的最新性能。然而，目前缺乏专门为实例分割设计的UDA方法首先，现有的UDA对象检测方法集中于减轻图像级（图像对比度、亮度等）的域偏差。和实例级别（对象比例、样式等）[21，4，14]。它们忽略了语义层次上的域转移，如前景与背景的关系、对象的空间分布等。其次，这些UDA对象检测方法是多任务学习范例，其同时优化不同的损失函数。如果特征提取器在某些训练迭代中未能生成域不变特征，则根据这些迭代中的任务损失函数反向传播权重会导致模型偏向源域。为了解决组织病理学图像中的UDA nu- clei实例分割任务中的上述问题，我们提出了周期一致的PanopticDomain Adaptive Mask R-CNN（CyC-PDAM）模型。由于没有一种复杂的UDA方法是专门为实例分割设计的，因此我们将CyCADA [15]扩展到基于Mask R-CNN[11]的实例分割版本，作为我们的基线。在我们的CyC-PDAM中，我们首先提出了一个简单的核修复机制，以去除合成的组织病理学图像中的辅助核。其次，受全景分割架构[23，22]的启发，我们提出了一个基于前景和背景之间关系的域不变特征的语义级自适应模块通过协调语义和实例级别的域不变特征，我们提出的CyC-PDAM实现了全景级别的域自适应。此外，提出了一种任务重加权机制，以重置每个任务损失的重要性。在训练期间，如果任务的特征预测不是域不变的和源偏置的，并且如果特征难以区分则被向上加权。为了证明我们提出的CyC-PDAM架构的有效性，实验已经在三个公共数据集上进行，通过从荧光显微镜图像数据集进行无监督域自适应，与组织病理学图像不同，由于图像采集技术之间的差异，没有结构与荧光显微镜图像背景中的细胞核相似，如图所示。第1（a）段。与组织病理学图像相比，荧光显微镜图像更容易获得手动注释，因此选择它作为我们的源域。我们的贡献概述如下：（1）提出了一种用于组织病理学图像中UDA核实例分割的CyC-PDAM模型。据我们所知，这是第一个UDA实例分割方法。(2)提出了一种简单的细胞核修复机制来去除合成图像中的假阳性对象（3）CyC-PDAM通过将实例级自适应与新提出的语义级自适应模块相结合，在全景级产生域不变特征。(4)提出了一种任务重加权机制，以减轻对源域的域偏差。(5)与最先进的UDA方法相比，我们提出的CyC-PDAM范例的性能要好很多。此外，它实现了竞争力的性能与国家的最先进的核分割的完全监督的方法2. 相关工作2.1. 自然图像的域自适应领域自适应旨在将从一个标记领域学到的知识转移到另一个没有注释的领域[36]。最近，UDA方法基于特征级的内容和像素级的外观来减少跨域差异。对于特征级自适应，域不变特征的对抗学习[8，45]，最大均值离散最小化（MMD）[32]，局部模式对齐[48]和跨域协方差对齐[42]被广泛用于分类任务。此外，领域自适应还用于其他任务，如语义分割[46，26]和对象检测[4，21，19，47]。在语义分割任务中，分割结果必须是域不变的，以及中间特征图[26，46，44]。此外，ADVENT [46]进一步最小化了源域和目标域中语义分割预测的香农熵，以消除跨域差异。对于对象检测，域自适应Faster R-CNN [40]，包括4245图2.我们提出的CyC-PDAM架构的整体架构。在训练期间不使用真实组织病理学补丁的注释。图像级和实例级自适应通常是针对整个图像和每个对象的域不变特征提出的[4，21，14]。另一方面，图像到图像转换通过生成目标图像并在其上训练特定于任务的全监督模型来解决像素级别的域自适应问题[30，17，20，52，33，37]。然而，由于翻译的不完善，领域偏见仍然存在。此外，已经提出了几种方法，通过学习目标图像和合成图像之间的域不变特征，将特征级自适应与像素级自适应对齐[15，21，2]。2.2. 医学图像的领域自适应用于医学图像分析的无监督域自适应很少被探索[39，51，2，18，16]。[39]和[18]用基于GAN的架构解决UDA组织病理学图像分类问题。此外，DAM [6]被提出用于生成域不变中间特征和模型预测，用于CT图像中的UDA语义分割。在周期一致性重建的帮助下，TD-GAN [51]和SIFA [2]被提出用于不同医学图像的语义分割，具有像素级和特征级自适应。然而，它们都不是为UDA核实例分割而设计的尽管Houet al.[16]提出用合成的组织病理学图像训练基于GAN的细化器和细胞核分割模型，用于无监督的细胞核实例分割，其范例仅包含像素级自适应，并且仍然不能最小化特征级中的域间隙。因此，在这项工作中，我们提出了一个CyC-PDAM范例的UDA核实例分割，这说明了域的偏见是苏在像素和特征水平。3. 方法我们提出的架构基于CyCADA，我们将CyCADA与实例分割框架Mask R-CNN融合。在此基础上，我们通过核内绘机制、全景域自适应机制和任务重加权机制对其进行了改进。图2说明了我们的方法的整体架构。3.1. CyCADA with Mask R CNN名称超参数输出大小输入256× 8× 8Conv1k=（3，3），s=1，p=1256× 8× 8Conv2k=（3，3），s=1，p=1512× 8× 8Conv3k=（3，3），s=1，p=1512× 8× 8Conv4k=（1， 1），s=1，p=02× 8× 8表1.PDAM图像级判别器中每个块的参数k、s和p分别表示卷积运算的内核大小、步幅和填充由于没有针对实例级分割的UDA架构这项工作中的Mask R-CNN的主干是由ResNet 101 [12]和特征金字塔网络（FPN）[27]构建的。受先前用于对象检测的UDA方法[4，21]的启发，我们在FPN之后添加一个鉴别器用于图像级自适应，并且在实例分支之后添加另一个鉴别器用于实例级自适应，如图所示。3. 对于图像级自适应，多-FPN输出的分辨率特征图首先通过平均池化（averagepooling）被下采样到8×8图像级卷积层由4个卷积层（ 详 见 表 1 ） 和 一 个 用 于 对 抗 学 习 的 梯 度 反 转 层（GRL）组成。在实例级自适应中，掩码分支中的14×14×256特征图向下-使用平均池化缩放到大小2×2×256，然后调整大小为1024×1，与来自边界框分支。 实例级别的实例由3个完全连接的层和一个GRL组成，其输入是上述特征的总和。3.2. 细胞核修复机制尽管CycleGAN对于合成类组织病理学图像是有效的，但是由于源域和目标域之间的大的域间隙和核数目不兼容，所生成的图像的标签空间在从源域传输之后有时会改变。例如，在图1所示的合成图像中存在冗余和不期望的核。4.如果这些图像直接用于训练特定于任务的CNN，4246图3. Panoptic Domain Adaptive Mask R-CNN（PDAM）的详细说明。Ci和FC分别表示卷积层和全连接层。Ri1和Ri2分别表示第i个残差块中的第一和第二卷积层。为了简洁起见，省略了每个卷积块之后的ReLU可以表示为：图4.细胞核修复机制有效性的可视化结果。(a) 原始荧光显微镜补丁;（b）相应的细胞核注释;（c）来自CycleGAN的初始合成图像;（d）在核修复机制之后的最终合成图像。nal标签，该模型被迫将冗余核视为背景，即使它们看起来像真实的核。因此，我们提出了一个辅助的细胞核修复机制，以消除核只出现在合成图像没有相应的注释。将通过Cycle-GAN的原始合成组织病理学图像定义为Sraw并且将其对应的掩模定义为M，我们首先获得所有辅助生成的核的掩模预测Maux，公式化为：Maux=（otsu（Sraw）<$M）−M（1）其中ostu（Sraw）表示基于Otsu阈值的Sraw的二进制分割在Maux中，仅标记没有注释的然后，我们在去除这些核之后得到新合成的图像Sinp，其中，inp是用于修复对象的基于快速行进的方法[43]，通过替换辅助图像的像素值，用Maux标记的核作为未标记的背景。图图4示出了我们提出的核修复机制的视觉效果然而，一些背景材料被标记为错误的积极预测在莫.直接对它们进行修复会使合成图像的纹理和外观变得不真实，并扩大合成图像与真实图像之间的区域差距然而，图像级自适应能够通过减轻对全局视觉信息（诸如曲线、纹理和照明）的域偏差来解决这个 我们的细胞核修复机制是时间有效的，这需要0。09秒处理一个256×256的合成组织病理学平均而言3.3. 全景水平域自适应我们将图像的语义级特征定义为前景和背景之间的关系。除了图像和特征层面的领域偏向外，语义层面的领域转移也存在。由于合成的和真实的组织病理学图像之间的细胞核对象和背景的差异，主要是第2节中提到的自适应Mask R-CNN。3.1由于Mask R-CNN仅关注每个对象的局部特征，并且缺乏整个图像的语义视图，因此Mask R-CNN在语义级特征中存在域偏差。受之前的全景分割架构的启发，该架构将语义和实例分割统一起来，4247ps在对图像的全局和局部特征进行处理的基础上，提出了一种语义级的自适应方法，使模型能够根据前景和背景之间的关系来学习领域不变特征。通过描述语义级和实例级自适应，我们的全景域自适应方法减少了全局和局部视图中的跨域离散性。As shown in Fig. 3, a semantic branch for semantic seg-mentation prediction is added to the output of the FPN. 我们的语义分支具有与[22]相同的实现。由于荧光显微镜图像和病理组织图像都可以从组织样本中获取，并且它们可以显示互补和相关的信息，因此合成的和真实的病理组织图像的语义分割标签空间具有很强的相似性。此外，对齐跨域熵分布有助于最小化目标域中的熵预测，这使得模型适用于目标图像[46]。因此，我们使用soft-max语义预测的香农熵[41]来诱导域不变特征在语义级别进行学习表示软-max语义预测为P且P∈（0，1），其香农熵定义为：−plog（p）。图表3和表2显示了语义级自适应的方法。我们采用残差连接CNN块来避免梯度消失[12，13]。为了使对抗学习更加稳定，我们使用步幅卷积代替双线性图层进行上采样。最后，域标签被预测为16×16块。由于小批量大小，基于块的域标签预测增加了训练样本的数量，以避免过拟合。在一些训练迭代中，特征远离域鉴别器的决策边界。如果更新特定于任务的损失以优化具有这些容易区分的特征的模型，则当用目标数据测试模型时，模型为此，我们提出了一种任务重加权机制，根据领域判别器的预测为每个任务特定的损失函数添加权衡权重。将最终任务预测之前的特征图属于源域和目标域的概率分别表示为ps和pt，并将任务特定损失函数表示为L，则重新加权的任务特定损失Lrw为：L=min（pt，β）L=min（1−ps，β）L（3）rwpsps其中β是一个阈值，用于避免当ps→0时1−ps变大并使模型崩溃。根据Eq. 3.如果判定任务预测的特征图属于源域（ps→1），则对损失函数进行降权，以减轻源偏差模 型 的 特 征 学 习 。 如 示 于 图 3 、 区 域 建 议 网 络（RPN）、语义分支和实例分支的损失函数分别由图像、语义和实例级域鉴别器处的预测重新加权。3.5.网络概述和培训详细信息在我们提出的CyC-PDAM中，CycleGAN具有与其原始工作相同的实现[52]。 当训练CycleGAN时，初始学习率设置为0。0001，对于总训练迭代的前1/2，线性衰减到0。PDAM使用批量大小1进行训练，每个批量包含2个图像，一个来自源域，另一个来自目标域。由于批量大小较小，我们将传统的批量归一化层替换为组归一化层[49]，默认组号为32[49]。PDAM的总损失函数定义为：表2. PDAM语义级判别器中每个块的参数。k、s和p遵循与表1中相同的约定。Lpdam=αimgLrpn+αinsLdet+αsemL（sem-seg）+αda（L（img−da）+L（sem−da）+L（ins−da））（四）3.4.任务再加权机制在以前的UDA方法中，特定于任务的损失函数（分割，分类和检测）是基于源域预测的。即使采用几个对抗域鉴别器来确保预测的特征图是域不变的，这些特征图的跨域差异仍然是其中Lrpn是RPN的损失函数，Ldet是Mask R-CNN的类、边界框和实例掩码预测的损失，L（sem-seg）是语义分割的交叉熵损失，L（img-da）、L（sem-da）和L（ins-da）是图像、语义和实例级别的域分类的交叉熵损失。αimg、αins和αisem根据公式计算。三是任务重。在我们的实验中，我们将β设为2。αda更新为：名称超参数输出大小输入2× 256× 256C1k=（7，7），s=2，p=364× 128× 128R11和R12k=（3，3），s=1，p=164× 128× 128C2k=（5，5），s=2，p=2128× 64× 64R21和R22k=（3，3），s=1，p=1128× 64× 64C3k=（5，5），s=2，p=2256× 32× 32R31和R32k=（3，3），s=1，p=1256× 32× 3242482α2=1 +exp（−10t）- 第1（5）条Kumar和TNBC的注释在训练UDA架构期间不使用，仅用于评估。光源荧光显微镜的前处理其中t是训练进度，t∈[0，1]。 因此，αda是从0到1逐渐改变，以避免在早期训练阶段来自不稳定域鉴别器的噪声。在训练过程中，PDAM通过SGD进行优化，权重衰减为0。001和0的动量。9 .第九条。初始学习率为0。002，在前500次迭代中进行线性预热。然后，学习率降低到0。0002当它达到总训练迭代的3/4时。在推理过程中，只有原始的Mask R-CNN架构与自适应权重一起使用，并且所有用于测试的超级参数都在验证集上进行了微调。我们所有的实验都是在两个NVIDIAGeForce 1080Ti GPU上使用Pytorch [38]实现的4. 实验4.1. 数据集描述和评估我们提出的架构在三个公共数据集上进行了验证，分别称为Kumar [24]，TNBC [35]和BBBC039V1 [31]。其 中 ， Kumar 和 TNBC 是 组 织 病 理 学 数 据 集 ， 而BBBC039V1是组织病理学数据集。荧 光 显 微 镜 数 据 集 。 Kumar 从 癌 症 基 因 组 图 谱（TCGA）中以40倍放大率获得，包含来自不同患者的30个完整载玻片图像的30个注释的1000×1000所有这些图片都来自18家不同的医院和7个不同的器官（乳腺、肝脏、肾脏、前列腺、膀胱、结肠和胃）。与Kumar的疾病变异 性 相 反 ， TNBC 数 据 集 特 别 关 注 三 阴 性 乳 腺 癌（ TNBC ） [35] 。在 TNBC 中 ， 有 50 个 带 注 释 的512×512斑块来自居里研究所的11名不同患者，倍率 BBBC039V1是关于U2OS细胞在高通量化学筛选[31]。它包含200个520×696的生物活性化合物的图像，具有单视场的DNA通道染色。对于评估，我们采用三种常用的像素和对象级指标。聚合Jaccard指数（AJI）是用于对象级评估的扩展Jaccard指数[24]，对象级F1得分是每个对象的精确度和召回率之间的平均调和平均值对于像素级评估，我们采用像素级F1分数进行二值化预测。4.2. 实验设置我 们 在 两 个 核 分 割 任 务 上 进 行 了 实 验 ： 从BBBC039V1适应Kumar，从BBBC039V1适应TNBC。作为两个实验中的源域，使用来自BBBC039V1的100个训练图像和50个验证图像，遵循官方数据分割1。1https://data.broadinstitute.org/bbbc/BBBC039/图像有三个步骤。首先，将所有图像归一化为范围[0，255]。其次，从100幅训练图像中随机裁剪出大小为256×256的10K块，并进行包括旋转、缩放和翻转在内的以避免过度拟合。 第三，具有少于3个物体被移除。为了更好地合成类靶组织病理学图像，我们最后对所有源荧光显微镜图像块的前景细胞核和背景为了进行 验证，BBBC039V1 验证 集中的50 张图像 通过CycleGAN和细胞核修复机制转换为合成的组织病理学图像。对于作为目标域的Kumar数据集，我们使用与[24，35]中之前工作相同的数据分割，其中16张图像用于训练，14张用于测试。在训练模型时，随机裁剪大小为256×256的总计10K从16个训练组织病理学图像，与基本数据增 强 包 括 翻 转 和 旋 转 ， 以 避 免 过 度 拟 合 。 对 于TNBC，我们使用8例40张图像进行训练，其余3例10张图像进行测试。为了用TNBC训练模型，10K256×256贴片从训练图像中随机提取，包括翻转和旋转的数据增强。4.3. 对比实验4.3.1与无监督方法的比较在本节中，我们提出的CyC-PDAM与几种最先进的UDA方法进行了比较，包括CyCADA [15]，Chen等人。[4][21][22][23][24][25]由于原始的CyCADA专注于分类和语义分割，我们使用Mask R-CNN扩展了它，用于UDA实例分割，如第2节所述第3.1条Chen等人[4]最初用于基于Faster R-CNN的UDA对象检测，通过在图像和实例级别调整功能。对于UDA实例分割，我们在我们的架构中用相同的Mask R-CNN替换了原始的基于VGG 16的Faster R-CNN，并在[4]中用我们的第二节中替换了原始的图像和实例级适配。3.1. SIFA[2]是一种用于CT和MR图像的UDA语义分割架构在实验中，我们在SIFA的语义分割预测中加入分水岭算法来DDMRL [21]从UDA对象检测的各种生成域中学习多域不变特征，并以与CyCADA [15]和Chen等人类似的方式扩展用于实例分割。[4]的文件。此外，我们还与Houet al. [16]，其特别设计用于组织病理学图像中的无监督他们训练了一个多任务（分割，检测和细化）CNN4249BBBC039 →库马尔BBBC039 →TNBC方法阿吉Pixel-F1目标-F1阿吉Pixel-F1目标-F1CyCADA [15]0的情况。4447±0。10690的情况。7220±0。08020的情况。6567±0。08370的情况。4721±0。09060的情况。7048±0. 09460的情况。6866±0。0637Chen等人[4]美国0的情况。3756±0。09770的情况。6337±0。08970的情况。5737±0。09830的情况。4407±0。06230的情况。6405±0。06600的情况。6289±0。0609SIFA [2]0的情况。3924±0。10620的情况。6880±0。08820的情况。6008±0。10060的情况。4662±0。09020的情况。6994±0。09420的情况。6698±0。0771DDMRL [21]0的情况。4860±0。08460的情况。7109±0。07440的情况。6833±0。07240的情况。4642±0。05030的情况。7000±0。04310的情况。6872±0。0347Hou等人[16个]0的情况。4980±0。12360的情况。7500±0。08490的情况。6890±0。09900的情况。4775±0。12190的情况。7029±0. 12620的情况。6779±0。0821提出0.5610 ±0.07180.7882 ±0.05330.7483 ±0.05250.5672 ±0.06460.7593 ±0.05660.7478 ±0.0417表3.在两个组织病理学数据集上与其他无监督方法进行比较阿吉Pixel-F1目标-F1无NI0的情况。5042±0。10340的情况。7336±0。08390的情况。6958±0。0832无TR0的情况。4969±0。09720的情况。7654±0。06780的情况。6923±0。0778不含SEM0的情况。5046±0。10650的情况。7470±0。07540的情况。6965±0。0805提出0的情况。5610±0。07180的情况。7882±0。05330的情况。7483±0。0525表4. BBBC039V1的消融研究到Kumar实验。NI、TR和SEM分别表示核修复机制、任务重加权机制和语义分支图5.对比实验的可视化结果。前3行来自Kumar数据集，最后3行来自TNBC。结构与他们的合成组织病理学图像从随机生成的二元核掩模。表3显示，我们提出的方法在不同的组织病理学数据集上的性能大大优于所有比较方法。此外，采用单尾配对t检验来证明我们所有的改进都具有统计学显著性，所有p值均小于0。05. Chen等人[4]学习图像和实例级别的域不变特征。然而，由于荧光显微镜和真实的组织病理学图像之间的差异很大，仅特征级自适应不足以减少域间隙。通过对外观的像素级自适应，所有其他方法都获得了更好的性能。与基线法相比CyCADA [15]，我们的CyC-PDAM有6-12%的大幅度改进，这是由于我们提出的核修复机制、全景级自适应和任务重新加权机制的有效性。SIFA [2]专注于图像和语义级别的域不变特征，UDA语义分割结构。由于组织病理学图像中存在大量的核团，SIFA的有效性仍然有限，实例级学习或适应。 虽然DDMRL[21] 仅 在 图 像 级 别 上 调 整 特 征 ， 其 性 能 仍 然 与CyCADA处于同一水平，通过调整跨各个领域的知识。在所有的比较方法中，Houet al.[16]实现了第二好的性能。由于全景级特征自适应和任务重新加权机制的有效性图5是所有组件化方法的可视化示例4.3.2消融研究为了测试我们提出的CyC-PDAM中每个组件的有效性，在Kumar数据集上进行了消融实验。基于我们的CyC-PDAM，我们去除了用于全景水平自适应的核修复机制、任务重新加权机制和语义分支，并使用与Sec相同的设置和数据集来训练消融模型。4.3.1.表4和图6显示了烧蚀实验的详细结果。如图6、无核修补机制的方法（w/o NI）往往会忽略一些核，这增加了假阴性预测。此外，我们注意到，也有错误的分裂和合并预测的w/o NI模型。这是因为越来越多的假阴性预测对所有对象的空间分布有害，这进一步影响了语义级自适应的有效性。在没有任务重加权机制（w/o TR）的方法的预测中，存在一些具有不规则大小的观测。任务重新加权机制防止模型受到源域中的特定于域的特征的影响，并且因此将其移除会导致源偏向的预测。与我们的方法相比，无语义分支模型（w/o SEM）不能在语义层面上学习领域不变特征，包括核对象的空间分布4250阿吉Pixel-F1方法看到看不见所有看到看不见所有[24]第二十四话0的情况。5154±0。08350的情况。4989±0。08060的情况。5083±0。06950的情况。7301±0。05900的情况。8051±0。10060的情况。7623±0。0946DIST [35]0的情况。5594±0。05980的情况。5604±0。06630的情况。5598±0。07810的情况。7756±0。04890的情况。8005±0。05380的情况。7863±0。0550提出0的情况。5432±0。04770的情况。5848±0。09510的情况。5610±0。09820的情况。7743±0。03580的情况。8068±0. 06980的情况。7882±0。0533上界[22]0的情况。5703±0。04800的情况。5778±0。06710的情况。5735±0。08550的情况。7796±0。04190的情况。8007±0。05110的情况。7886±0。0531表5.我们的UDA方法和完全监督方法之间的比较实验，BBBC039V1 Kumar实验。 为CNN3和DIST，对象级F1的结果未知。图6.烧蚀实验的可视化结果。NI：核修复机制; TR：任务重加权机制; SEM：语义分支。详细信息在后台。因此，不仅存在错误的分割和合并预测，而且还存在假阳性和不完美的分割结果。如表4所示，在三种情况下的分割精度删除每个模块后，度量值减少4-6%。此外，采用单尾配对t检验计算-延迟我们提出的方法和其他消融方法之间的p值添加三个模块后，改善在统计学上是显著的（P<0. 05）。05），进一步证明了该方法的有效性。4.3.3与完全监督方法的比较由于我们在Kumar数据集中的数据分割与用于完全监督核分割的几种最先进的方法相同，因此我们将它们的原始报告结果与我们的结果进行了比较。表5展示了我们提出的UDA架构和其他完全监督方法之间的比较结果。CNN3 [24]是一种基于轮廓的细胞核分割体系结构，除了前景和背景类之外，还将细胞核边界视为第三类。DIST [35]是基于距离图的回归模型对于PanopticFPN [22]，我们直接使用与CNN3和DIST相同的16个真实组织病理学补丁集对其进行训练，并将其用作我们无监督方法的上限。Kumar的测试图像分为两个子集：一个包含来自训练集已知的4个器官的8个图像，称为可见的，另一个包含来自训练集未知的3个器官的6个图像，称为不可见的。如表5所示，我们提出的性能UDA架构优于完全监督的CNN3和DIST。这是因为我们提出的方法能够在局部水平上处理每个ROI，而CNN3和DIST仅在全局语义水平上处理图像通过适应前景和背景的语义级特征，我们的方法的性能与像素级F1分数的全监督Panoptic FPN处于相同的水平。尽管我们的AJI略低于完全监督的Panoptic FPN，但我们注意到，当在看不见的测试集上进行测试时，我们的方法效果更好。 这是因为我们提出的CyC-PDAM专注于学习域不变特征，并避免受到来自未见过器官的测试图像的域偏差的影响。这些结果表明，尽管荧光显微镜图像和组织病理学图像之间仍然存在很大的差异，但我们提出的UDA架构仍然成功地缩小了它们之间的域间隙，并且与需要组织病理学核注释的完全监督方法相比，实现了更好的性能。5. 结论在这项工作中，我们提出了一个CyC-PDAM架构的UDA细胞核分割的组织病理学图像。我们首先为UDA实例分割设计了一个基线架构，包括外观级、图像级和实例级的自适应.接着，设计了一种细胞核修复机制来去除合成尺寸图像中的辅助对象，以进一步避免假阴性预测。在特征级自适应中，提出了一个语义分支来适应前景和背景的特征，并结合语义和实例级自适应使模型能够在全景级学习域不变此外，提出了一种任务重加权机制，以减少偏差。在三个公开数据集上的实验表明，该方法的性能大大优于现有的UDA方法，并达到了完全监督方法的水平从更大的角度来看，UDA实例分割问题不仅限于组织病理学图像分析。在这项工作中，我们建议我们提出的方法也可以有助于其他一般的图像分析应用程序的性能接近完全监督的方法。4251引用[1] Ajay Basavanhally ， Michael Feldman ， Natalie Shih ，Car- olyn Mies，John Tomaszewski，Shridar Ganesan，and Anant Madabhushi.多参数雌激素受体阳性乳腺癌组织病理学基于图像的结局预测的多视野策略：与onco型dx的比较。病理信息学杂志，2011年2月。[2] 程晨、齐斗、皓晨、静秦、冯安恒。协同图像和功能适配：跨模态域适应医学图像分割。在人工智能促进协会（AAAI），第865-872页[3] Hao Chen ， Xiaojuan Qi ， Lequan Yu ， Qi Dou ， JingQin，and Pheng-Ann Heng. Dcan：用于组织学图像对象实例分割的深度轮廓感知网络。医学图像分析，36：135[4] Yuhua Chen ， Wen Li ， Christos Sakaridis ， DengxinDai，and Luc Van Gool.域自适应更快的R-CNN用于野外目标检测。在计算机视觉和模式识别（CVPR）中，第3339-3348页[5] 弗雷德里克·克莱顿。 378例淋巴结阴性浸润性导管乳腺癌的生存病理学相关性有丝分裂计数是最好的单一预测因子。Cancer，68（6）：1309[6] 齐斗，欧阳成，陈成，陈浩，和冯安恒.Convnets的无监督跨模态域自适应用于具有对抗性损失的生物医学图像分割在国际人工智能联合会议（IJCAI），第691-697页[7] 克里斯托弗W埃尔斯顿和伊恩O埃利斯。乳腺癌的病理I.乳腺癌组织学分级的价值：从一项长期随访的大型研究中获得的经验。Histology，19（5）：403[8] 雅罗斯拉夫·甘宁和维克多·伦皮茨基。通过反向传播的无监督国际机器学习会议（ICML），2015。[9] Simon Graham、Quoc Dang Vu、Shan E Ahmed Raza、Ayesha Azam、Yee Wah Tsang、Jin Tae Kwak和NasirRajpoot。Hover-net：多组织组织学图像中细胞核的同步分割和分类。医学图像分析，58：101563，2019。[10] David A Gutman、Jake Cobb、Dhananjaya Somanna、Yuna Park 、 Fusheng Wang 、 Tahsin Kurc 、 Joel HSaltz、Daniel J Brat、Lee AD Cooper和Jun Kong。 癌症数字幻灯片存档：支持TCGA病理学数据的集成计算机分析的信息学资源。 Journal of the American MedicalInformatics Association，20（6）：1091[11] KaimingHe ， GeorgiaGkioxari ， PiotrDolla'r ，andRossGir-shick.面罩R-CNN。在国际计算机视觉会议（ICCV），第2980-2988页[12] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在计算机视觉和模式识别（CVPR）中，第770- 778页[13] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.深度剩余网络中的身份映射。在欧洲计算机视觉会议（ECCV），第630-645页。施普林格，2016年。[14] 何振伟和张磊。多对抗faster-rcnn用于无限制目标检测。在国际计算机视觉会议，第6668-6677页[15] Judy Hoffman 、 Eric Tzeng 、 Taesung Park 、 Jun-YanZhu 、 Phillip Isola 、 Kate Saenko 、 Alexei A Efros 和Trevor Darrell。Cycada：周期一致的对抗性域适应。国际机器学习会议（ICML），2018年。[16] Le Hou，Ayush Agarwal，Dimitris Samaras，Tahsin MKurc，Rajarsi R Gupta，and Joel H Saltz.稳健的组织病理学图像分析：标签还是合成？在计算机视觉和模式识别（CVPR），第8533-8542页，2019年。[17] Xun Huang ， Ming-Yu Liu ， Serge Belongie ， and JanKautz.多模态无监督图像到图像翻译。在欧洲计算机视觉会议（ECCV），第172[18] 黄岳，韩正，刘驰，丁兴浩，Gus- tavo K Rohde.组织病理学图像中通过卷积神经网络和无监督域自适应进行上皮 - 间 质 分 类 IEEE Journal of Biomedical and HealthInformatics，21（6）：1625[19] 井上直人，古田良介，山崎俊彦，相泽贵治.跨域弱监督对象检测通过渐进域适应。在计算机视觉和模式识别（CVPR），第5001-5009页[20] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。计算机视觉和模式识别（CVPR），第5967-5976页IEEE，2017年。[21] Taekyung Kim、Minki Jeong、Seunhyeon Kim、SeokeonChoi和Changick Kim。多样化和匹配：一种用于目标检测的领域自适应表示学习范例。在计算机视觉和模式识别（CVPR），第12456-12465页[22] Alexander Kirillov ，