虚拟染色引导的黑素细胞检测-解决皮肤活检标本中黑素细胞视觉相似性问题的新方法

1918VSGD-Net：虚拟染色引导的组织学图像黑素细胞检测刘文勋1*李北斌1，6吴文俊1凯特琳5月2日奥利弗·张1，3斯蒂文·克内泽维奇4丽莎·赖施1乔安·埃尔莫尔5 琳达·夏皮罗11华盛顿大学2皮肤病理学西北3弗吉尼亚州普吉特湾5加州大学洛杉矶分校6微软研究院摘要在诊断皮肤活检标本上的黑色素瘤及其前驱病变时，黑色素细胞的检测是评估黑色素细胞生长模式的关键先决条件。然而，由于常规苏木精和伊红（HE）染色图像中黑素细胞与其他细胞的视觉相似性，这种检测是具有挑战性的，导致当前细胞核检测方法的失败。Sox10等染色剂可以标记黑素细胞，但它们需要这需要额外的步骤和费用，因此在临床实践中不经常使用。为了解决这些限制，我们引入了VSGD-Net，这是一种新型的检测网络，通过从HE到Sox 10的虚拟染色来学习黑素细胞识别。该方法只需要rou-在推理过程中对HE图像进行排序，从而为支持病理学家诊断黑色素瘤提供了一种有前途的方法。据我们所知，这是第一项研究，探讨了检测问题，使用图像合成功能之间的两个不同的病理染色。大量的实验结果表明，我们提出的模型优于国家的最先进的黑素细胞检测核检测方法。源代码和预训练模型可在以下位置获得：https：//github. com/kechunl/VSGD-Net1. 介绍在生物医学图像分析中，显微图像中某些类型细胞的自动检测对于广泛的生物研究和临床实践具有重要意义。准确识别特定的细胞类型有助于解释活检和诊断不同疾病的状态。例如，黑色素瘤（美国最严重的皮肤癌类型）的诊断需要评估肿瘤的分布，* 网址kechun@cs.washington.edu病理学家对皮肤活检组织的苏木精和伊红（HE）染色的载玻片进行显微镜检查。然而，鉴于与其他细胞的视觉相似性，在常规HE作为对此的解决方案，病理学家可能依赖于获得特殊的额外免疫组织化学（IHC）染色，例如，Sox 10-黑素细胞核中表达的转录因子-作为高光黑素细胞的特异性免疫标记物（图11）第2c段）。 尽管有这种益处，但由于其成本高，特别是在一些低资源地区，Sox 10免疫染色在临床实践中并不是常规获得的。因此，建立计算机辅助黑素细胞检测方法将支持黑色素瘤诊断工作量并提高诊断准确性。在过去的十年中，受益于深度学习技术的发展，研究人员利用具有各种模型设计的深度卷积神经网络（CNN）来解决许多计算机视觉任务，包括语义分割和实例检测。作为实例检测的一部分，主要的工作线利用深度卷积神经网络（CNN）[8，12]，U-Net[3]，R-CNN[43]，形状引导CNN[37]和高分辨率网络[5] 在H E图像上定位一般细胞核 类似的CNN结构也可以在特定类型的细胞/细胞核检测研究中找到，例如有丝分裂细胞核检测[31，42]和肿瘤细胞核分级[5，27，8，34]。然而，与一般的核/细胞检测不同，由于常规HE染色载玻片上的类别间视觉相似性，特定类别细胞的检测尽管IHC染色可以突出某些类型的细胞，但由于难以接近的问题，其在普遍性方面与HE染色仅从HE染色的载玻片学习，上述基于CNN的检测方法不能结合信息1例如，原位黑色素瘤表现为单个和巢状黑色素细胞在表皮基部汇合生长和/或延伸到表皮的中上部1919与其它模式/染色不同，并且以这种方式不能区分各种类型的细胞。最近，生成对抗网络（GAN）已被用于数据增强和样式传输。 在生物医学研究领域，GAN也越来越受到人们的关注，用于虚拟染色和逼真的医学图像合成，以帮助临床实践。例如，研究者利用无监督CycleGAN [55]架构和有监督条件GAN [13]将一种模态合成为另一种模态，例如。MR到CT [49，11]，&HE到IHC [48，29]。然而，在合成令人信服的医学图像和提高下游任务的性能之间仍然存在差距。换句话说，由于缺乏来自另一个网络的直接反馈，无法为特定的下游任务训练生成器。为了弥补这个问题，一些研究[6，52]在生成器之后级联分段网络，并以端到端的方式训练网络。但是这些方法不能从图像合成过程中探索中间特征，这对于下游任务是非常重要的。为了帮助病理学家出于这种需求，我们提出了VSGD-Net，一种新的虚拟染色引导检测架构，它同时为检测和虚拟染色任务提供了解决方案。VSGD-Net通过合并两种图像模态之间的隐藏相关性，同时提高检测和图像合成性能。在图4中，我们展示了我们提出的模型，它将条件GAN扩展到实例检测管道。生成器、判别器和检测网络被联合训练，使得图像合成任务和检测任务可以彼此受益。我们验证了我们的方法与精心策划的黑素细胞数据集，其中包含活检图像在HE和Sox10染色。此外，我们还通过大量的实验验证了中间特征的重要性。我们在这项工作中的贡献可以总结如下：1. 我们提出了VSGD-Net的实例检测任务。据我们所知，这项工作是第一次调查的检测问题，使用图像合成- sis功能之间的两个染色。从信息系统的角度来看，增加的模态增加了信息熵，并通过对抗训练促进了特征学习。2. 我们将我们的模型与黑素细胞检测数据集中以前的细胞核检测和基于GAN的方法进行了比较。大量的实验表明，我们的模型达到了最先进的性能。3. 在推理时间内，所提出的VSGD网络只需要一个负担得起的常规H E染色作为输入来识别。化黑素细胞实例。作为第一个基于深度学习的黑素细胞检测方法之一，所提出的模型将提供可靠的黑素细胞结果，以减轻病理学家的负担，并有助于未来的黑色素瘤诊断。2. 相关工作2.1. 细胞核检测近年来，基于深度学习的细胞核检测方法得到了广泛的研究。作为全卷积网络（FCN）[22]的变体，U-Net[36]对医学图像研究界产生了许多研究人员将U-Net结构[36]扩展为更有效的变体，以识别组织病理学图像中 的细胞 核，例 如R2 U-Net [1]、U-Net++[54]、Micro-Net [35]和Triple U-Net [51]。为了结合核轮廓感知模块，Zhouet al.提出了CIA-Net[53]，其中包含两个任 务 特 定 的 解 码 器 来 学 习 核 或 轮 廓 。 类 似 地 ，Schmidtet al.提出StarDist[37]通过星凸多边形定位核。在检测 特定细胞的 细胞核的任 务中，Grahamet al.Hover-Net[8]通过利用三个下游分支，即分割、分类和一个新的Hover分支，提出了Hover-Net[8]，该分支使用水平和垂直距离图来分割附着的核。为了更好地生成距离图，Gao等人.提出了两阶段W-Net[5]，其利用了W-Net结构[47]和高分辨率特征提取器，并实现了新的最先进性能。另一种方法，例如，Mask RCNN [9]在核实例分割中也取得了有希望的结果[21，43，44]。特征金字塔网络（FPN）主干允许模型在多个尺度上提取特征，并馈送到区域建议网络（RPN）中，为分割和分类等下游任务生成不同大小的合理候选实例我们提出的模型VSGD-Net还利用了FPN和RPN模块，以更好地利用核检测的中间特征。2.2. Image-to-Image Translation首 先 由 Goodfellow 等 人 提 出 ， 生 成 式 广 告 网 络（GAN）[7]引入了对抗损失来优化最小-最大零和游戏中的生成器和代理。为了在生成的数据上加入额外的约束，Mirzaet al.提出了条件GAN（cGAN）[30]，它将条件馈送到生成器和递归函数以指导生成过程。cGAN的成功变体包括LSGAN [26]，ACGAN [32]，BigGAN [2]和Pix2Pix [13]。在这些突出的变体中，Pix2Pix [13]首先将cGAN带到配对的图像到图像翻译任务中，1920图1.预处理步骤：首先，我们使用Histokat软件3 [23]使用模板HE图像（a）将原始Sox 10图像（b）配准到对齐的Sox 10图像（c&）中。然后，我们应用随机森林分类器将像素分类为黑素细胞或非黑素细胞。最后，预先训练的NuSeT[50]分离接触的核并细化掩模。它的扩展Pix2PixHD[45]使高分辨率图像生成成为可能 。 为 了 减 少 对 配 对 数 据 的 需 求 ， Zhuet al. 提 出CycleGAN[55]通过耦合两个GAN来学习两个图像域X和Y之间的双向映射。循环GAN背后的想法是，理想情况下，如果我们将图像从一个域转换到另一个域，然后再转换回来，重建图像应该与输入图像相同。CycleGAN结构还广泛应用于染色标准化、模态转换和组织病理学图像的虚拟染色。例如，Shabanet al.基于CycleGAN 结 构 开 发 了 用 于 活 检 染 色 标 准 化 的CycleGAN[39]。Mahmood等人利用CycleGAN学习组织病理学图像和细胞核掩模之间的映射，以改善细胞核分割[25]。Xu等开发了cCGAN[48]，其将CycleGAN与光真实性和结构相似性损失结合，以学习从HE到IHC的虚拟染色。然而，CycleGAN的循环一致性损失只是迫使重建图像与原始图像相似，缺乏两个图像域之间的约束，这削弱了其在虚拟染色中的可靠性为了解决这个问题，Liuet al.向CycleGAN添加了病理一致性约束，并要求生成的图像和源图像在HE&和IHC染色中具有相同的病理特性[20]。为了从GAN中受益，一些研究利用合成大小的数据来增强下游任务的性能，例如检测和分割。基于R-CNN的检测器级联在发生器之后，以学习核分割[18，6]和疾病定位[52，19]。然而，这些模型未能利用信息隐藏的功能在生成过程中，来自下游任务的反馈可能只会在图像合成过程中产生微小的改进。为此，我们提出了VSGD- Net，它可以通过共享的中间特征联合优化图像合成和感兴趣的细胞类型检测。综合实验验证了综合和检测任务的改进。3. 方法在本节中，我们将解释数据预处理（图1）。1）VSGD网络的设计和训练过程;下面的部分将检查各种方法并烧蚀VSGD-Net的组件以显示其性能和设计决策。3.1. 数据集本研究中使用的皮肤活检数据集由15例石蜡包埋组织块的皮肤组织组成，这些组织块是从来自私人皮肤病 理 学 实 验 室 的 历 史 病 例 中 随 机 选 择 的 ， 每 个MPATH-Dx诊断类别包括3例病例[4，33]4。将来自每个皮肤活检病例的组织切成多个（4-6）薄片用于显微镜检查，在20倍放大下产生75个切片。我们首先用HE对每个WSI染色（参见图1B）。2a）。然后，我们仔细地对精确的组织切片进行脱色，并在Sox 10中重新染色。Sox 10染色以红色突出显示黑素细胞的细胞核，3https://histoapp.mevis.fraunhofer.de/4类1-5：良性轻度非典型痣、中度发育不良痣、原位黑色素瘤、侵袭性黑色素瘤T1 a和侵袭性黑色素瘤T1 b。1921(a) HE染色（b）Sox 10染色图2. 样品HE染色图像和Sox 10染色图像。Sox10染色以红色突出显示黑素细胞的细胞核，而其他细胞的细胞核以蓝色显示。其他细胞显示为蓝色，这提供了黑素细胞和非黑素细胞的基本事实标签（参见图1）。第2b段）。为了生成用于黑素细胞检测的真实标签，我们引入了伪自动过程。我们在Sox 10中的100个手动标记的黑素细胞上训练随机森林分类器以生成粗糙的黑素细胞掩模。然后，我们应用预训练的细胞核检测模型NuSeT[50]来分离接触的细胞核并细化掩模。我们发现，这个过程产生了准确的黑素细胞掩模，它可以作为本研究中的地面真实标签（见图1）。（3）第三章。H ESOX10图3.细胞核基础事实：顶行显示了具有用绿色边界标记的黑素细胞的HE底行显示了它们相应的Sox10染色图像。为了将图像放入内存并保持足够的信息，我们将配准的成对图像裁剪为256x256块，放大10倍。背景补丁被排除在外，总共留下25，314个补丁可供使用。我们为测试集保留了来自5名患者的9652个配对图像块训练集和测试集都包含完整的MPATH-Dx诊断类别，以进行公平的评估。3.2. 模型架构图4说明了VSGD-Net架构。我们基于自适应UNet[36]结构构建生成器G，其中ResNet-50[10]是编码器。编码器学习输入HE图像在多个尺度上的高维特征表示，并且解码器将它们翻译成目标Sox10染色图像。给定编码器中的25x下采样，解码器包括5个去卷积层。为了在不扩展模型架构的情况下更好地关注黑素细胞，我们在编码器和解码器之间的跳过连接中加入了注意力块利用CBAM[46]的设计，CBAM [46]包含3层MLP通道注意力块和卷积空间注意力块，以学习不同维度的注意力（五）。当生成器G学习虚拟染色过程时，CXD尝试区分真实和合成的Sox 10图像。受Pix2PixHD [45]的启发，我们采用了一种多尺度架构，其中有2个相同的CNN网络作为鉴别器：两个鉴别器分别工作在粗级和细级，其中粗级鉴别器的输入从细级鉴别器的输入以因子2下采样。类似于PatchGAN[13]，每个渲染器评估图像中每个固定大小的补丁的真实感，而不是直接评估整个图像的真实感。通过在[7]中引入的min-imax损失，这种多尺度设计引导G合成具有全局一致图案以及更精细细节的图像。在柔软的材料中解释了Atten- tion Block和The Bounce与Mask R-CNN[9]类似，我们的检测分支由特征金字塔网络（FPN），区域建议网络（RPN）和下游头组成。学习生成Sox 10图像，解码器层比编码器层与Sox 10图像具有更高的相关性; Sox 10染色能使黑素细胞以红色显色突出，符合检测目的。鉴于此，我们将检测分支放置在1922NΣΣ。−Σ发生器1282x64检测分支一642x256一FPN322x512一162 x1024一检测头RPN82x2048一ResNet块粗水平罚款水平反卷积层鉴别器真的吗真的吗合成的？合成的？Concatenate鉴别器注意力障碍图4. 我们的VSGD-Net框架：HE图像实际上被Sox 10染色。联合训练的检测分支利用生成器中的中间特征来检测黑素细胞，并向生成器提供反馈以提高合成质量。推理阶段只使用架构的上部。用G的解码器代替编码器，在消融研究中证明是有效的。除了极小极大损失，我们增加了一个特征相似性损失Lfeat，以提高生成的图像和真实图像之间的相似 性 Lfeat 的 计 算 涉 及 D 中 的 多 个 层 和 预 训 练 的VGG19模型，并且由以下等式给出：L= Σ||D（X）− D（G（X ））||+的壮举Isi=1Mih1图5.注意事项：连续计算通道注意力和空间注意力以细化特征。3.3. 训练过程在我们的端到端模型中，从共享的中间特征预测虚拟染色图像为了结合来自图像合成和实例检测两者的反馈，我们联合训练G、D和检测分支，以从||1||1j=1其中N和M表示要提取特征的层。特征相似性损失的详细信息在补充材料中提供。3.3.2检测损失检测损失LDET被分成Lrpn，Lbox，GAN损耗LGAN 检测损耗LDET.CL框r和L分段。Lrpn是RPN中的候选分类和粗略边界框回归3.3.1GAN损失生成器G和多尺度分解器D根据最小最大损失进行优化[7]：min max log（Di（Xs））+log（1Di（G（Xh）G Di=1， 2其中D1和D2是粗和细级别鉴别器，Xs和Xh是Sox 10和H E图像。通过在RPN中的粗边界框回归上的candidate分类的二进制交叉熵和L1损失它强制RPN学习锚框的位置以及锚框是否包含对象。Lboxc、Lboxr和Lseg是实例分类、最终边界框回归和下游头部中的分割的损失，其由实例分类的二进制交叉熵、掩码预测的二进制交叉熵和L1损失阿夫普尔[平均池，最大池]Maxpool频道关注空间注意关注块1923GD边界框坐标。总损失定义为：LDET=Lrpn+Lboxc+Lboxr+Lseg3.3.3总体损失和培训在我们的VSGD-Net中，共享的中间特征被学习来表征黑色素细胞的特征，同时提高Sox 10图像合成为了促进这种多任务学习，我们将LGAN与LDET结合起来，并将它们反向传播到G内部的编码器。最终的总损失定义如下，min. 最大值log（Di（X s））+log（1 − Di（G（X h）i=1， 24.2.主要结果在临床实践中，病理学家根据黑色素细胞的分布来诊断和分级黑色素瘤，因此具有高精度和召回率是重要的。由于精确度高但召回率低，恶性黑色素细胞可能会被遗漏，导致黑色素瘤的诊断不足另一方面，一个病例可能被过度诊断，召回率高，但准确率低。因此，F1评分和Jaccard指数是最重要的指标。更详细的分析，例如精确度-召回率曲线和P@R指标，载于附录中以供参考。表1.与核检测方法的比较方法P RF1Jaccard+λLfeat+LDET4. 实验和结果4.1. 实验设计和基线方法（一）为了全面评估我们提出的VSGD-Net的性能，我们将VSGD-Net与两种方法进行了比较。 第一组是专门在nu-CLEI 检 测 ， 包 括 径 向 线 扫 描 （ RLS ） [24]，MaskR-CNN[9]，U-Net[36] ，StarDist[37]，HoverNet[8]，新的最先进的CHR-Net[5]和我们设计的RLS是专门为研究黑素细胞检测而提出的。它利用了基于“晕圈区域”假设的基于特征的方法此外，为了研究细胞核周围的局部纹理，我们设计了第二组方法由基于GAN的方法组成，包括GAN[39]，PC-GAN [20]和类似于[6]的自实现的基于GAN的分割模型。 分割模型的G和D与VSGD-Net相同，直接将合成图像馈送到分割网络并进行端到端训练。对于其他不包含任何下游模块的GAN模型，我们以两阶段的方式测试了它们的性能，在我们的地面实况生成步骤中使用随机森林和NuSeT模型（第3.1节）。在我们的实验中，Mask R-CNN中的ResNet-50骨干和CHR-Net中的ResNet-34骨干使用ImageNet进行了预训练，以进行公平的比较。我们根据经验在等式中设置λ=101. 我们在 实验中报告 了测试集上 的精确度（P）、召回率（R）、F1分数和Jaccard指数。更多的培训细节在灵活的材料中解释。方法PRF1Jaccard[39]第三十九话0.4760.2990.3670.225[20]第二十话0.5910.3430.4340.277基于GAN的分割0.5690.7190.6360.466我们0.6600.7100.6840.520如 表 1 所 示 ， VSGD-Net 实 现 了 最 佳 的 F1 分 数 和Jaccard指数。RLS，虽然它启发性地利用黑素细胞的“晕圈区域”特性，但在超参数调整中需要巨大的工作量，并且以这种方式缺乏可推广性。“Nuclei Classifica-tion”和Mask R-CNN都鉴于黑素细胞和其他细胞之间的形状相似性，StarDist和HoverNet未能利用核的形状表示和距离图。得益于跳过连接，U-Net达到了一个不错的结果。此外，CHR-Net利用双U-Net结构和高分辨率特征提取器，比U-Net提高了1%，这与之前的发现一致[5]。然而，在没有从Sox 10染色中学习的情况下，U-Net和CHR-Net仍然表现不佳。图6显示了VSGD-Net、CHR-Net和基于GAN的分割的定性比较。预-我们0.6600.7100.6840.520表2.与基于GAN的方法进行比较。[24]第二十四话0.4430.5700.4990.332细胞核分类0.6930.5060.5850.413Mask R-CNN[9]U-Net[36][5]第五届全国政协副主席0.605 0.4340.630 0.639 0.6352016年12月31日0.729 0.499 0.5920.607 0.688 0.6451924VSGD-Net中的语句与地面实况具有高度一致性，而CHR-Net过度预测图像左下方的黑色素细胞，并且基于GAN的分割过度预测图像顶部的黑色素细胞。在柔软的材料中提供了更多的定性可视化。VSGD-NetCHR-Net基于GAN的分段图6. 绿色和红色边界框表示地面实况和预测实例。(Zoom以获得最佳视野）表2和图7展示了基于GAN的方法的性能。[39]第三十九话[20] 基于无监督CycleGAN设计[55]。在没有任何额外监督的情况下，CNORGAN无法了解两种染色之间的分布差距。尽管PC-GAN向Cycle-GAN增加了病理学约束，但它仍然缺乏对HE和Sox 10之间转换的监督。另一方面，基于GAN的分割方法对合成图像具有监督作用，但由于其体系结构，其检测性能受到图像合成质量的限制4.3. 图像合成评价虽然图像合成在我们的VSGD- Net框架中只是辅助性的，但我们仍然评估其质量，以表明共享的中间特征改善了虚拟染色。为了衡量虚拟染色的可靠性，我们 计 算 平 均 峰 值 信 噪 比 （ PSNR ） 和 结 构 相 似 性（SSIM）。PSNR和SSIM的数值越大，如表3所示，我们的VSGD-Net实现了最高的PSNR和与PC-PSGGAN相当的SSIM。通过评估合成图像的均方误差，更高的PSNR表示关于虚拟染色任务的更可靠的结果。表3.综合图像质量评价。方法峰值信噪比（dB）SSIM[39]第三十九话19.0100.577[20]第二十话19.3440.618基于GAN的分割19.5830.569我们19.8150.611H E Eughan PC-Eughan基于GAN的SegVSGD-NetSox 10图7. 合成Sox10图像。4.4. 消融研究在表4中，我们消除了VSGD-Net中的每个关键组件，即图像合成特征、检测分支的位置和注意力模块的存在。为了验证图像合成功能的有效性，我们将VSGD-Net的生成器替换为Pix 2 PixHD [45]中的生成器，后者具有更少的卷积层，没有跳过连接，也没有注意力模块。如表4的第1行所示，尽管Pix2PixHD生成器存在弱点，但它仍然实现了相当的结果，并优于其他基线，其关键组成部分是通过图像合成功能提高检测能力。我们假设解码器中的表4第5行中的显著性能增益验证了这些假设表4. 消融结果。Atten的发生器F1杰卡德Pix2pixHD解码器-0.6540.486我们编码器✗0.6410.472我们解码器✗0.6740.508我们编码器✓0.6600.492我们解码器✓0.6840.5204.5. 讨论VSGD-Net成功地使用来自H E和Sox 10染色之间的图像合成的特征来考虑到大量的黑素细胞（例如，总数范围从3，780到830，750/WSI），手动标记黑素细胞用于训练是不可行的。虽然伪基础事实标记并不完美，但考虑到Sox10染色在皮肤活检中的工作方式，它足以提供高度准确的注释。一个限制是，我们使用一个简单的U-Net和ResNet-50骨干作为我们的生成器。随着最近研究GANs在组织病理学上的工作1925图像[17，40]，我们相信可以通过最先进的GAN模型进一步改进合成特征。另一个考虑因素是我们只在黑素细胞数据集上评估VSGD-Net。尽管研究人员已经公布了一些用于图像合成研究的多模态医学成像数据集，例如CT-MRI[14]， PET-MRI[15]和HE-三色染色[16]，但这些数据集没有对病变或感兴趣的细胞类型进行任何注释在未来，研究人员可以添加病理学家5. 结论在这项研究中，我们引入了一种新的虚拟染色引导检测网络，VSGD-Net，并研究了感兴趣的细胞类型检测与皮肤活检标本上两种不同染色之间的图像合成功能的增强在推理过程中，该模型仅用常规的H-E染色就能产生有希望的结果。大量的实验验证了我们的方法的有效性相应的数据集上的黑色素细胞在HE和Sox10染色的图像。我们预计，所提出的方法可以适应不同的组织类型和疾病的广泛类别。鸣谢：本研究报告的研究得到了美国国立卫生研究院国家癌症研究所的R 01 CA 151306、R 01 CA 200690和U 01 CA 231782基金、黑色素瘤研究联盟的622600基金 以 及 美 国 国 防 部 的 W81 XWH-20-1-0797 和 W81XWH-20-1-0798基金的支持。资助方在研究的设计和实施中没有任何作用;收集;管理;分析;和解释数据，准备，审查，或批准的手稿，也没有决定提交手稿出版。引用[5] Zeyu Gao ， Jiangbo Shi ， Xianli Zhang ， Yang Li ，Haichuan Zhang ， Jiarun Wu ， Chunbao Wang ， DeyuMeng，and Chen Li. 肾透明细胞癌的细胞核分级 用复合高分辨率网络进行历史学图像处理。在Marleen deBruijne ， PhilippeC.Cattin ， Ste'phaneCotin ，NicolasPadoy，Stef anieSpeidel，YefengZheng和CarolineEssert，编辑，医学图像计算和计算机辅助干预施普林格国际出版社.[6] 龚宣，陈淑燕，张宝昌，杜大卫.用于细胞核实例分割的风格一致图像生成。在2021年IEEE计算机视觉应用冬季会议（WACV）上，第3993-4002页，美国夏威夷怀科洛阿，2019年1月1日。2021. 美国电气与电子工程师协会。[7] Ian J. Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu 、 David Warde-Farley 、 Sherjil Ozair 、 AaronCourville和Yoshua Bengio。生成对抗网络。神经信息处理系统的进展，神经信息处理系统的进展，2014年6月。1406.2661。[8] Simon Graham、Quoc Dang Vu、Shan E Ahmed Raza、Ayesha Azam、Yee Wah Tsang、Jin Tae Kwak和NasirRajpoot。Hover-net：多组织组织学图像中细胞核的同步分割和分类。医学图像分析，58：101563，2019。[9] 何开明、吉欧吉亚·吉欧萨里、彼得·多尔和罗斯·吉尔希克.面罩R-CNN。arXiv：1703.06870 [cs]，2017年3月。arXiv：1703.06870。[10] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。2016年IEEE计算机视觉和模式识别会议（CVPR），美国内华达州拉斯维加斯，2016年6月美国电气与电子工程师协会。[11] Yuta Hiasa ， Yoshito Otake ， Masaki Takao ， TakumiMat-suoka，Kazuma Takashima，Aaron Carass，Jerry LPrince ， Nobuhiko Sugano ， and Yoshinobu Sato. 使 用cyclegan从未配对数据进行跨模态在医学成像上，第31-41页。Springer，2018.[1]Md Zahangir Alom，Mahmudul Hasan，Chris Yakopcic，[12]HenningHofener，Andre'宅男， 尼克·韦斯，杰斯珀塔雷克湾Taha和Vijayan K. Asari基于U-Net的递归残差卷 积 神 经 网 络 （ R2 U-Net ） 用 于 医 学 图 像 分 割 。arXiv ： 1802.06955 [cs] ， 2018 年 5 月 。 arXiv ：1802.06955。[2] 安德鲁·布洛克杰夫·多纳休凯伦·西蒙尼安用于高保真自然图像合成的大规模gan训练。arXiv预印本arXiv：1809.11096，2018。[3] Kemeng Chen，Ning Zhang，Linda Powers，and JanetRoveda.使用深度学习进行计算病理学的细胞核检测和分割。在2019年春季模拟会议（SpringSim），第1-6页，4月。2019年。[4] Joann G Elmore，Raymond L Barnhill，David E Elder，Gary M Longton ， Margaret S Pepe ， Lisa M Reisch ，Patri- cia A Carney ，Linda J Titus ，Heidi D Nelson，Tracy Onega，et al.病理学家对侵袭性黑色素瘤和黑色素细胞增殖的诊断：观测精度和重现性研究。BMJ，357，2017。Molin，ClaesF. Lundst rom和HorstK. 哈恩 深度学习核检测：一种简单的方法可以提供最先进的结果。计算机化医学成像和图形学，70：43-52，12月。2018年。[13] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别会议论文集，第1125-1134页[14] Cheng-Bin Jin ， Hakil Kim ， Mingjie Liu ， WonmoJung，Seongsu Joo，Eunsik Park，Young Saem Ahn，InHo Han，Jae Il Lee，and Xuenan Cui.使用配对和非配对数据的深度ct到mr合成。传感器，19（10）：2361，2019。[15] Florian Knoll ， Martin Holler ， Thomas Koesters ，Ricardo Otazo ， KristianBredies ， andDanielKSodickson.使用多通道图像正则化器的磁共振-正电子发射 断 层 联 合 重 建 。 IEEE transactions on medicalimaging，36（1）：11926[16] Joshua J Levy ， Nasim Azizgolshani ， Michael JAndersen ， Arief Suriawinata ， Xiaoying Liu ， MikhailLisovsky ， Bing Ren ， Carly A Bobak ， Brock CChristensen，and Louis J Vaickus.非酒精性脂肪性肝炎肝活检的非监督虚拟三色染色技术的大规模内部验证研究。现代病理学，34（4）：808[17] Hanwen Liang，Konstantinos N Plataniotis，and XingyuLi.基于结构保持生成学习的组织病理学图像染色风格转换。在国际医学图像重建机器学习研讨会上，第153Springer，2020年。[18] Dongnan Liu ， Donghao Zhang ， Yang Song ， FanZhang，Lau- ren通过全景域自适应和任务重新加权的显微镜图像中的无监督实例分割。在IEEE/CVF计算机视觉和模式识别会议论文集，第4243-4252页[19] 刘兰兰，迈克尔·穆利，邓佳，托马斯·菲斯特，李-李佳.小数据对象检测的生成式建模。在IEEE/CVF计算机视觉国际会议论文集，第6073-6081页[20] 刘淑婷，张宝昌，刘一清，韩安佳，石慧娟，田冠，何永红.使用病理学一致的约束生成对抗网络的不成对染色转移。IEEE医学成像学报，40（8）：1977[21] 刘一鸣、张鹏程、宋青车、李安迪、张鹏和桂志国。基于深度学习和条件随机场的颈核IEEE Access ，6：53709[22] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议的论文集，第3431-3440页[23] Johannes Lotz，Nick Weiss，Jeroen van der Laak，andStefanHeldmann.组织学中连续切片和重染切片的高分辨率图像配准。arXiv：2106.13150 [cs，eess]，2021年6月arXiv：2106.13150。[24] Cheng Lu ， Muhammad Mahmood ， Naresh Jha ， andMrinal Mandal.放射线扫描检测皮肤组织病理图像中黑素细胞。Pattern Recognition，46（2）：509-518，Feb.2013年。[25] Faisal Mahmood ， Daniel Borders ， Richard J Chen ，Gregory N McKay ， Kevan J Salimian ， AlexanderBaras，and Nicholas J Durr.组织病理学图像中多器官细胞核分割的深度对抗训练。IEEE医学成像事务，39（11）：3257[26] Xudong Mao ， Qing Li ， Haoran Xie ， Raymond YKLau，Zhen Wang，and Stephen Paul Smolley.最小二乘生成对抗网络。在IEEE国际计算机视觉会议论文集，第2794-2802页[27] 我 也 要 去见 奥 瑞 亚 · 马 蒂 亚 斯 ，艾 伦 · 塞 伦 蒂 尼LuizAnto-nioBuschettoMacarini，JoaGustavoAtkinsonAmorim，FelipePerozzoDaltoe'，andAldovonWangenheim. 口腔粘膜上皮细胞核的分离、检测和分类用巴氏染色的细胞学样品。SN Computer Science，2（4）：1[28] Sachin Mehta，Mohammad Rastegari，Linda Shapiro，and Hannaneh Hajishirzi. ESPNetv2：一个轻量级、高能效、通用卷积神经网络。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR），第9182-9192页美国电气与电子工程师协会。[29] 放大图片创作者：J.放大图片作者：M. V. Gerven和F.Ciompi。用于乳腺组织学中有丝分裂检测的虚拟染色。2020年IEEE第17届生物医学成像国际研讨会（ISBI），2020年。[30] Mehdi Mirza和Simon Osindero条件生成对抗网。arXiv预印本arXiv：1411.1784，2014。[31] Shima Nofallah ，Sachin Mehta ，Ezgi Mercan ， StevanKneze- vich，Caitlin J May，Donald Weaver，DanielaWitten，Joann G Elmore，and Linda Shapiro.有丝分裂分类的 机器 学习 技术计算 机医 学成 像和 图形 ，87 ：101832，2021。[32] Augustus Odena，Christopher Olah，and Jonathon Shlens.辅助分类器gans的条件图像合成国际机器学习会议，第2642- 2651页PMLR，2017年。[33] Michael W Piepkorn ， Raymond L Barnhill ， David EElder，Stevan R Knezevich，Patricia A Carney，Lisa MReisch，and Joann G Elmore.黑素细胞增殖和黑色素瘤的mpath-dx报告模式。Journal of the American Academyof Dermatology，70（1），2014。[34] Hui Qu，Gregory Riedlinger，Pengxiang Wu，QiaoyingHuang，Jingru Yi，Subhajyoti De，and Dimitris Metaxas.组织病理学图像中细胞核的联合分割和细粒度分类