基于人工神经网络的细胞核显微图像语义感知数据增强方法

39520具有人工神经网络的细胞核显微图像的语义感知数据增强0Alireza Naghizadeh罗格斯大学纽瓦克分校，新泽西州0ar.naghizadeh@rutgers.edu0Hongye Xu罗格斯大学纽瓦克分校，新泽西州0hx123@njms.rutgers.edu0Mohab Mohamed罗格斯大学纽瓦克分校，新泽西州0mm2233@scarletmail.rutgers.edu0Dimitris N. Metaxas罗格斯大学新布朗斯维克分校，新泽西州0dnm@cs.rutgers.edu0Dongfang Liu罗格斯大学纽瓦克分校，新泽西州0dongfang.liu@rutgers.edu0摘要0存在许多用于生物医学和自然图像的目标检测和语义分割的强大架构。然而，创建大型且多样化的训练数据集的能力存在困难。这个问题的重要性在于人工神经网络需要大量的训练数据来准确识别和分割图像中的对象，而在生物医学领域内获取足够的数据集是不可行的。本文介绍了一种新的数据增强方法，该方法生成人工细胞核显微图像以及它们的正确语义分割标签。数据增强为人工神经网络的更高泛化能力提供了一步。使用贪婪自动增强算法和初始的分割对象，找到了性能最佳的增强策略。然后，使用找到的策略和初始的分割对象创建最终的人工图像。与现有的数据增强方法相比，该方法在生成细胞核显微图像方面始终表现出色。01. 引言0成像、提取和研究细胞的能力对医学领域的各个研究领域至关重要。高分辨率荧光显微镜技术的进步使医学专业人员能够更详细地可视化细胞及其相互作用[17]。一个典型的例子是在免疫疗法中，这里存在着巨大的重要性。0评估不同治疗方法对于癌症等致命疾病或更现代的HIV/AIDS的疗效至关重要。细胞图像的自动分析使医学研究人员能够避免耗时的定量分析，大大提高了定量可重复的大规模数据的速度。强大的人工神经网络在语义分割和目标检测方面的发展应该自然地伴随自动化过程。0然而，训练人工神经网络（ANNs）模型所需的大型数据集[21]由于获取真实图像的过程自然而然地变得冗长，从而大大减慢了研究人员的速度。从显微镜图像中创建训练数据需要专业知识和精确度来分离细胞核。如果有一种可靠地自动化生成细胞核的真实图像的方法，就可以防止常见的人为错误。该领域对专家的需求可以大大减少。它节省时间，节省资源，并且最重要的是，通过生成大量的训练数据，可以帮助相关生物领域的ANNs学习，这是目前的技术所无法实现的。我们正在寻找的解决方案是创建一种方法，不仅可以生成人工增强图像，而且还可以在图像中识别对象的语义。0不幸的是，目前的机器学习方法中处理人工增强训练数据的方法，如不同形式的生成对抗网络（GANs）[9]，不处理为对象生成语义感知标签。它们还存在其他问题，使它们不适合在医学领域生成训练数据。为了正确训练GAN网络，我们通常需要大量的训练数据，而这并不总是在Original DataSegmentedObjectsAutoencoderSegmentedObjects39530显微核成像。有几种尝试解决这个问题，例如[11, 26, 38,37,41]。DeLi-Gan将潜在生成空间参数化，并学习GAN的模型参数[11]。Noguchi和Wang将迁移学习原理应用于预训练的生成器，以弥补数据集较小的不足[26]。另一种方法是直接在训练数据上应用常用的增强技术，如裁剪、翻转、缩放、颜色抖动和区域遮罩[13, 12, 8,15]，以增加其多样性。当前数据增强模型在核细胞图像上可能存在的一个更重要的问题源于这种类型数据的特性。鉴于医学成像涉及高度敏感、不受控制、噪声和不可靠的数据，人工图像可能导致灾难性的结果。例如，在自然图像中，创建看起来真实的未知对象总是令人兴奋的。然而，对于正在治疗癌症患者的免疫治疗师来说，使用这样的训练集可能导致对癌症患者的免疫反应评估不正确。为了解决这些问题，我们提出了针对细胞核显微成像的语义感知数据增强方法。我们的主要目标是生成提供生物医学领域完整语义分割信息的人工图像。为了生成人工图像，我们使用标准的增强技术，这些技术提供了对细胞对象的必要控制，以生成具有精确语义信息的准确细胞。这种方法是可能的，因为细胞核显微图像具有独特的形式。与具有数十个复杂相互连接的对象的现实世界图像不同，细胞核图像具有更简单的形式，主要关注特定的细胞对象，并且具有大多数可识别的背景模式，将细胞彼此分开。为了生成图像，我们首先需要一个由该领域的专家分割的初始图像集。我们考虑来自可用对象的两种类型的细胞。第一种类型可以被识别为单细胞，很容易与其他细胞区分开来。第二种类型被称为多细胞，可能受到细胞边界低对比度、背景噪声（杂质）、粘附和细胞聚集的影响。我们证明，如果使用这两个类别来生成图像，我们可以创建出与自然数据不可区分的人工图像。具体而言，将常规增强技术应用于分割的单细胞和多细胞。为了保持原始细胞的完整性，只使用受控增强技术的子集。为了将增强应用于细胞，我们使用增强策略[6, 7,45]。为了找到最佳策略，Wasserstein自编码器[35]为Greedy AutoAugment[24,29]提供了评分系统，对子策略的不同组合进行排名[34, 39,27]。然后将表现最佳的子策略用作最终创建训练图像的策略。0通过随机选择图像中的细胞数量并为每个细胞应用策略，生成图像。对于可用的遮罩图像，使用相同的过程创建具有完整真实信息的人工图像。为了评估生成图像的质量，我们采用了[5]中类似的方法。我们使用Fr´echet InceptionDistance（FID）和Kernel InceptionDistance（KID）来评估图像的质量，其中KID对较小的数据集提供了更好的支持[3]。02. 提出的方法0让我们定义一个语义分割对象集合S = (x0, ...,xn)作为初始的单细胞和多细胞集合，具有一个包含不同增强策略的无限大搜索空间P。我们的目标是找到最佳的增强技术，以输出最自然的细胞核图像，并保持完整的分割信息。为了确保增强图像保持自然属性，训练一个自编码器[22,23, 30, 20]来估计一个恒等函数f(Si) ≈ Si，其中i ∈ [0,n]。自编码器对增强策略的质量进行高级评估，并为Greedy AutoAugment[24]创建评分准则。GreedyAutoAugment是一种高效的搜索算法，可以在任意大的样本空间中找到最佳的增强策略。在找到单细胞和多细胞对象的最佳策略后，将细胞按照伪随机的方式放置在一个精心定义的框架中。0图1：自动编码器找到细胞的分布。它被用作贪婪自动增强的评分标准。02.1. 自动编码器0自动编码器试图学习一个函数  f ( S i ) ，其中  S i是一组分割的细胞，将  S i  映射到自身。  S i包含来自单细胞和多细胞的所有分割对象。这样做是为了学习个体细胞的整体分布。这个过程如图1所示。从原始训练数据中获得的分割细胞被分离为采样对象（ S i）。使用自动编码器将  S i  映射到  S i ，以找到  S i的分布。在训练了特定数量的时期后，下一步是使用训练好的自动编码器创建一个目标函数，用于对不同的增强策略进行排序。k�1(tn × mn)(1)39540表1：自动编码器找到细胞的分布。它被用作贪婪自动增强算法的评分标准。0技术描述 技术描述01. 左右翻转 沿垂直轴翻转图像。 7. 对比度 改变图像的对比度。02. 上下翻转 沿水平轴翻转图像。 8. 亮度 调整图像的亮度。03. 自动对比度 增加图像的对比度。 9. 锐度 调整图像的锐度。04. 直方图均衡 均衡图像的直方图。 10. 平滑 图像平滑（低通滤波）。05. 旋转 以一定角度旋转图像。 11. 调整大小 改变图像的分辨率。06. 色调分离 减少每个像素的位数。0为了确定单个策略的质量，我们将策略应用于  S i的所有成员。当一个细胞经过增强并通过自动编码器映射到相同的细胞而不应用策略时，它的输出可以评估该策略的质量。通过这种机制，我们确保原始细胞可以改变但保持其完整性。这样做的目的是当进行增强时，策略不能将细胞改变为无法识别的状态。在搜索阶段，  f ( S i )的准确性作为贪婪搜索的评分标准，用于对每个探索的策略进行排序。02.2. 贪婪自动增强0策略用于对图像进行数据增强。每个策略都有三个基本元素，即增强技术、操作的幅度和概率。因此，寻找最佳增强技术的搜索机制是一个考虑这三个元素所有可能组合的搜索空间。本文使用的增强技术数量为十一种（见表1）。幅度是应用操作的程度。例如，在旋转增强中，幅度指定图像旋转的程度。最后，第三个元素指定将增强应用于图像的概率。在寻找最佳策略之前，我们必须首先离散化概率和幅度的空间。概率的离散化使用均匀空间内的十一个值，幅度的离散化使用均匀空间内的十个值。通过这个设置，搜索空间简单地是  (20  ×  10  ×  11)。该搜索空间被定义为考虑一个子策略中的所有元素的所有可能组合（第一层搜索）。如果我们扩展搜索空间以找到两个子策略的所有可能组合，搜索空间的大小将增加到 (20  × 10  ×  11) 2（两个搜索层）。持续地，我们可以无限地扩展搜索空间以获得更多层。一般来说，我们定义  (20  ×  10  ×  11) l，其中  l是搜索空间中的层数。为了减小搜索空间，贪婪自动增强将所有增强技术的概率值设为一。研究表明，这种设计不会影响最终结果[24]。此外，不考虑0在所有可能的组合中，只考虑最强子策略的最佳组合。换句话说，使用贪婪搜索算法，并且只在需要时扩展搜索层。因此，新的可能性数量定义如下，0在这个符号表示中，k是一个任意整数，表示算法在搜索中允许执行的迭代次数。t和m变量表示增强技术和幅度。分别 t n 和 m n是t和m的最大值。为了增强数据，根据评分标准从所有搜索到的策略中选择一些策略。使用选定的策略，可以根据需要扩展训练数据，生成新的增强数据。02.3. 图像创建0图2展示了创建最终增强图像的整个过程。我们处理了原始图像及其相应的掩膜，这些掩膜是由生物医学领域的专家进行语义标记的一组原始图像。然后，我们得到了两种类型的细胞集合，单细胞集合和多细胞集合。噪声集合是根据专家的指导手动收集的。添加噪声有助于避免在创建的数据集中过拟合。如前所述，多细胞是由相交边界框的多个细胞组成的分割对象。在许多情况下，边界不明确，在创建单细胞时使用这些模糊的边界可能会导致不自然的图像。虽然单细胞具有明确定义的边界，但是使用这些细胞来创建多细胞会导致生成的细胞缺乏原始数据中最初存在的自然属性。为了解决这个问题，我们区分了这两种不同的集合并对它们分别进行操作。当将多细胞放置在人工图像的框架内时，我们仅使用分离的多细胞图像集合。Image Generationmulti-cellmasksmulti-cellsArtifcial MasksArtifcial Imagessingle-cellmaskssingle-cellspoliciesOriginal Imagesnoisep1p2p3pn39550图2：描述用于图像创建的方法的流程。自然获取的图像由生物领域的专家进行分割。通过贪婪搜索算法找到并选择最佳策略，使用自动编码器对不同策略进行评分。然后，将增强的细胞（单细胞和多细胞）伪随机地放置在空白图像上，创建一个人工图像。相关的掩膜使用相同的过程为人工图像创建掩膜，并保持细胞的分割信息。0另一方面，如果我们想将单细胞放置在人工图像的框架内，我们仅使用单细胞图像集合。为了进一步简化创建逼真图像的过程，所有靠近原始图像边界的单细胞和多细胞对象都被忽略。下一步使用这些收集到的对象以及分布信息来创建最终的人工图像。噪声使用相同的过程应用于最终图像。在图2中，这通过人工图像和掩膜的示例来展示。在创建图像时，我们模拟训练数据中细胞数量（和噪声）的分布以及多细胞与单细胞的比例。例如，设 j表示表示我们原始数据中发现的细胞数量的分布的模式，然后从贪婪自动增强中选择 j 个策略，并应用于 j个原始细胞。然后，以受控的方式将这些新增强的细胞应用于空白图像上，避免重叠，同时保持多细胞和单细胞之间的比例。对细胞对象的相应掩膜应用相同的过程。因此，创建具有自然属性和完整分割信息的人工图像。这个过程一直进行，直到我们得到与原始数据中细胞数量相匹配的 r个图像。03. 实验0我们使用提出的方法，在四个重要的GAN模型上生成人工增强图像。DC-GAN专门设计用于生成大规模数据集的合成图像[31,32]。小数据集Big-GAN（BigGAN-SD）是最早的几个严肃尝试之一，旨在为小数据集引入GAN[4]。最近，有几篇论文使用数据增强来改进小数据集的GAN [2, 43,36]。在这些尝试中，我们选择了数据高效GAN，它更适用于较小的数据集。对于两种最先进的方法，数据高效GAN有两个变种，一个是StyleGAN2 [14]，另一个是BigGAN[4]。在本文中，我们称这两个变种为0变种BigGAN-Diff和StyleGAN2-Diff。虽然这些模型并不是为了保持其图像对象的语义分割信息而设计的，但它们仍然可以用来比较从我们的方法生成的图像的质量。0评估指标 我们使用两个已知的GAN网络评估指标。FréchetInception Distance(FID)计算两个多维高斯分布之间的Fréchet距离。该技术比较了生成图像的分布以及人工和原始图像之间的高斯分布的均值和方差。Kernel Inception Distance(KID)通过从每个分布中独立抽取样本来比较两个概率分布。这种方法改进了FID，并作为一种更可靠和无偏的估计器。0实验设置 我们的所有实验都在K80NVIDIA显卡上进行。对于我们方法的嵌入式深度神经网络，我们使用了Pytorch [28]。对于Greedy AutoAugment[24]，我们使用了[25, 44, 42,33]中的实现，对于AutoEncoder，我们使用了Wasserstein variation [35, 10,18]。在实验中，所有模型都与作者提供的基准代码进行比较。我们没有改变官方论文中建议的配置。为了减少计算量，在最大的20000个策略中搜索数据增强策略的搜索空间，其中使用了前1000个策略。所有的GAN模型在所有实验中都进行了150000个epochs的训练。我们主要使用了两个细胞核图像数据集，这些图像是从两个不同的生物领域获得的。CAR-T细胞数据集包含了156张分辨率为1024×1024的图像。这个数据集是由新泽西州罗格斯癌症研究所使用A1RHD25显微镜系统（日本尼康公司）收集的，该系统提供了一个25毫米的视野。第二个数据集是Kaggle2018数据科学碗（Bowl-18）[1]，其中包含了约589张在各种条件下获取的图像。(a)(b)(c)DCGAN227.06235.60.2187.2042BigGAN-SD381.60363.57.4765.3320BigGAN-Diff80.83262.46.02591.4875StyleGAN2-Diff31.3210.36.01173.0067Sem-Aware8.3723.32.00068.021239560图3：CAR-T和Kaggle数据集上的单细胞图像生成；(a)第一行和第二行代表CAR-T数据集和Kaggle数据集的单细胞图像及其掩膜，最后两行分别代表我们方法生成的单细胞图像及其掩膜。(b)展示了我们方法生成的单细胞图像及其相关的掩膜。前两行是从CAR-T数据集生成的单细胞图像及其掩膜，最后两行是从Kaggle数据集生成的单细胞图像及其掩膜。(c)展示了StyleGan2-Diff生成的单细胞图像。在单细胞图像的生成中，StyleGan2-Diff在所选的GAN模型中表现最好。0并且在细胞类型、放大倍数和成像模式（明场与荧光）上有所不同。我们使用了包含一致属性的193张图像的子集。03.1. 单细胞图像生成0单细胞图像是创建完整人工图像的最基本元素。为了创建人工单细胞，我们使用专家提取的分割结果。然后，细胞应该通过应用增强策略从其原始状态转变为新状态。结果是一个可以用来创建人工图像的人工细胞。在本节中，我们通过上述讨论的评估方法（FID和KID）来衡量这些生成的细胞的准确性。换句话说，我们回答了不同增强策略的应用对单细胞质量的影响有多大。结果如表2所示。报告了两个数据集的平均分数。数值应用于平均分数，并在三个随机样本生成集上计算。在表中，我们将提出的方法称为Sem-Aware（语义感知）。0Fréchet InceptionDistance的结果表明，我们的方法在与现有模型的竞争中表现出色。最佳性能的GAN模型是StyleGAN2-Diff，在使用CAR-T数据时，与所提出的方法相比，性能提升了17.6%。在使用Kaggle数据集时，0模型FID 1 FID 2 KID 1 KID 20表2：CAR-T和Kaggle数据集上单细胞图像生成的FID和KID得分。1表示使用CAR-T数据集的得分，2表示使用Kaggle数据集的得分。0StyleGAN2-Diff得分为10.36，优于所提出的方法。0Kernel InceptionDistance的KID得分显示，与使用CAR-T数据时的StyleGAN2-Diff相比，所提出的方法得分更高，提升了0.01105。在使用Kaggle数据集时，StyleGAN2-Diff得分为0.0067，优于所提出的方法。由于单细胞的简化特性，大多数方法在生成强大的人工单细胞方面表现良好。图3展示了图像生成的结果。图3a显示了原始的单细胞图像及其标签。前两行是CAR-T数据集的图像和掩膜，后两行是Kaggle数据集的图像和掩膜。(a)(b)(c)DCGAN215.61404.90.1911.2986BigGAN-SD369.78414.81.3686.3409BigGAN-Diff171.37126.3.1300.131339570图4：CAR-T和Kaggle数据集上的多细胞图像生成；(a)前两行和后两行分别代表CAR-T数据集和Kaggle数据集的多细胞图像及其掩膜。(b)显示了我们的方法生成的多细胞图像及其相关的掩膜。前两行是从CAR-T数据集生成的多细胞图像及其掩膜，后两行是从Kaggle数据集生成的多细胞图像及其掩膜。(c)显示了StyleGan2-Diff生成的多细胞图像。在生成多细胞图像方面，StyleGan2-Diff在选定的GAN模型中表现最佳。0这是Kaggle数据集的图像和掩膜。图3b显示了我们的方法生成的单细胞图像及其相关的掩膜。与之前提到的类似，前两行是CAR-T数据集的结果，后两行是Kaggle数据集的结果。图3c显示了StyleGAN2-Diff的输出，它在GAN比较中具有最好的FID/KID得分。如上所述，这些方法不会产生分割结果。所提出的方法与选定的GAN方法相比，给出了具有很高相似度的原始单细胞的竞争性甚至更好的结果。这表明受控环境在单细胞的生成和保留每个自然细胞的原始特征方面是成功的。03.2. 多细胞图像生成0多细胞图像是细胞核显微图像的另一个基本元素。由于多细胞的数量通常远低于单细胞，因此对于GAN模型来说，生成多细胞更具挑战性。然而，这不会影响我们的模型，因为我们的模型对于生成高质量细胞的图像数量几乎没有依赖性。与前一节类似，我们研究了所提出的方法与用于生成逼真图像的GAN模型的比较。我们分别在CAR-T和Kaggle数据集上进行实验。得分如下：0见表3。0模型FID 1 FID 2 KID 1 KID 20StyleGAN2-Diff 86.74 99.04 .0447 .09990Sem-Aware 18.33 39.93 .0011 .07320表3：CAR-T和Kaggle数据集上多细胞图像生成的FID和KID分数。1表示使用CAR-T数据集的分数，2表示使用Kaggle数据集的分数。0Fréchet Inception Distance结果表明，我们的方法在所有参数上都大大优于现有模型。提出的方法的FID分数在CAR-T数据集中超过了表现最好的GAN模型StyleGAN2-Diff68.41，在Kaggle数据集中超过了59.11。0核心Inception距离与FID分数类似，数据显示出提出的方法在多细胞的生成质量上更好。对于KID，表现最好的GAN模型仍然是StyleGAN2-Diff，而该模型被提出的方法超越了39580(a)0(b)0(c)0(d)0(e)0(f)0(g)0图5：CAR-T和Kaggle数据集上的细胞核图像生成；(a)和(b)是我们的方法生成的CAR-T细胞核图像及其相关的掩码。(c)和(d)是我们的方法生成的Kaggle细胞核图像及其相关的掩码。(e)和(f)分别代表StylGAN2-Diff生成的CAR-T图像和Kaggle图像。作为参考，(g)中的前两行显示原始CAR-T数据集，最后两行显示原始Kaggle数据集。0我们的方法在CAR-T数据集中的FID分数为0.04365，在Kaggle数据集中为0.0267。0评估分数显示生成自然多细胞的困难，因为许多变量导致细胞聚集和粘附。使用CAR-T数据集和Kaggle数据集生成多细胞的结果如图4所示。与单细胞类似，提供样本供观察。图4a显示原始多细胞图像及其标签，而图4b显示我们的方法生成的多细胞图像及其掩码。图4c显示了方法StyleGan2-Diff的输出，在比较中具有最佳的FID/KID分数。与GAN相比，提出的方法在多细胞方面始终提供更好的结果。0结果显示，受控环境再次成功地生成了新的多细胞，同时保留了原始细胞中的特征。03.3. 细胞核图像生成0提出的方法利用两组图像（单细胞和多细胞），以及识别的噪声背景，将它们放入单个帧中。单细胞和多细胞的数量对于创建多样化的图像非常重要。由于我们使用的是小型训练数据集，对于GAN来说，生成人工数据似乎更加困难。结果如表4所示。0Fréchet Inception Distance提出的方法能够始终优于表现最好的GANGrid R-CNNX-10126.1/46.235.0/40.238.2/41.0Libra R-CNNX-10147.6/48.443.8/44.550.0/50.1RepPointsR-10143.4/47.538.8/40.037.9/36.7ATSSR-10149.9/52.936.3/37.246.9/46.0PAAR-10147.1/48.338.5/46.446.0/49.4GFLX-10147.7/53.137.1/40.442.1/45.4NSeg-CARTleOurs-Kaggle32.6943.4852.0677.73ion39590模型 FID 1 FID 2 KID 1 KID 20DCGAN 343.59 435.55 .4563 .33520BigGAN-SD 460.66 496.38 .5216 .52160BigGAN-Diff 115.51 297.84 .1313 .30370StyleGAN2-Diff 109.30 196.92 .0760 .08920Sem-Aware 79.57 102.99 .0657 .07160表4：CAR-T和Kaggle数据集上生成的细胞核图像的FID和KID分数。1表示使用CAR-T数据集的分数，2表示使用Kaggle数据集的分数。0方法，StyleGAN2，通过CAR-T数据集达到29.73，通过Kaggle数据集达到93.93。0核心Inception距离与FID值保持一致，提出的方法在CAR-T数据集上优于StyleGAN20.97，在Kaggle数据集上优于0.0176。完整的CAR-T细胞图像的最终结果如图5所示。图5a和图5b显示了我们的方法生成的CAR-T图像和掩码。图5c和图5d显示了我们的方法生成的Kaggle图像和掩码。图5e和图5f分别代表StylGAN2-Diff生成的CAR-T图像和Kaggle图像。图5g显示了真实图像和掩码作为参考。前两行是CAR-T数据集的图像和掩码，最后两行是Kaggle数据集的图像和掩码。结果显示了我们的方法提供的精确分割信息，并展示了在高质量图像的创建方面与其他GAN解决方案相比的明显优势。04. 实际应用性能0在表5第1部分中，我们测试了我们的增强算法，得到了11种最先进的检测算法的准确性（AP分数）。左侧的值表示原始算法的AP分数，右侧的值表示将100个增强数据应用于原始训练集后的AP分数。结果表明，我们可以持续改进这些算法的结果（33个中的30个）。0复杂数据集：虽然需要暗背景来创建合成的逼真图像，但具有更高光谱颜色的数据集仍然可以在某些任务中受益于该方法。在表5第1部分中，我们报告了神经细胞数据集[40]的边界框检测结果，该数据集具有高光谱。0条件GAN：纯粹的GAN方法不能用于改进边界框检测。0因为它们不生成所需的相应标签，无法进行比较。在表5第2部分中，我们使用[19]来与条件GAN方法进行比较。通过将100个额外的增强数据应用于原始训练，我们可以将CART和Kaggle的准确性分别提高10.79%和25.67%。这里的准确性是所有测试点的生成和原始语义标签之间的Jaccard分数[16]的平均值。0第1部分：使用三个数据集对11种最先进的边界框检测算法进行AP分数评估。0多阶段：Faster R-CNN R-101 49.6/ 51.2 38.6/ 44.0 48.4/ 49.70单阶段：FreeAnchor R-101 26.6/ 47.6 33.3/ 33.4 48.4/ 51.20第2部分：组织病理学图像中多器官细胞核分割（NSeg）结果的比较。0表5：边界框检测算法和条件GAN的性能结果。0语义分割：对于语义分割，混合CAR-T数据集的结果至少比真实数据的AP高0.39%，最高可达2.86%。与参考CAR-T数据集相比，在IOU上至少提高0.65%，最高可达1.18%。这些实验的详细结果在补充材料中呈现。结果表明，该方法可以轻松提高细胞的语义分割准确性。05. 结论0我们提出了一种用于生成人工细胞核显微图像及其正确的语义分割标签的语义感知数据增强方法。我们使用贪婪自动增强算法的初始分割对象来找到性能最佳的策略。然后，使用找到的策略和初始分割对象来创建最终的人工图像。将这些图像与最先进的数据增强方法进行比较。结果表明，该方法在不同阶段的质量与原始数据相当，并超过了不同的GAN模型。这些观察结果通过FID和KID分数得到了确认。该方法有效地准备好生成人工细胞核显微图像。将来，该方法可以帮助更好地训练带有人工神经网络的显微图像。[18] Erik Linder-Nor´en.Pytorch-gan.https://github.com/eriklindernoren/PyTorch-GAN, 2018.39600参考文献0[1] 2018数据科学碗, 2018. [2] Antreas Antoniou, AmosStorkey, and Harrison Edwards. 数据增强生成对抗网络, 2018.0[3] Mikołaj Bi´nkowski, Danica J. Sutherland, Michael Arbel,and Arthur Gretton. 揭秘MMD GANs, 2021.0[4] Andrew Brock, Jeff Donahue, and Karen Simonyan.大规模GAN训练用于高保真度自然图像合成, 2019.0[5] Min Jin Chong and David Forsyth.有效无偏的FID和Inception Score及其获取方法, 2020.0[6] Ekin D. Cubuk, Barret Zoph, Dandelion Mane, Vijay Va-sudevan, and Quoc V. Le. Autoaugment:从数据中学习增强策略, 2019.0[7] Ekin D. Cubuk, Barret Zoph, Jonathon Shlens, and QuocV. Le. Randaugment: 带有减少搜索空间的实用自动数据增强,2019.0[8] Terrance DeVries and Graham Taylor.特征空间中的数据集增强, 2017年2月.0[9] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza,Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville,and Yoshua Bengio. 生成对抗网络, 2014.0[10] Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, VincentDumoulin, and Aaron Courville. 改进的Wasserstein GAN训练,2017.0[11] Swaminathan Gurumurthy, Ravi Kiran Sarvadevabhatla,and Venkatesh Babu Radhakrishnan. Deligan:用于多样化和有限数据的生成对抗网络, 2017.0[12] Daniel Ho, Eric Liang, Ion Stoica, Pieter Abbeel, and XiChen. 基于群体的增强: 高效学习增强策略计划, 2019.0[13] Hiroshi Inoue. 通过成对样本进行图像分类数据增强, 2018.0[14] Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten,Jaakko Lehtinen, and Timo Aila.分析和改进StyleGAN的图像质量, 2020.0[15] A. Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton.使用深度卷积神经网络进行ImageNet分类. 通信ACM, 60:84 – 90,2012.0[16] Neeraj Kumar, Ruchika Verma, Sanuj Sharma, SurabhiBhargava, Abhishek Vahadane, and Amit Sethi.用于计算病理学的广义核分割数据集和技术. 医学成像IEEE交易,36(7):1550–1560, 2017.0[17] Scott E. Lillie, David A. Broadway, Nikolai Dontschuk, SamC. Scholten, Brett C. Johnson, Sebastian Wolf, Stephan Rachel,Lloyd C. L. Hollenberg, and Jean-Philippe Teti- enne.激光调制超导性在低温宽场氮空位显微镜中. 纳米快报,20(3):1855–1861, 2020年2月.0[19] Faisal Mahmood, Daniel Borders, Richard J Chen, Gre-gory N McKay, Kevan J Salimian, Alexander Baras, andNicholas J Durr.深度对抗训练用于组织学图像中的多器官细胞核分割.医学成像IEEE交易, 39(11):3257–3267, 2019.0[20] Alireza Makhzani, Jonathon Shlens, Navdeep Jaitly, IanGoodfellow, and Brendan Frey. 对抗自编码器, 2016.0[21] B. Mehlig. 人工神经网络, 2019. [22] Qinxue Meng, DanielCatchpoole, David Skillicom, and Paul J. Kennedy.关系自编码器用于特征提取.2017年国际联合神经网络会议(IJCNN), 2017年5月.0[23] Aratrika Mustafi. 凸平滑自编码器-最优传输模型, 2021.0[24] Alireza Naghizadeh, Mohammadsajad Abavisani, andDim- itris N. Metaxas. 贪婪自动增强, 2020.0[25] Alireza Naghizadehn. 贪婪自动增强. https://github.com/arnaghizadeh/greedy_auto_ augment , 2020.0[26] Atsuhiro Noguchi and Tatsuya Harada.通过批次统计自适应从小数据集生成图像，2019年。0[27] Daniel S. Park, William Chan, Yu Zhang, Chung-Cheng Chiu,Barret Zoph, Ekin D. Cubuk, and Quoc V. Le. Specaugment:一种用于自动语音识别的简单数据增强方法。Interspeech2019，2019年9月。0[28] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer,James Bradbury, Gregory Chanan, Trevor Killeen, Zem- ingLin, Natalia Gimelshein, Luca Antiga, Alban Desmai- son,Andreas Kopf, Edward Yang, Zachary DeVito, Mar- tin Raison,Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang,Junjie Bai, and Soumith Chintala. Pytorch:一种命令式风格、高性能的深度学习库。在第32届神经信息处理系统进展中，第8024-8035页。Curran Associates, Inc.，2019年。0[29] Xi Peng, Zhiqiang Tang, Fei Yang, Rogerio Feris, andDim- itris Metaxas.联合优化数据增强和网络训练：人体姿势估计中的对抗数据增强，2018年。0[30] Stanislav Pidhorskyi, Donald Adjeroh, and GianfrancoDoretto. 对抗潜在自动编码器，2020年。0[31] Alec Radford, Luke Metz, and Soumith Chintala.无监督表示学习与深度卷积生成对抗网络。arXiv预印本arXiv:1511.06434，2015年。0[32] Alec Radford, Luke Metz, and Soumith Chintala.无监督表示学习与深度卷积生成对抗网络，2016年。0[33] Kim Seonghyeon. stylegan2-pytorch.https://github.com/rosinality/stylegan2-pytorch，2020年。0[34] Yinghuan Shi, Tiexin Qin, Yong Liu, Jiwen Lu, Yang Gao,and Dinggang Shen.通过学习确定性策略进行自动数据增强，2019年。0[35] Ilya Tolstikhin, Olivier Bousquet, Sylvain Gelly, and Bern-hard Schoelkopf. Wasserstein自动编码器，2019年。0[36] Ngoc-Trung Tran, Viet