弱监督细胞实例分割中的基于复制粘贴的边界生成方法

3185识别每个单元格边界(c)点级注记基于单实例粘贴Kazuya Nishimura，Ryoma Bise九州大学，福冈，日本human.ait.kyushu-u.ac.jp摘要识别细胞边界的细胞实例分割是细胞图像分析中的一项重要任务虽然基于深度学习的方法在一定量的训练数据下表现出了很好的性能，但其中大多数都需要显示每个细胞边界的完整注释为细胞分割生成注释是耗时且人工劳动的。为了降低标注成本，我们提出了一种弱监督分割方法，使用两种类型的弱标签（一种用于细胞类型，一种用于核位置）。与一般图像不同，这两个标签在相衬图像中容易获得。细胞实例分割所需的细胞间边界不能直接从这两个弱标记中获得，因此为了生成边界信息，我们提出了一种基于复制粘贴技术的单实例粘贴方法首先，我们通过对细胞计数来定位单细胞区域，并将它们存储在池中。然后，我们通过将存储的单细胞区域粘贴到原始图像来生成细胞间边界。最后，我们用生成的标签训练一个边界估计网络，并使用该网络执行我们在公开数据集上的评估表明，该方法在我们比较的几种弱监督方法中达到了最好的性能。1. 介绍相差显微镜被广泛用于不染色的活细胞的长期监测。识别相差图像中每个细胞边界的实例分割为细胞形态学分析和细胞行为分析提供了关键信息[10]。由于相衬图像在一幅图像中包含大量细胞（超过一百个），因此如图1所示，细胞边界通常是模糊的，并且细胞具有各种形态。因此，实例分段是一个(a) 目的(b) 图像级标注…“Cell“Cell…图像核图1. 监管设置薄弱。(a)我们的认可目标。(b)图像级注释（细胞类型标签）。（c）点级注释（单元位置标签）。挑战性的任务。基于深度学习的细胞分割方法[31，6，27，33，10]已经通过一定量的训练数据取得了有希望的结果。然而，细胞分割需要指示每个成像条件的每个细胞的边界的实例级注释（例如，细胞类型、显微镜检查、生长因子和密度）。收集这些注释是耗时的人力劳动。弱监督分割，其使用容易获得的注释而不是像素级注释执行分割，是降低注释成本的一种有前途的解决方案[17，40，42，29，5，43，26]。图像级注释（即，类标签）被广泛用作一般图像[17，2，44]和器官图像[40]中的弱标签。然而，它很难识别同一类实例的边界，因为它只包含语义信息。指示细胞位置的点级注释主要用于细胞或细胞核分割任务[42，29，5，43，26]。虽然点级注释包含实例线索，但没有边界信息.一些方法使用输入图像的颜色或对比度信息来补充边界信息[42，29]。然而，相衬图像的对比度通常较低，并且前景和背景像素往往具有相似的值，如图1（a）所示。这使得难以仅使用相位差图像来识别单个细胞边界。3186（一）（b）第（1）款细胞数量随时间增加随着时间的推移细胞分裂。因此，通过使用从两个弱标签获得的前景区域和细胞位置对细胞进行计数，可以从延时图像的初始状态轻松获得单细胞实例（图2（b））。我们的主要贡献如下。• 我们提出了一个弱监督的实例分割框架，使用两种类型的弱标签获得，而无需任何额外的手动注释成本。前景+电池位置另一图像生成的图像我们的方法利用两种类型的弱标签，以补充缺乏细胞间的边界信息。图2. 提出的方法的关键概念。(a)相衬图像的特性。(b)我们的单实例粘贴的想法。如果从接种中捕获细胞，则存在初始状态的单细胞区域，并且细胞的数量通过细胞分裂随时间逐渐增加。 我们的想法与单实例粘贴是找到一个单一的细胞区域从初始状态，然后粘贴到另一个图像的区域，以产生细胞间的边界。点级信息。因此，有必要使用附加的边界信息来识别每个小区边界。本文的基本思想是使用两种类型的弱标记，即图像级标注和点级标注，以补充信息的不足。在相衬图像中，这些标签可以容易地获得，而无需额外的手动注释成本。第一种类型是细胞类型标签（图1（b））。通常，观察细胞时使用单一细胞类型进行实验，并记录所使用的细胞类型，这意味着可以自动收集细胞类别标签，而无需额外费用。我们可以通过使用现成的基于CAM的弱监督分割方法[17]从图像级符号中获得前景信息。第二种是- 细胞核位置标记，其可以通过同时捕获相差和荧光图像从核染色的细胞自动获得（图1（c））。这些标签也可以被收集而无需额外的人工注释成本。通过使用这两个标签，我们可以获得关于前景区域和细胞位置的信息。本文提出了一种基于细胞类型标签和细胞位置标签的弱监督实例分割方法。从这两个弱标签获得前景区域和细胞位置，但不提供细胞间边界。因此，我们使用新开发的单实例粘贴生成包含细胞间边界信息的标签。最后，我们用自生成的标签训练一个边界估计网络，并进行实例分割.单个实例粘贴的目的是定位单个单元格实例并将它们粘贴到另一个图像中。如图2（a）所示，细胞密度逐渐增加• 我们提出了一个单一的实例粘贴从两种类型的弱标签生成细胞间的边界。通过细胞计数识别单个实例，然后通过将检测到的单个实例粘贴到另一图像中来生成细胞间边界• 我们在三个条件下评估我们的方法，一个公共数据集，并证明其最先进的性能相比，传统的弱监督的方法。2. 相关工作细胞分割：传统上，使用阈值、水平集和分水岭的基于图像处理的方法已经被用于自动细胞分割[7，37，36，4]。这些方法需要针对每个识别目标进行定制。由于使用一定量的数据进行训练，基于深度学习的细胞分割方法的性能优于这些基于图像处理的方法[31，6，27、33、10、24]。Ronneberger等人提出了Unet，这是一种具有跳跃连接的完全卷积网络[31]，并表明它在细胞跟踪挑战数据集中优于其他基于图像处理的方法。然而，这些方法需要对每个成像条件进行注释，例如细胞类型、显微镜类型、培养条件和密度。成像条件因研究领域而异，因此为每个条件创建注释既耗时又费力。弱监督语义分割：弱监督语义分割是估计每个像素的类标签的任务（不是，即， 区分相同的类实例）。大多数方法使用图像级注释利用类激活图[44]来生成伪分割标签[2，17，9]。这些方法的主要焦点是如何扩展CAM线索。例如，Ahn等人。[2]通过训练一个从线索中学习像素间语义亲和力的亲和力网络来扩展CAM线索。由于最近的发展，不同类别对象的边界可以使用分类标签准确地检索。但是，同一类对象的边界生成的边界粘贴副本3187WH∈很难获得，因为类标签不包含太多的实例信息。类别标签和显着性检测标签已被用于改进此任务[22，39]。Lee等人。[22]提出了一种训练策略来从这两个标签中提取分割信息Xu等人。[39]通过联合学习分割任务和显著性检测任务的亲和力来提高分割性能。然而，在细胞图像中不存在弱监督实例分割：弱监督实例分割是估计每个实例的段的任务（即，将相同的类实例标识为不同的实例）。各种方法都使用了类标签[45，1，12]，类似于语义分割。例如，Zhou等人。[45]提出了一个峰值响应图，以从类标签中获得实例线索。然而，由于这些方法是针对一般图像设计的，它们没有考虑密集分布的对象，这使得难以识别细胞图像，因为它们通常包括这样的对象。有时使用边界框标签[15，38，20，34，16]。基本思想是将弱监督实例分割任务视为多实例学习问题，并扩展对象检测模型（例如，RCNN）通过多实例学习损失对实例分割模型进行改进.然而，这些标签需要比点级和图像级标注高得多的标注成本细胞图像的弱监督分割：边界框和涂鸦标签有时用于细胞或细胞 核分割任务[8，41，21]。 Lee等人[21]提出了一种使用涂鸦标签的方法，该方法通过估计结果的迭代平均来选择伪标签。Dong等人。[8]使用边界框并通过使用峰值响应传播来识别对象。点级注释，它可以很容易地获得，而不是边界框，被广泛用于弱监督细胞或细胞核分割。一些方法[29，5，30]已经通过实现颜色聚类来使用颜色信息以生成伪标签。然而，由于这些方法是为具有高对比度的HE染色图像设计的，因此它们不适用于具有低对比度的相衬图像。一些方法利用神经网络的学习能力[42，26]。 Yoo等人[42]基于浅网络倾向于提取边缘信息的假设，使用浅网络来获得边缘信息。Nishimura等人。[26]利用相关图（即，用于输出的相关像素）。然而，由于这些方法依赖于网络的隐式学习特征，因此，我们无法调整神经网络提取边界信息的程度与所讨论上面，我们的方法使我们能够自己创建细胞之间的边界，并直接学习边界。复制粘贴扩充：复制粘贴增强已被用作实例分割的有效数据增强方法。基本策略是从一个图像复制一些实例，并将其粘贴到另一个图像上[13，11]。与使用复制粘贴进行监督学习的方法相比，我们的方法将其用于弱监督学习，这使我们能够补充细胞间边界信息。3. 弱监督细胞分割概述：首先，我们使用类别标签训练前景估计网络ff，使用细胞位置标签训练细胞检测网络fd接下来，我们生成自我生成的标签，其中包括来自前景估计和细胞检测结果的细胞间边界信息为了创建自我生成的标签，我们提出了一个单一的实例粘贴，识别单个实例，并粘贴它们来生成一个细胞间的边界。然后，我们用自生成的标签训练边界估计网络fb通过组合边界估计网络fb和小区检测网络fd的估计结果来执行实例分割。3.1. 带有两个弱标签的在本节中，我们解释如何通过利用弱标签和现有方法来训练前景估计网络ff和细胞检测网络fd。我们利用基于CAM的技术[17]来训练前景估计网络ff。对于细胞检测网络f d，我们使用基于热图的检测方法[26]。具有图像级注释的前景估计：在这一步中，我们从类别标签训练前景估计网络f f。 我们首先从前景激活图中提取前景线索Cfg和背景线索Cbg。Cfg和Cbg分别是被估计为前景或背景的像素集合。然后，我们用线索Cfg和Cbg训练网络f f。我们遵循乔等人的方法。[17]以获得前景激活图。首先，用网络的类输出和类标签之间的二进制交叉熵训练分类网络，与正常的分类问题相同。 给定输入图像xi，通过基于ResNet的特征提取器提取特征图MiR 4 × 4 ×K。然后，通过全局平均运算从特征映射Mi中得到类输出 W和H是输入图像的宽度和高度，K是类的数量。 特征映射通过分类损失（二进制交叉熵和重构损失）与类标签隐式地学习前期线索。与Jo[17]的方法相比，其目的是为每个类提取激活图，我们获得前景激活图3188S我 ∈我p∈CNfgΣ+ΣS细胞计数单实例池…采样实例粘贴胞间边界副本膏新标签1> 1个点注释自我生成的图像和标签图3. 单实例粘贴概述。通过细胞计数获得单个细胞区域（黄色yi像素）和多个细胞区域（白色yi像素）。将单个实例添加到单个实例池中，然后通过粘贴从单个实例池中采样的单个单元实例来创建自生成标签x′i和yi′通过类方向的最大操作和调整大小操作，最后，对Mfg进行前景阈值化thfg和背景阈值化thbg，得到前景线索Cfg和背景线索C bg。我们用前景线索Cfg和背景线索Cbg训练前景分割网络ff。损失仅计算线索中的像素，其他像素将被忽略。网络ff的损失函数定义为：更大边界信息。因此，我们提出了一个单一的粘贴实例来训练边界估计网络fb。我们设计了单实例粘贴，使自生成的标签包含两种类型的信息.第一个是细胞间边界信息。由于弱标记不包含细胞间边界信息，我们通过粘贴来生成边界。第二种是未知边界区域信息（多个小区区域）。尽管多个细胞区域包括细胞间边界信息，但我们不知道边界。我们确定Lbseg=11Nbgp∈Cbgfg−logri（p）-log（1−ri（p）），（1）这些区域可以忽略。图3显示了单个实例过去的概览-其中，Nfri=ff（xi），p表示坐标，Nfg 和Nbg是前景和背景像素的数量。通过该损失函数，网络fff被训练为在Cfg中的pixel中输出nr（p）= 1，并且在Cbg中的pixel中输出nr（p）= 0如果一个像素不属于这两个集合，则它不用于损失计算。细胞核位置的细胞检测：为了获得细胞位置，我们使用基于热图的细胞检测器[26]，该检测器可以使用细胞位置标签进行训练。细胞检测网络fd被训练以输出细胞位置热图hi，然后通过取es的峰值来获得细胞位置估计的热图hi。估计的热图的示例在图4h中示出。通过在注释的单元位置上应用2D高斯滤波器来生成热图h1然后，用热图之间的MSE损失训练fd，hi和估计的热图hi，作为Ldet=MSE（hi，hi）。在训练之后，可以通过取估计h_i的局部最大值来获得小区位置p_i。3.2. 使用单个实例粘贴通过上述过程获得前景和单元格位置，但结果不包含单元格间的信息。，它由两个步骤组成。首先，我们通过细胞计数找到单细胞区域和多细胞区域，并将单细胞区域添加到单实例池中。其次，我们通过粘贴从池中采样的实例来生成细胞间边界。细胞计数：根据估计的背景区域的细胞数i和细胞位置p i，我们对前景片段中的细胞计数（即，例如，i）的连通分量，以识别单细胞区域和多细胞区域。单细胞区域用于细胞间边界生成，多细胞区域用于在最终训练步骤中忽略未知区域的损失计数提供了单细胞区域（图3中的黄色像素）和多细胞区域（白色像素）。我们将多单元区域中的像素添加到一组忽略像素I（图3中的白色yi像素）。我们通过给单细胞区域一个标签来生成一个初始标签y i，如图3中黄色的yi像素所示。然后，我们将实例图像sk添加到单个实例池中，其中sk是通过用单个实例区域掩蔽输入图像xi而生成的（例如，图3中的sk）。当实例大小太小或太大时，我们省略该实例3189De llODretnhSORce-RteAKWR一M--S--BNnm图4. 实例分割过程。首先，从输入图像xi获得热图hi和边界图bi。然后，使用标记控制的流域特别是如果实例的宽度或高度小于thsm或大于thla。实例粘贴：给定输入图像xi、初始标签yi和Nc个采样实例si，.的集合， sj，我们的单实例粘贴生成粘贴的图像x′i和更新的实例标签yi′。Nc是样本的数量。细胞被捕获为一系列延时图像，其中细胞的外观在初始状态和后期状态之间不同我们从一个封闭的框架中准备图像、标签和粘贴实例，以生成自然的图像。在细胞计数中生成的输入图像xi和初始标签yi从包含一定量的单细胞区域的图像中选择（即，一对含有多于单实例像素）。对山姆来说- thss将粘贴实例从一个靠近的帧中粘贴到图像和标签对上，我们将实例池按时间划分为几个子集池具体地，我们每隔tht小时生成子集池，并且我们从所选帧所属的子集池中采样Nc个实例si然后，我们通过随机粘贴实例si，.， sj转换为输入图像xi，如图中的红色箭头所示。3.第三章。更新后的实例标签yi′是通过向初始标签yi的粘贴区域（蓝色箭头）赋予新标签而生成的。红色虚线圆显示了生成的边界的示例。3.3. 实例分割为了实现实例分割，我们首先通过自我生成的图像和标签来训练边界估计网络fb。然后，我们通过结合边界估计结果bi和检测结果hi来执行实例分割。使用自生成标签进行培训：对于边界估计网络f b，我们使用距离形式表示[3]. 图4b中示出了距离形成的边界图的示例，其中单元的中心具有朝向边界逐渐减小的高像素值距离形成的边界图bi的地面实况通过取每个实例的归一化距离图的最大值来生成[3]。我们不计算损失A172 SH-SY5Y MCF7 SKOV3BT-474 SkBr 3图5. LIVECell数据集中的图像示例[10]。细胞的外观取决于细胞类型而变化，包括球形形态（例如，BV2和SkBr3）和粘附形态学（例如，A172、SK0V3和Huh7）。多个小区区域，因为我们不知道它们的准确边界。我们希望网络通过忽略未知区域来隐式地从自我生成的图像和标签该方法受到使用CAM [17，2]的分割训练的启发，CAM[17，2]训练具有高置信度前景线索和背景线索的分割模型①的人。边界估计网络fb被定义为L=1<$（b（p）−b<$（p））2，（2）p∈/I其中，b_i是f_b的估计结果，I是多个单元区域中的坐标集合，并且N_nm是不在多个区域上的像素的数量。如图4中的b*i所示，在训练之后，细胞间边界上的pixel值实例分段：我们通过使用边界估计网络f b和细胞检测网络f d来执行实例分割。如图4中所示，给定输入图像xi，热图h_i和距离形成的边界图b_i由fd和fb相对地估计。然后，我们通过标记控制的分水岭将这些估计结合起来[25]。 我们将热图视为标记，将距离估计视为输入图像。4. 实验实施详情：我们使用PyTorch框架实现了我们的方法[28]。 我们使用ResNet 50 [14]预训练ImageNet [19]用于分类网络（用于CAM提取）。 我们将Unet [31]架构用于细胞检测网络f d、前景估计网络f f和边界估计网络f b。前景阈值thfg和背景阈值thbg分别为0.3和0.2。我们将粘贴实例的数量设置为N c= 3，单元格的最小大小th sm=10，单元格的最大大小th la=200，3190ΣΣ越南gNp×（2TP+FP+FN）2我我JJ我J表1.每种细胞类型在F1p上的实例分割的定量评估结果。Avg. 是全细胞类型的平均性能。L表示标签条件：U是无监督的，I是图像级注释，P是点级注释，F是完全监督的。粗体表示弱监督设置中的最佳性能。方法LA172BT474BV2Huh7MCF7SHSY5Y SKBR3SKOV3Avg.卡尔丰[4]U0.5700.5630.4830.4940.5610.4790.7660.5020.552Qu[29]P0.1980.3210.6590.2030.3850.1060.5890.1980.333西村[26]P0.6240.6900.5410.5130.5020.4260.6120.6400.568我们P我0.6780.5650.6430.6080.5770.4490.6490.7730.618[31]第三十一话F0.7610.7470.7670.7890.7090.5440.8610.8210.750埃德隆[10]F0.7790.7880.6550.8300.6440.6230.8060.8560.748表2.对每种细胞类型在Dice o上的实例分割的定量评估结果。Avg.是整个细胞类型的平均性能。L表示标签条件：U是无监督的，I是图像级标注，P是点级标注，F是完全监督的。粗体表示弱监督设置中的最佳性能。单个小区区域阈值Th_SS=500，并且子集池的小时数Th_T=12。背景标签）。骰子o定义为随机裁剪和旋转用于8月-骰子Ng=1（γ Di（g，pNp）+γ Di（p，g）、（3）i=1j=1工程.分类网络和检测网络f-d分别基于分类损失和检测损失的提前停止进行训练。前景估计网络ff用30其中gi是第i个地面实况对象，pj是第j个预测对象，pgi和gpj是预测对象和地面实况对象的匹配对象时代 训练了边界估计网络fb通过基于自生成标签和预测对象，γi为|Gi| 和γj|g|为|PJ|、|p|的验证。数据集：我们使用LIVECell数据集[10]来评估我们的方法。该数据集包含八种类型的细胞，通过相差显微镜捕获，分辨率为520 704。从早期接种到完全汇合培养细胞。与诸如细胞跟踪挑战[35]和BBBC数据集[23]的其他细胞分割数据集不同，LIVECell在细胞类型和密度方面具有变化。如图5所示，细胞具有取决于细胞类型的各种外观。为每个图像手动注释边界框和实例掩码训练、验证和测试数据总数为3188、569、1548。为了训练我们的方法，我们将单元格类型视为类标签，将边界框的中心视为单元格位置标签。我们使用像素级F1得分F1p和对象级Dice系数Diceo[32]来分别评估二进制分割和实例分割的性能。F1p的计算公式为：2TP其中，TP、FP和FN是真阳性、假阳性和假阴性的数量（由前景确定，分别对象级骰子是通过根据对象的大小用γi和γj对其进行加权来计算每个对象的骰子。4.1. 比较我们比较了我们的方法与以下五个传统的方法。1)Chalfounet al.[4]：基于图像处理的实例分割方法，使用图像的梯度进行分割（无监督）。2）Qu et al.[29]：弱监督核分割方法，其使用Voronoi图和具有点级 注 释 的 颜 色 聚 类 来 计 算 损 失 （ 弱 监 督 ） 。3)Nishimura等人[26]：弱监督细胞实例分割方法，其使 用 相 关 像 素 进 行 分 割 检 测 （ 弱 监 督 ） 。 4 ）Ronneberger et al. [31]：众所周知的监督分割方法（Unet），它通过使用加权交叉熵（监督）训练网络。5)Edlundet al.[10]：基于R-CNN 的实 例分割方法。弱监督方法是用核函数进行训练的。心理状态我们使用Adam[18]优化器，学习率= 1 e-3，所有网络的小批量大小为16OGiPJi=1j=1方法LA172BT474BV2Huh7MCF7SHSY5Y SKBR3SKOV3Avg.卡尔丰[4]U0.8920.8090.6720.8380.8910.7660.8680.8230.820Qu[29]P0.1390.2420.6560.1030.3350.0860.5760.1630.288西村[26]P0.7900.8320.8160.4580.8650.7530.8730.7250.764我们P我0.9210.8140.8090.7750.8800.7880.8420.8600.836[31]第三十一话F0.8440.8350.7660.8800.7430.5410.8970.8790.798埃德隆[10]F0.9380.8900.8860.9140.9050.8440.9420.9400.9073191成功案例失败案例图6. 估计结果示例。颜色指示实例。位置，并且用针对每个单元边界注释的标记数据来训练监督方法。我们使用相同数量的训练和验证数据进行训练。表1和表2列出了每种方法在F1p和Diceo方面的性能。Qu等人的方法。[29]依赖于图像的颜色，因此无法捕获细胞的准确边界。由于它是针对HE染色图像设计的，因此该方法不能在相衬图像上工作Nishimura等人的方法。[26]使用检测网络的相关像素，在Diceo方面优于Chalfoun[4]。我们的方法优于这些弱监督的方法在这两个指标的平均年龄。与监督方法相比，该方法在Diceo上要差一些 .就F1p而言，我们的方法优于Ronneberger等人的方法[31]. 他们的方法使用加权交叉熵，它为边界像素而不是其他前景像素提供高权重。结果，边界周围的像素倾向于被识别为背景，这降低了F1p。图6显示了Nishimura的方法和我们的方法的定性结果，其中左边的五列显示成功案例，右边的两列显示失败案例。由于两种方法都使用检测网络，因此检测结果没有差异。关于边界的准确性，在成功的情况下，我们的方法超过西村的。他们的方法使用有助于检测细胞的相关像素，并且由于细胞边界并不总是有助于检测，因此边界有时被高估或低估。相比之下，我们的方法试图通过自生成的标签直接学习边界，因此，边界估计是准确的。图6中的失败案例揭示了原始图像自生成图像自生标号图7. 自生成图像和标签的示例。白色像素表示多单元格区域，颜色表示单个实例标签。红色轮廓表示粘贴的实例。顶部图像是红色和蓝色虚线矩形的放大图像。提出的方法。在一些细胞类型（例如，BT-474和MCF7），细胞形态在与其他细胞接触时发生变化。失败病例的细胞具有这种细胞形态，这不同于单个细胞的形态因此，单实例粘贴无法生成类似的标签，我们的方法无法处理这种类型的图像。4.2. 消融研究为了检查单实例粘贴生成的图像质量，我们展示了自生成图像的示例我们地面真相西村图像3192×表3.消融研究。表4. 应用环境中弱或无监督方法的比较。4.3. 应用正如在介绍中提到的，我们的方法使得类标签和点标签能够在没有任何额外的手动注释的情况下获得。为了证明所提出的方法在现实情况下的有效性，我们用以这种方式获得的标签对其进行了训练。的 LIVECell 数据集 [10个国家] 包括 配对阶段-图像Ground truth Ours w/sip w/o sip对比度和荧光图像，可以通过帽，图8. 边界估计输出示例。和它们的标签。自生成标签的白色像素表示多个单元格区域，颜色表示每个实例标签。红色轮廓表示粘贴的实例标签。正如我们所看到的，图中的自我生成图像的外观。7看起来很自然与捕获不同光或比例条件的一般图像不同，相位对比图像是在相同条件下捕获的，这使得粘贴图像的外观更自然。为了研究我们的单实例粘贴的有效性，我们在没有单实例粘贴的情况下对其进行了测试（表3中的w/osip）。在该设置中，边界估计网络fb用初始标签yi训练，同时忽略多单元区域。此外，我们还研究了粘贴实例数Nc与性能之间的关系。表3显示了每种电池类型的平均性能我们可以在这里看到，通过单个实例粘贴，两种方法的性能都得到了提高。Ni=3是其他设置中的最佳性能。通过增加粘贴实例的数量，边界估计网络可以更好地学习细胞间边界。单实例粘贴在Ni>3上稳健地工作。图8显示了测试数据上的网络数据的距离形成的边界映射右侧的两列显示粘贴和不粘贴单个实例的估计结果。在单实例past- ing的情况下，输出捕获粗略的单元格形状，即使它们是密集的。相比之下，w/o sip的输出不能估计密集条件下的细胞边界。如果没有单个实例粘贴，则无法学习细胞间边界，因此该方法在密集条件下不起作用。用细胞核染色的细胞。点标签（即，细胞位置）通过使用阈值处理和寻找局部最大值从荧光图像获得由于记录了所使用的细胞的类型，因此可以在没有额外注释成本的情况下获得类别标签。细胞类型A172和A549用于捕获配对图像。因此，有两个类标签。该数据集包括798对图像，分辨率为1408 - 1040。我们使用了157个手动注释的图像作为测试数据。 图像包括A172细胞，与第4.1节中用于比较的图像相同。我们将我们的方法与第4.1节中使用的弱监督方法进行了比较。表4显示了性能比较。与第4.1节中讨论的结果相比，西村他们的方法依赖于检测网络的相关图，因此当训练数据中的细胞类型较少时，细胞形状不用于检测，并且无法估计细胞形状。相比之下，我们的方法的性能并没有下降，这证明了其有效性的现实用例。5. 结论在本文中，我们提出了一种弱监督的细胞分割方法与两种类型的弱标签，而无需额外的人工注释成本。我们通过将单个细胞粘贴到原始图像上来生成细胞间边界，以从两个在公共数据集上的实验表明，与传统的弱监督方法相比，我们的方法实现了最先进的性能。鸣 谢 ： 这 项 工 作 得 到 了 JSPS KAKENHI 资 助 号JP21J21810，JP20H04211和JST ACT-X授权号JPMJAX 21 AK，日本。方法NcF1p骰子o不含SIP–0.7380.53210.8140.579我们350.8360.8320.6180.61870.8300.613方法F1p骰子o卡尔丰[26]0.8920.570Qu[29]0.2460.271西村[26]0.4810.435我们0.9200.6503193引用[1] Jiwoon Ahn，Sunghyun Cho，和Suha Kwak.具有像素间关系的实例分割的弱监督学习。在CVPR中，第2209-2218页[2] 安智云和郭淑华。学习像素级语义亲和力与图像级监督弱监督语义分割。在CVPR中，第4981-4990页[3] 白敏和拉奎尔·乌塔孙用于实例分割的深分水岭变换。在CVPR中，第5221-5229页[4] Joe Chalfoun，Michael Majurski，Alden Dima，ChristinaStuelten，Adele Peskin，and Mary Brady. Fogbank：跨多 个 细 胞 系 和 图 像 模 式 的 单 细 胞 分 割 。 BMCBioinformatics，15（1）：1[5] Alireza Chamanzar和Yao Nie用于细胞检测和分割的弱监督多任务学习。在ISBI，第513-516页[6] Hao Chen，Xiaojuan Qi，Lequan Yu，and Pheng-AnnHeng. Dcan：用于精确腺体分割的深度轮廓感知网络。在CVPR中，第2487-2496页[7] Eric Cosatto ， Matt Miller ， Hans Peter Graf 和 John SMeyer。组织学显微照片上的核多形性分级。ICPR，第1-4页[8] 孟东，刘东，熊志伟，陈学金，张跃义，查正军，毕国强，凤舞。无体素标记的体积生物医学图像实例分割。在MICCAI，第83-91页[9] 杜烨，付泽华，刘庆杰，王运红基于像素-原型对比的弱监督语义分割。在CVPR中，第4320-4329页[10] ChristofferEdlund 、 TimothyRJackson 、 NabeelKhalid 、 Nicola Bevan 、 Timothy Dale 、 AndreasDengel、Sheraz Ahmed、JohanTrygg和RickardSjogren。用于无标记活细胞分割的大规模数据集。自然方法，18（9）：1038[11] Hao-Shu Fang，Jianhua Sun，Runzhong Wang，MinghaoGou，Yong-Lu Li，and Cewu Lu. Instaboost：通过概率图引导复制粘贴来提升实例分割。在ICCV，第682-691页[12] Weifeng Ge，Sheng Guo，Weilin Huang，and MatthewR Scott.标签-笔：用于弱监督实例分割的顺序标签传播和增强网络。在ICCV，第3345-3354页[13] Golnaz Ghiasi，Yin Cui，Aravind Srinivas，Rui Qian，Tsung- Yi Lin，Ekin D Cubuk，Quoc V Le，and BarretZoph.简单的复制粘贴是一种强大的数据增强方法，用于实例分割。在CVPR中，第2918-2928页[14] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。CVPR，第770-778页，2016年[15] 许正春、许光瑞、蔡中琪、林燕玉、庄永玉弱监督实例分割使用边界框紧密性先验。NeurIPS，32，2019。[16] Jaedong Hwang 、Seohyun Kim、 Jeany Son和BohyungHan。通过深度社区学习进行弱监督实例分割。在WACV，第1020-1029页[17] 赵尚贤和柳仁在Puzzle-cam：通过匹配部分和全部特征来改进本地化。在ICIP，第639[18] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。2015年，国际会议[19] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。NeurIPS，25，2012.[20] Shiyi Lan，Zhiding Yu，Christopher Choy，SubhashreeRad- hakrishnan ， Guilin Liu ， Yuke Zhu ， Larry SDavis，and An-ima Anandkumar. Discobox：弱监督的实例分割和来自框监督的语义对应。在ICCV，第3406-3416页[21] Hyeonsoo Lee和Won-Ki Jeong Scribble 2label：Scribble-通过自生成的伪标签进行监督细胞分割，具有一致性。在MICCAI，第14-23页[22] Seungho Lee ， Minhyun Lee ， Jongwuk Lee ， andHyunjung Shim.铁路不是火车：显着性作为弱监督语义分割的伪像素监督。在CVPR中，第5495-5505页[23] Vebjorn Ljosa ， Katherine L Sokolnicki ， and Anne ECarpenter.用于验证的注释的高通量显微镜图像集。Nature methods，9（7）：637[24] 菲利普·勒克斯和彼得·马图拉结合标记控制分水岭和深度学习的细胞分割。arXiv：2004.01607，2020。[25] Peer Neubert和Peter Protzel紧凑的分水岭和抢先切片：关于改进超像素分割算法的权衡InICPR，pages 996[26] KazuyaNishimura ， ChenyangWang ， KazuhideWatanabe，Ryoma Bise，et al.各种条件下的弱监督细胞实例分割。医学图像分析，73：102182，2021。[27] Hirohis aOda ， HolgerRRoth ， Kosuk eChiba ， JureSokolic' ， Takayuki Kitasaka ， Masahiro Oda ， AkinariHinoki ， Hiroo Uchida ， Julia A Schnabel 和 KensakuMori。Besnet：组织病理学图像中细胞的边界增强分割。在MICCAI，第228-236页[28] Adam Paszke ， Sam Gross ， Francisco Massa ， AdamLerer ， James Bradbury ， Gregory Chanan ， TrevorKilleen ， Zem- ing Lin ， Natalia Gimelshein ， LucaAntiga，et al. Pytorch：命令式的高性能深度学习库。NeurIPS，32，2019。[29] 曲辉，吴鹏翔，黄巧英，易静茹，阎振南，李康，格里高利M Riedlinger，Subhajyoti De，张少庭，Dimitris NMetaxas。组织病理学图像中基于局部点标注的弱监督深 核 分 割 IEEE transactions on medical imaging ， 39（11）：3655[30] Hui Qu，Jingru Yi，Qiaoying Huang，Pengxiang Wu，and Dimitris Metaxas.使用从不确定性中选择的混合点和掩模的细胞核分割。在ISBI，第973- 976页[31] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-网：用于生物医学图像分割的卷积网络在MICCAI，第234-241页3194[32] Korsuk Sirinukunwattana，David RJ Snead和Nasir M Ra-jpoot。结肠组织学图像中腺体结构的随机多边形模型。IEEE transactions on medical imaging，34（11）：2366[33] Carsen Stringer，Tim Wang，Michaelis Michaelos，andMarius Pachitariu. Cellpose ：细胞分割的通用算 法。Nature methods，18（1）：100[34] 田智，沈春华，王新龙，陈昊。Boxinst：具有框注释的高性能实例分割。在CVPR中，第5443-5452页[35] Vladim 'ırUlman ， Martin Mas Rankka ， Klas EGMagnusson ， Olaf Ronneberger ， Carsten Haubold ，Nathalie Harder ， Pavel Mat- ula ， Petr Matula ， DavidSvoboda，Miroslav Radojevic，et al.细胞跟踪算法的客观比较。Nature methods，14（12）：1141[36] Mitko Veta ， Paul J Van Diest ， Robert Kornegoor ，Andre 'Huisman，Max A Viergever和Josien PW Pluim。染色乳腺癌组织病理学图像中的金细胞核分割。PloSone，8（7