细胞的实例分割模型：基于变换器的语义感知和空间填充增强

5944SCTS：基于变换器的语义感知模型和空间填充增强周雅婷1，2，李文静1，2，葛阳1，2*1中国科学2中国科学院大学人工智能学院{zhouyating2020，wenjing.li} @ ia.ac.cn，{yangge} @ ucas.edu.cn摘要显微图像中单个细胞的实例分割对于定量分析其空间和形态特征具有重要意义，在疾病诊断和药物筛选等生物医学领域有着广泛的然而，细胞的高密度、紧密接触和弱为了克服这些挑战，我们开发了一种新的实例分割模型，我们称之为单细胞trans-former分割器（SCTS）。它利用Swin Transformer作为其骨干，结合了 Transformer 的 全 局 建 模 能 力 和 卷 积 神 经 网 络（CNN）的局部建模能力，以确保模型适应不同的细胞大小，形状和纹理。它还嵌入了一个三类（背景，细胞内部和细胞边界）的语义分割分支分类像素，并提供语义特征的下游任务。边界语义的预测提高了边界意识，前景和背景语义之间的区分提高了具有弱信号的区域中的分割完整性。为了减少对带注释的训练数据的需求，我们开发了一种增强策略，将单个细胞的实例随机填充到训练图像的开放实验表明，我们的模型在LIVECell数据集和内部数据集上的表现优于几种最 先 进 的 模 型 。 本 工 作 的 代 码 和 数 据 集 可 在https://github.com/cbmi- group/SCTS上公开访问。1. 介绍通过实例分割从显微镜图像中提取单个细胞在实例分割中，像素不*通讯作者。不仅必须被分类到不同的语义类中，而且还必须被分组到各个实例中。这是一项具有挑战性的任务，因为组织或培养物中的细胞通常具有高密度，紧密接触和弱边界。早期的模型，如U-Net [31]，在细胞图像的语义分割方面表现出色，但无法解析单个细胞。为了解决这个问题，通过将语义分割与不同的后处理策略相结合，开发了各种实例分割方法[33，4，36]。这些方法是直观的，并且对不同大小和形状的细胞显示出良好的适应性它们的性能也受到其后处理操作的限制。它们不能处理重叠的单元格，因为它们只能为每个像素分配一个实例标签。Mask R-CNN [15]是一个两阶段的实例分割网络，它首先使用区域建议网络（RPN）[29]生成一系列建议，然后对建议进行分类和坐标回归。 它可以处理存在重叠的图像对象之间的分割。然而，如图1所示，它往往会在细胞紧密接触的区域产生不正确的边界预测，并在弱信号区域产生不完整的分割掩模混合任务级联（HTC）[6]是对Mask R-CNN的改进。该算法引入了一个语义分割分支来区分真实的前景和杂乱的背景，这有助于在信号较弱的区域恢复丢失的检测，但也带来了将紧密接触的不同细胞合并到一个实例中的副作用。总体而言，卷积神经网络（CNN），如U-Net和Mask R-CNN，通常用于视觉任务，并取得了令人印象深刻的性能。然而，它们很难捕获长范围的依赖关系，因为它们受到卷积核大小的限制。这种限制反过来又使下游任务难以适应单元形状、大小和纹理的变化。Transformer架构提供了一种有效的解决方案来克服这些缺点[24]。在这5945图1：Mask R-CNN与本研究中开发的SCTS模型的性能比较（a）原始图像。（b）基本真相。(c)Mask R-CNN的预测(d)SCTS的预测椭圆形突出显示信号较弱区域的预测。白色矩形框突出显示紧密接触下的边界预测和细胞的扩散边界。研究，受上述模型的 启发，我们提出了一个基于transformer的语义感知架构，用于完全端到端的单细胞实例分割。它解决了单细胞实例分割中的几个关键问题。首先，细胞在大小和形状上表现出很大的变化CNN很难处理这些变化。我们引入Swin Transformer[24]作为骨干网络，它可以有效地捕获全局信息和长距离依赖关系，并且可以更好地适应细胞形状和大小的变化。其次，在细胞密度高的情况下，现有方法难以识别细胞边界。我们嵌入了一个三级语义分支来区分背景、细胞边界和细胞内部，以更好地区分紧密接触的细胞。第三，显微镜图像的手动注释仍然是费力和耗时的。我们提出了一种新的策略来增强小规模数据集。总之，我们做出了以下研究贡献：• 我们已经开发了一种新的模型，例如单细胞的分段。为了确保其对细胞大小，形状和纹理变化的适应性，它采用Swin Transformer作为骨干网络来建模全局和局部特征。• 我们建议在Transformer主干中嵌入一个三类语义分支，以有效地捕获语义信息。边界语义的预测提高了细胞边界的区分度，前景和背景语义的预测提高了分割完整性弱信号.• 我们已经开发了一种新的数据增强策略命名为空间填充，它有效地和大幅增加训练图像填充细胞实例随机到其无对象的背景区域。2. 相关工作2.1. 单细胞单通道显微镜图像的语义分割将其像素分为两个语义类别：前景和背景。全卷积网络（FCN）[25]是早期的语义分割模型之一。它使用完全卷积的神经网络，大大提高了语义分割的准确性。但由于没有考虑上下文 信 息 ， 其 分 割 结 果 往 往 细 节 不 佳 。 基 于FCN ，Ronneberger及其同事提出了U-Net，它使用U形编码器-解码器架构，通过跳过连接将低分辨率和高分辨率信息结合起来。U-Net在医学图像上取得了良好的尽管如此，它的架构并不是设计来处理单个单元格的实例分割的。一些研究已经提出通过结合后处理操作将语义分割扩展到实例分割[1，4，14，30，33，36]。例如，Greenwald及其同事提出了一种名为Mes-mer [14]的方法，该方法将实例分割分为两个像素，5946水平预测任务。第一个任务预测像素是在第二个任务预测细胞内每个像素到细胞质心的距离。最后，对预测结果执行分水岭分割算法这些方法具有直观性和解释性，但其分割精度受到其后处理策略的限制。它们不能处理重叠的单元格。受 益 于 诸 如 R-CNN [13]及 其 变 体 [3 ，12 ， 29]，YOLO [28]和SSD [23]等检测模型，例如分割的另一种常见策略是结合检测和分割的两阶段方法。该策略的示 例 包 括 FCIS [19] ， Mask R-CNN ， MaskLab [8] ，Mask Scoring RCNN [17]，HTC [6]和PointRend [18]。这些方法首先使用卷积层提取ROI，然后对每个ROI执行分割和分类。它们可以处理重叠的对象，但在细胞图像中常见的紧密接触、扩散边界和弱信号区域处的分割效果较差一些研究将像素级分类任务转换为像素级回归任务，以实现实例分割[27，32，35，38，39，40]。例如，Stardist方法[32]将实例分割任务转换为每个图像对象轮廓上具有固定数量点的预测问题。对于每个像素，Stardist预测其对象类概率和由径向距离参数化的星凸多边形MultiStar [35]和SplineDist [27]是Stardist方法的进一步扩展然而，由于其模型表示的限制，这些方法在非凸对象上的性能较差2.2. 视觉Transformer尽管基于CNN的细胞实例分割方法取得了成功，但由于 卷积核 的限制 ，CNN 难以 捕获近 年来， 基于Transformer的方法在分类、检测、分割等视觉任务中取得了优异的检测Transformer（DETR）[5]是第一个基于Transformer的端到端对象检测模型。它将对象检测任务视为集合预测问题，消除了许多手工操作，例如非最大抑制或锚点生成。它实现了与Faster R-CNN相当的准确性和运行时间。Vision Transformer（ViT）[10]将纯Transformer应用于图像块序列，并在图像分类任务中取得了有希望的结果。Swin Transformer解决了从文本到图像迁移所面临的图像分辨率高、变化大的问题。它将Transformer扩展到像素级密集预测任务，层次特征它在多视觉任务上的优异性能表明它有潜力成为视觉任务的通用骨干网络。在本研究中开发的实例分割模型中，我们采用Swin Transformer作为骨干网络来捕获长距离依赖关系和全局上下文信息，这对于模型适应不同的细胞大小，形状和纹理至关重要。3. 方法3.1. 体系结构概述我们的实例分割模型是对Mask R-CNN的改进，Mask R-CNN是一个两阶段的实例分割模型。在第一阶段，Mask R-CNN通过其RPN生成一系列候选对象边界框在第二阶段，Mask R-CNN通过RoIAlign从每个候选框中提取ROI，然后通过其检测头对ROI进行分类和边界框回归，并通过其分割头对ROI进行二进制分割（图2d）。图2给出了我们提出的模型体系结构的概述。与Mask R-CNN相比，我们的模型在以下关键方面有所不同：（a）它采用Swin Transformer而不是ResNet [16]作为骨干网络，以确保模型对细胞大小，形状和纹理的适应性（图2a，第3.3节）。(b)它嵌入了一个语义分割分支来区分背景、细胞内部和细胞边界，以提高下游任务的边界感知和前景完整性（图2c，第3.4节）。(c)在每个批次之前，它通过使用下文所述的空间填充增强策略将单个细胞的实例随机填充到训练图像的开放空间中来在线增强训练图像（图2e，第3.2节）。3.2. 空间填充增强策略在实际应用中，标记的生物医学图像往往是有限的，并且标记的成本很高。为了充分利用可用的注释训练数据并提高训练图像的多样性工作流程如图3所示，它包括两个步骤：数据库构建和空间填充。在数据库构建步骤中，利用实例的边界框标注和分割标注，裁剪出细胞实例区域的图像最后，我们收集所有的实例图像。在空间填充步骤中，我们首先从cell数据库中随机选择特定数量的cell实例然后，我们使用旋转和随机图像强度变换等策略对实例进行变换。最后，我们将单个细胞实例的前景映射到训练图像的开放空间上，其中训练图像对象和5947图2：所提出的模型的概述（a）Swin-Tiny主干网。（b）特征金字塔网络（FPN）[21]。（c）三类语义分割分支。（d）下游检测和分段任务。（e）空间填充增强策略和语义标签生成流程。(f)Swin Transformer模块的详细结构。插入的实例图像对象为空。这种增强是在训练过程中在线进行的，因此即使对于同一张训练图像，每批处理的结果也是不同的，这有效地增加了训练图像的多样性，减少了人工标注的需要。图3：使用空间填充策略进行数据扩充的工作流程.3.3. Swin Transformer主干Swin Transformer包含四个版本：Swin-Tiny、Swin-Small、Swin-Base和Swin-Large，其中每个版本的模型大小和计算复杂度都是前一个版本的两倍。在这项研究中，我们使用Swin-Tiny。其整体架构如图2a所示。它包含四个阶段，从阶段1到阶段4的Swin Transformer块的数量分别为2、2、6和2。对于输入图像，Swin-Tiny首先通过补丁分区操作将其划分为不重叠的在我们的实现中，我们将补丁大小设置为4×4。对于RGB图像，每个补丁的尺寸为4×4×3。 然后，Swin-tiny在原始特征上应用线性嵌入层，将其转换为任意维度。接下来，Swin-Tiny通过几个Swin Transformer块处理特征，并采用补丁合并层来连接每组2×2相邻的特征以实现下采样。阶段2、3、4以类似的方式构造，5948C. .ΣΣ.. ΣΣ..ΣΣCCCCΣ过程和这些阶段的输出被组合成一个样本n的真实类是c，否则为0。y（n）de-分层表示Swin Transformer Block。图2f示出了Swin Transformer块的详细结构，其中MLP表示多层感知器模块，LN表示层规范模块，W-MSA表示多头自适应模块。表示块1的（S）W-MSA模块的输出特征，SW-MSA表示移位窗口多头自注意模块，SW-MSA表示块1的（S）W-MSA模块的输出特征块1的MLP模块的输出特征。Swin Transformer块可以由以下方程组概括：fl=W-MSALNfl−1+fl−1，fl=MLPLNfl+fl，f1+ 1=SW-MSALNf1+f1，fl+1=MLP。LN.fl+1（一）3.4. 语义分割分支图1突出显示了在使用Mask R-CNN（例如分割）时，信号弱的区域中的不完整分割结果和细胞紧密接触区域中的边界预测 受HTC的启发，我们通过设计具有三类标签的语义分割分支来解决这些问题：背景、单元内部和单元边界。语义标签生成。 图2e示出了语义标签生成的工作流程。对于输入图像，我们首先使用空间填充策略执行数据增强。然后，我们根据分割注释为每个实例分配不同的像素值接下来，我们对掩码进行下采样，以在大小上与用于损失计算的语义预测的形状相匹配最后，我们将skimage库的findboundaries函数应用于掩码，以生成细胞边界、细胞内部和背景的三级语义标签具体地，细胞边界类的语义类细胞内部的语义类别由前景像素而不是一个像素宽的边界组成剩余的像素被分配到背景的语义类。语义分割损失。对于语义分割分支，我们使用以下加权交叉熵损失函数：注意样本N属于类别C的概率。我们为不同的语义类分配不同的损失权重，以平衡类之间的关系。在消融研究中，我们探讨了不同权重的细胞边界的效果。详见第4.6节。语义分割架构。语义分割分支的网络在1×1卷积和逐元素求和之后，FPN的层级特征被下采样到相同的大小。通过4个3×3卷积层进一步提取特征，然后分成两个分支。一个分支计算预测和语义分割标签的交叉熵损失。另一个分支被添加到随后的检测和分割分支。图4：来自LIVECell和HEK293T数据集的代表性样本。(a)LIVECell数据集中具有不同密度的图像的示例。浅棕色箭头所示区域由于细胞密度高而未标记(b)LIVECell数据集中不同细胞类型的示例从左至右：SKOV3，Huh7，SHSY5Y，BT474。（a）和（b）中的白色轮廓是为了可视化而绘制的。(c)HEK293T数据集的示例（d）对应于HEK293T数据集的图像的注释。相应的注释和图像显示HEK293T数据集的图像亮度不均匀。许多地区信号微弱。1损失= N最小cy（n）log.y（n）Σ，（2）4. 实验n=1c=1其中N表示样本的数量，C表示语义类的数量，并且wc表示类c的损失权重。y（n）是符号函数，当4.1. 数据集LIVECell是一个大规模的公共数据集，由5239张相差显微镜图像组成，总数为1，686，352张N5949来自八种不同细胞类型的细胞实例[11]。为了在性能比较中保持一致，我们将数据集划分 LIVECell中的图像具有两个显著特征。首先，它们显示细胞密度的大变化，具有从初始接种期生长到完全汇合单层的细胞的图像（图4a）。在完全融合的情况下，尺寸为704×520的LIVECell图像可以包含超过3000个实例，这使得即使 对 于 人 眼 也 难 以 准 确 识 别 细 胞 边 界 。 其 次 ，LIVECell数据集中的细胞显示出各种各样的大小和形状（图4 b），包括小而圆的BV-2细胞、大而平的SK-0V-3细胞和伸长的SH-SY 5 Y细胞。细胞的高密度和广泛的种类对算法的设计提出了实质性的挑战HEK293T是通过共聚焦显微镜成像的HEK293T细胞的小规模内部数据集。它被划分为108个训练图像和37个测试图像，总共有2012个训练实例和576个测试实例。其特征在于不均匀的细胞亮度和一些弱信号区域的存在（图4c-d）。我们首先通过旋转，翻转，模糊和强度变换将其增强为3240个训练图像。在训练期间，使用空间填充策略进一步在线增强4.2. 绩效评估指标我们使用标准的COCO评估指标[22] AP（平均精度），它是在0.5到0.95的区间内的交集对并集（IoU）阈值的平均值。0.05 [22]。具体地，AP bbox表示小区检测的AP，APsegm表示小区实例分割的AP，AP 0。5，AP 0。75表示AP处于IoU阈值0.5，分别为0.754.3. 实现细节我们在PyTorch中实现了我们的网络模型，使用在ImageNet-22 K上预训练的Swin-Tiny模型作为骨干网络。我们的模型是用AdamW优化器训练的，学习率为0.0001，权重衰减为0.05。对于语义分割分支，我们使用预测和地面实况之间的交叉熵损失函数，并在损失函数中将背景，细胞内部和细胞边界的权重分别设置为1，1和3对于LIVECell数据集，我们遵循与[11]相同的设置。在训练过程中，我们使用16的批量大小（每个GPU分配两个），并将图像的短边设置为（440，480，520，580，620），以便网络从序列中随机选择短边，并以相同的比例改变长边考虑到大量的注释数据，不会在此数据集上执行空间填充增强。每个模型训练大约140个epoch。对于HEK293T数据集，我们保持图像分辨率的1200×1200，并使用空间填充数据增强在线扩展数据集。我们用36个epoch训练我们的网络，批量大小为32。4.4. HEK293T数据集表1总结了所提出的模型与广泛使用的实例分割模型的性能 比较在没 有级联的 情况下， 我们的方 法在APbbox上提高了2.0%，在APsegm上提高了1.6%，超过了性能最好的MViTv2模型。我们的方法在0.75的IoU下对APsegm的性能改进最显著，与具有ResNet-50主干的Mask R-CNN相比，APsegm的性能提高了10.4%当使用级联策 略 时 ， 我 们 的 方 法 在 APbbox 上 提 高 了 3.1% ， 在APsegm上提高了3.6%，超过了使用ResNeST [41]-50主干的性能最好的级联掩码R-CNN。图5a显示了我们的模型与竞争模型的定性比较结果。Mask R-CNN、PointRend和MViTv 2由于缺乏语义信息，往往会在信号较弱的区域产生缺失检测和不完整的分割结果。HTC融合了前景和背景的语义分支，使得前景和背景语义的区分避免了在弱信号区域分割不完全的问题然而，这种策略也会导致模型将紧密接触的单元格合并为一个实例预测。由于该模型充分利用了上下文语义信息和边界信息，因此在信号较弱和细胞接触较紧密的区域表现良好。4.5. LIVECell数据集表2总结了我们模型的LIVECell数据集与HEK293T数据集上测试的相同模型集的性能比较使用Cascade MaskR-CNN的分割结果基于ResNeSt-200- DCN [9]主干，如[11]所示，而其他模型基于detectron 2 [37]复制。在没有级联的情况下，我们的方法在AP段中比性能最好的MViTv2模型获得了1.1%的增益。当使用级联策略时，我们的模型与具有ResNeSt-200-DCN主干的性能最佳的Cascade Mask R-CNN相比，实现了近似相同的AP bbox和0.8%的AP段增益，但使用了更少的参数（29 M vs. 70M）和更低的FLOP（4.5G与17.5G）。图5b显示了我们的模型与竞争模型的定性比较结果。第1行和第2行中的结果表明，对于细长细胞，Mask R-CNN，HTC和PointRend难以捕获长距离依赖性，而我们的模型和基于Transformer的MViTv 25950图5：HEK293T和LIVECell数据集的定性结果（a）我们的方法在HEK293T数据集上与竞争模型的定性结果（b）我们的方法在LIVECell数据集上与竞争模型的定性结果MRCNN：掩码R-CNN，GT：GroundTruth。椭圆形突出显示信号较弱区域的预测。白色矩形框突出显示紧密接触下的边界预测和细胞的扩散边界。红色矩形框突出显示将紧密接触的单元格合并为一个实例的区域中的预测。0的情况。5 0的情况。750的情况。5表1：不同实例分割模型在HEK293T数据集上的性能比较模型可以做出准确的预测。这表明Swin Transformer主干帮助我们的模型适应不同的细胞形状和大小。从第3行和第4行可以看出，我们的模型对具有紧密接触细胞的细胞给出了比竞争模型更好的预测。这表明边界语义标签的预测有助于模型区分紧密接触的细胞。4.6. 消融研究网络组件的影响首先，我们在HEK293T数据集上评估单个网络组件和组合的贡献。结果总结在表3中，每个组件都带来性能增益，并且组件的组合执行最佳精度。在表4中，我们还评估了LIVECell数据集上组分的贡献，它获得了与HEK293T数据集类似的改进这证明了单个组件及其组合的有效性。不同语义分割对交叉熵损失权值的影响。 对于加权交叉熵损失，我们研究了不同语义类权重对模型性能的影响。基于没有级联的SCTS，我们将背景和单元内部损失的权重都设置为1，并分别研究单元边界损失权重从1到5的性能（图6a）。当边界损失的权重为3时，APbbox和APsegm的性能都达到最佳。我们在LIVECell验证集上进行了相同的实验（表5），结果显示：方法主干APbboxAPbboxAPbboxAP段AP段AP段0的情况。75Mask R-CNNResNet-5044.779.547.145.381.047.2Mask R-CNN[41]第四十一话46.280.548.046.581.249.4Mask R-CNN小猪47.181.951.048.384.251.0[18]第十八话ResNet-5046.781.148.746.682.150.5[20]第二十话MViTv 2-微型49.084.351.350.085.254.0SCTS小猪51.086.253.451.685.957.6级联掩码R-CNNResNet-5046.978.550.247.080.551.4级联掩码R-CNNResNeST-5048.480.852.148.783.551.3混合任务级联ResNet-5048.382.040.948.583.152.7级联SCTS小猪51.585.354.152.386.157.45951级联掩码R-CNNResNeST-200-DCN [9]48.5 47.9(a)（b）第（1）款图6：语义分割交叉熵损失权重和HEK293T数据集上不同数量的实例插入的消融研究。(a)语义分割的影响损失的重量。(b)不同数字Cascade SCTS Swin-Tiny48.6 48.7表2：LIVECell测试集上不同实例分割模型的性能比较。Swin-T语义S-F级联APbboxAP段- -45.746.4✓- -48.349.6- 我...47.247.7- -48.248.8- --47.347.5我...49.250.6你好，51.051.6✓ ✓ ✓ ✓51.552.3表3：网络组件对HEK293T数据集影响的消融研究。Swin-T：Swin-Tiny骨干网络，Semantic：语义分支，S-F：空间填充增强。级联：网络级联架构。- --43.145.1✓--44.746.7✓ ✓-45.747.6✓ ✓✓48.648.7表4：网络组件对LIVECell测试集影响的消融研究。结果与HEK293T数据集相似因此，我们将边界类的损失权重设置为其他两个类的三倍。WAPbboxAPsegm146.748.3246.748.4346.848.4446.748.2546.748.2表5：边界语义类损失权重对LIVECell验证集的影响。W：边界语义的实例插入。不同实例插入数量的影响使用HEK293T数据集，我们探索了使用空间填充策略插入不同实例数量的影响我们使用没有网络级联的语义分支，并使用0，5，10，20，50和100个插入进行实验（图6b）。最初，随着插入次数的增加，性能逐渐提高，然后性能下降，这可能是因为在过多的插入次数下，训练集和测试集的分布之间的差距当插入的数目为10.在一般情况下，我们发现，插入的数量应该根据实际应用的训练集和测试集的分布设置。特别是对于HEK293T数据集，训练集和测试集的分布类似，只需要少量的插入。5. 结论在这项研究中，我们已经开发了SCTS，一种新的模型，例如分割的单细胞使用Swin trans-former骨干和三类语义特征嵌入。我们还开发了一种新的增强策略，称为空间填充，以提高训练图像的多样性。实验表明，我们的模型在LIVECell和我们的内部数据集上的性能优于几种最先进的模型。我们的模型也有其局限性，我们将在补充材料的讨论部分中解决这些问题。在细胞密度极高的情况下进行单细胞分割是我们未来研究的方向之一。6. 致谢本 工 作 得 到 国 家 自 然 科 学 基 金 （ 31971289 和91954201）的部分资助。中国科学院战略重点研究计划（XDB37040402，G.Y.）。方法骨干APbboxAP段Mask R-CNNResNet-5042.944.8Mask R-CNNResNeST-5043.945.5Mask R-CNN小猪45.046.2点趋势ResNet-5044.444.7MViTv2MViTv 2-微型45.546.5SCTS小猪45.747.6级联掩码R-CNNResNet-5045.445.6级联掩码R-CNNResNeST-5047.146.8混合任务级联ResNet-5045.845.8Swin-T语义级联APbboxAP段5952引用[1] 白敏和拉奎尔·乌塔孙 用于实例分割的深分水岭变换。在IEEE计算机视觉和模式识别会议论文集，第5221-5229页[2] Feng Bao，Yue Deng，Sen Wan，Bo Wang，QionghaiDai，Steven J Altschmidt，and Lani F Wu.通过单细胞形态和转录状态的组合分析表征组织组成。自然生物技术，2022年。[3] 赵伟蔡和努诺·瓦斯康塞洛斯。Cascade r-cnn：深入研究高质量的对象检测。在IEEE计算机视觉和模式识别会议论文集，第6154-6162页[4] Juan C Caicedo，Jonathan Roth，Allen Goodman，TimBecker ， Kyle W Karhohs ， Matthieu Broisin ， CsabaMolnar ， Claire McQuin ， Shantanu Singh ， Fabian JTheis，et al.用于荧光图像中细胞核分割的深度学习策略的评估细胞计数A部分，95（9）：952[5] 尼古拉斯·卡里昂、弗朗西斯科·马萨、加布里埃尔·辛纳夫、尼古拉斯·乌斯尼尔、亚历山大·基里洛夫和谢尔盖·扎戈鲁伊科。使用变压器进行端到端对象检测。在European Conference on Computer Vision中，第213-229页。Springer，2020年。[6] Kai Chen，Jiangmiao Pang，Jiaqi Wang，Yu XiaoLi，Shuyang Sun，Wansen Feng，Ziwei Liu，Jianping Shi，Wanli Ouyang ，et al. 实例分段的混合任务级联。在IEEE/CVF计算机视觉和模式识别集，第4974[7] Kai Chen，Jiaqi Wang，Jiangmiao Pang，Yuhang Cao，Yu Xiong，Xiaoxiao Li，Shuyang Sun，Wansen Feng，Ziwei Liu ， Jiarui Xu ， Zheng Zhang ， Dazhi Cheng ，Chenchen Zhu ， Tian-heng Cheng ， Qijie Zhao ， BuyuLi，Xin Lu，Rui Zhu，Yue Wu，Jifeng Dai，JingdongWang ， Jianping Shi ， Wanli Ouyang ， Chen ChangeLoy，and Dahua Lin.MM检测：打开mmlab检测工具箱和基准测试。ArXiv预印本ArXiv：1906.07155，2019。[8] Liang-ChiehChen ， AlexanderHermans ， GeorgePapandreou，Florian Schroff，Peng Wang，and HartwigAdam.Masklab：通过细化具有语义和方向特征的对象检测来进行实例分割。在IEEE计算机视觉和模式识别会议论文集，第4013-4022页[9] Jifeng Dai，Haozhi Qi，Yuwen Xiong，Yi Li，GuodongZhang，Han Hu，and Yichen Wei.可变形卷积网络。在IEEE计算机视觉国际会议论文集，第764-773页[10] AlexeyDosovitskiy、LucasBeyer、AlexanderKolesnikov、Dirk Weissenborn、Xiaohua Zhai、ThomasUnterthiner 、 Mostafa Dehghani 、 Matthias Minderer 、Georg Heigold、Syl-vain Gelly、Jakob Uszkoreit和NeilHoulsby。一张图片相当于16x16个单词：用于大规模图像识别的变压器在国际学习代表会议上，ICLR，2021年。[11] Christoffer Edlund、Timothy R Jackson、Nabeel Khalid、NicolaBevan 、Timothy Dale 、 Andreas Dengel 、SherazAhmed、JohanTrygg和RickardSjogren。Liv ecell-alar ge-scale用于无标记活细胞分割的数据集Nature Methods，18（9）：1038[12] 罗斯·格希克。快速R-CNN。IEEE国际计算机视觉会议论文集，第1440-1448页，2015年[13] Ross Girshick，Jeff Donahue，Trevor Darrell和JitendraMalik。丰富的特征层次结构，用于精确的对象检测和语义分割。IEEE计算机视觉和模式识别会议论文集，第580-587页，2014年[14] NoahF Greenwald ， Geneva Miller， Erick Moen ， AlexKong ， Adam Kagel ， Thomas Dougherty ， ChristineCamacho Full- away ， Brianna J McIntosh ， Ke XuanLeow，Morgan Sarah Schwartz，et al.使用大规模数据注释和深度学习，以人类水平的性能对组织图像进行全细胞分割。Nature Biotechnology，40（4）：555[15] 何开明、吉欧吉亚·吉欧萨里、彼得·多尔和罗斯·吉尔希克.面具R-CNN。在IEEE计算机视觉国际会议论文集，第2961-2969页[16] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习在IEEE计算机视觉和模式识别会议论文集，第770-778页[17] Zhaojin Huang，Lichao Huang，Yongchao Gong，ChangHuang ， and Xinggang Wang. 面 具 得 分 r-cnn 。 在IEEE/CVF计算机视觉和模式识别会议的论文集中，第6409-6418页[18] 亚历山大·基里洛夫，吴宇新，何开明，罗斯·吉尔希克.点趋势：图像分割作为渲染。在IEEE/CVF计算机视觉和模式识别会议上，第9799-9808页，2020年[19] 李毅、齐昊之、戴季风、季向阳、魏一完全卷积的实例感知语义分割。在IEEE计算机视觉和模式识别会议论文集，第2359-2367页[20] Yanghao Li ， Chao-Yuan Wu ， Haoqi Fan ， KarttikeyaMan-galam，Bo Xiong，Jitendra Malik，and ChristophFeichten- hofer. Mvitv2：改进的多尺度视觉变换器，用于分类和检测。IEEE/CVF计算机视觉和模式识别会议论文集，第4804-4814页，2022年[21] 林宗义、多拉尔、葛希克、何凯明、哈里哈兰、贝隆吉.用于对象检测的特征金字塔网络。在IEEE计算机视觉和模式识别会议论文集，第2117-2125页[22] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。微软coco：上下文中的公用对象。欧洲计算机视觉会议，第740-755页。Springer，2014.[23] Wei Liu，Dragomir Anguelov，Dumitru Erhan，ChristianSzegedy，Scott Reed，Cheng-Yang Fu，and Alexander CBerg.Ssd：单发多盒探测器。欧洲计算机视觉会议，第21-37页。施普林格，2016年。[24] Ze Liu，Yutong Lin，Yue Cao，Han Hu，Yixuan Wei，Zheng Zhang ， Stephen Lin ， and Baining Guo. SwinTransformer：5953使用移位窗口的分层视觉Transformer。IEEE/CVF计算机视觉国际会议论文集，第10012-10022页，2021年[25] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议的论文集，第3431-3440页[26] Sophia K Longo，Margaret G Guo，Andrew L Ji，andPaul A Khavari.整合单细胞和空间转录组学以阐明细胞间组织动力学。Nature Reviews Genetics，22（10）：627[27] 索哈姆·曼达尔和奥莉薇·乌尔曼Splinedist：使用样条曲线进行自动细胞分割。2021年IEEE第18届国际生物医学成像研讨会（ISBI），第1082-1086页IEEE，2021。[28] Joseph Redmon，Santosh Divvala，Ross Girshick，andAli Farhadi. 只需查看一次：统一的实时物体检测。在IEEE计算机视觉和模式识别会议论文集，第779-788页[29] 任少卿、何开明、罗斯·格尔希克、孙健。更快的r-cnn：利用区域建议网络进行实时目标检测。神经信息处理系统的进展，2015年28日。[30] Jos BTM Roerdink和Arnold Meijster。分水岭变换：定义、算法和并行化策略。Fundamenta Informaticae，41（1-2）：187[31] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页。施普林格，2015年。[32] Uwe Schmidt，Martin Weigert，Coleman Broaddus，andGene Myers.星凸多边形细胞检测。医学图像计算和计算机辅助干预国际会议，第265-273页。Springer，2018.[33] Carsen Stringer，Tim Wang，Michaelis Michaelos，andMarius Pachitariu. Cellpose ： 细 胞 分 割 的 通 用 算 法 。Nature Methods，18（1）：100[34] 蒂姆·斯图尔特和拉胡尔·萨蒂亚。综合单细胞分析。Nature Reviews Genetics，20（5）：257[35] Florin C Walter ， Sebastian Damrich ， and Fred AHamprecht.Mult