细胞实例分割的少镜头域自适应算法

455细胞转置：细胞实例分割的少镜头域自适应算法马修河 基顿·拉姆西弗吉尼亚大学Morgantown，WV 26506{mrkeaton，rz0012，gidoretto} @ mix.wvu.edu摘要自动细胞实例分割是过去二十年来用于加速生物学研究的过程，并且最近的进展产生了更高质量的结果，生物学家的工作量更少。目前大多数的努力都集中在通过生成高度通用的模型来完全切断研究人员的参与。然而，当面对新数据时，这些模型通常会失败，这些数据的分布与用于训练的数据不同。在这项工作中，我们解决了设计一种方法的更大挑战，这种方法需要最少的新注释数据和训练时间，而不是用假设我们通过设计特殊的对比损失来做到这一点，这些损失非常有效地利用了少数带注释的样本。大量的结果表明，3到5个注释导致模型具有以下精度：1）显著减轻协变量偏移效应;2)匹配或优于其他适应方法; 3）甚至接近已经完全重新训练过的目标分布的方法。适应性训练只有几分钟，为模型性能、计算要求和专家级注释需求之间的平衡铺平了道路。1. 介绍通过计算机视觉技术自动化科学成像数据的分析随着我们的领域的成熟而变得越来越有说服力。为了加速科学发现，最近开发了基于神经网络的方法来自动分割和计数实验室产生的成像数据中的细胞的个体实例[44，51，14]。这种类型的数据采集表现出显着的变量-这是由于所使用的各种成像模式、不同类型的组织以及它们如何被处理。当前针对细胞实例分割这一特定任务的方法主要基于监督学习。它们在大型数据集上进行训练，以弥补它们要使用的新数据的多样性。然而，要处理的新数据很可能不会以与用于训练模型的数据相同的方式分布，因此，它们将执行任务，通常精度令人失望。为了解决这个协变量转移问题[42]，显而易见的解决方案是重新训练模型，这是昂贵和耗时的，因为它需要手动注释我们正在寻求自动处理的大量新目标数据另一种方法是使用域自适应方法，它试图使模型适应目标数据分布。用于分割的当前域适应方法基本上是针对成像模态或与细胞实例分割非常不同的特定任务或应用而定制的一些有前途的工作已经在无监督的方式解决了这个问题[26，27]。但是这些方法假设大部分和大量的目标数据可用于进行相对密集的训练以适应模型。在这项工作中，我们提倡一个更实用和可扩展的解决方案，以满足推广的需要我们假设用于分割实例（如细胞体、膜或细胞核）的模型已经在源数据集上进行了训练。然后，通过仅标注目标数据集的少数样本，我们调整模型，以较低的训练预算，很好地概括新的分布。我们介绍CellTranspose，一种新的方法，实现了刚才描述的范例，用于细胞实例分割的少量监督适应该方法建立在一个国家的最先进的模型，我们介绍了新的损失和训练过程的456模型快速适应新数据。我们的框架允许广泛的数据被适当地分割，超出了当前通才方法的能力我们表明，只有少量的目标数据集上的注释需要模型学习产生高保真分割，并证明这两个2-D和3-D数据。特别是，很少有注释样本也足以达到与无监督适应模型相当的适应水平。此外，与从头开始训练具有类似精度的模型相比，CellTranspose提供了更快的训练方案2. 相关工作2.1. 细胞实例分割当 前 用 于 细 胞 实 例 分 割 的 顶 级 方 法 是 Cellpose[44]。像许多最近的分割算法一样，Cellpose就其本身而言，这仅产生语义分割：输出掩码仅确定每个像素的类别（前景/细胞或背景），使得当它们聚集在一起时不可能在单个细胞之间进行描绘Cellpose的灵感来自于trans-watershed算法[3]和基于梯度的深度姿态识别算法OpenPose [5]，Cellpose包含两个额外的输出，对应于朝向每个像素的关联细胞源位置的预测梯度，一个在x方向上，一个在y方向上通过迭代过程，每个像素的梯度被跟随到相邻像素，直到遇到表示细胞中心的每个直接链接到源的像素然后被认为是细胞实例的一部分，以这种方式构建单个细胞的分割。最近提出了其他细胞分割方法与Cellpose类似，Mesmer [14]代表了“深分水岭”算法的另一种变体StarDist [40]和StarDist-3D [51]预测对象中心，然后近似计算从给定位置到与中心成固定角度的细胞边界的距离。然后将这些预测定义的点连接到每个相邻点，以产生细胞掩模的轮廓其他方法包括NuSeT [57]，它也建立在分水岭算法的基础上，以及DenoiSeg [4]，它利用联合学习策略与去噪任务相结合，以在噪声样本上产生更好的准确性。2.2. 医学成像深度学习实践中的一个常见问题是，许多任务缺乏标记数据，并且为了适当地训练模型而产生大量昂贵的注释是不切实际的要求。尽管已经做出了许多努力来产生对于特定任务在不同数据集上不变的“通用”模型，但是在数据具有固有的高可变性的现实世界应用中这样做是难以处理的域自适应允许采用在大型数据集上训练的高性能模型，并使其适应于表示某些目标域的新数据这使得模型能够利用从较大的源数据集获取的学习的低级特征，同时调整到目标数据集的特定特征，从而需要较少的目标数据。由于对手动注释的依赖性较低，从专家的角度来看，大量关于基于域自适应的方法的研究已经在医学成像领域展开[15，53]。除了针对各种成像模态（包括脑肿瘤[10，47，12]、全组织[65]和细胞器[2]）的语义分割的几种域自适应方法之外，还针对语义分割[55，22，19，49，36，9，1，11，21，20，63，62，7，54，56，37，41，35，23]和更具挑战性的情况分段任务[26，27，58，24]已经提出。通常，这些无监督方法旨在学习给定目标域的表示而不使用任何注释。这大大减少了对医学专家的输出的需要，同时产生比非适应模型更好的分割。然而，这伴随着与模型准确性和训练方案的明显权衡，以及更复杂的模型架构，导致训练时间大幅增加。还存在对来自目标数据的分割的形状和相对大小的内在期望，以与源数据集的形状和相对大小紧密匹配，从而将此类方法约束于细胞核分割而不是更异质的全细胞分割。这些方法也明显不是2.3. 少量域自适应为了适应许多现实世界的设置，一组技术被称为“少数”域适应的目的是平衡的需求与整体模型性能的注释由于给定任务通常至少有一个大型数据集可用，因此可以避免少数学习本身带来的许多弱点一些流行的技术，用于解决域自适应与有限数量的457DDDDD图1. 显微镜数据的变异性。 突出显示细胞图像变异性的图像样本。 从左至右：具有来自BBBC 006的Hoechst和鬼笔环肽染色的人U20 S细胞[29];用鬼笔环肽和DAPI染色标记的神 经 母 细 胞 瘤 细 胞 ， 来 自 Cell Image Li-2014 [60]; 来 自Tissuenet的通过共检测（CODEX）成像的GI组织细胞[14];乳腺癌细胞，使用来自TNBC的苏木精和伊红（&HE）染色[34]。目标样本包括利用对抗技术来增加源和目标域之间的混淆[32]，使用元学习方法将来自一个域的任务用于较小的新域中的对抗学习任务[39]，以及基于来自少数目标样本的学习嵌入生成原型类型[64]，这是一种常见于少数学习的技术其中一个已被证明在多种范式中有效的方法是使用对比损失[16]。对比损失函数鼓励来自目标域的每个样本被类似地表示为源域中的同一类的一个或多个样本（正样本），同时将其表示推离源域内的其他类的样本（负样本）这种方法已经证明在许多场景中是成功的，包括域自适应[25，50，28]，无监督学习[48，66，30，45，18，6]，自我监督学习-ing [8，59，31]，元学习[39]，甚至是少数域适应[33]。3. 问题定义我们感兴趣的是分割的实例，如细胞体，膜，或细胞核中存在的细胞图像。这样的图像结构具有显著的可变性，因为它们是用各种显微镜技术获得的，来自不同范围的组织，并且呈现非常不同的形状。见图1因此，即使是最先进的监督基于实例的分割方法[44，14]，声称提供了一个通用的解决方案，不幸的是，当面对目标数据进行再训练的模型可以，我们重新定义的问题之一，少数拍摄学习。其目的是显着扩大由当前通才解决方案处理的图像可变性的范围。具体来说，给定由标记图像组成的源数据集s，可以用其训练通才模型，学习任务是使这样的模型适应于在目标数据集t上很好地泛化，目标数据集t的分布不同于s。为了执行这样的适应，要求用户仅标记最少量的目标数据，让我们说K个数据实例用于K次学习。在第4.2.3节中，我们澄清了单次发射的含义。注意，对通才模型由于明显的过拟合挑战[13]，在非常少的目标样本上进行自适应训练不是可行的解决方案，这就是为什么我们引入了一种方法，该方法旨在在要注释的目标数据量以及适应训练的时间鉴于我们的问题的具体设置，据我们所知，这是第一次提出一种用于细胞实例分割任务的少量监督域自适应4. 方法如图2所示，我们的方法假设一些大型标记源数据集可以用于初始训练模型。然而，不管s内的细胞图像的多样性，在源分布之外总会有新的数据样本。这是由于模型和数据集大小的限制。我们还假设给定一些分布外的目标样本集，注释是昂贵的，因此只有少数样本将被标记。在下面的小节中，我们首先描述我们所依赖的预训练方法，然后介绍所提出的少镜头监督自适应模型。4.1. 预训练模型为了提供一个强大的起点，我们使用最先进的细胞实例分割方法Cell-pose [44]，我们在这里总结介绍注释并使论文独立。给定图像I，该模型使用网络f来产生密集的逐像素特征Z=f（I），其中Z=[Z1，Z2，Z3]<$Rh dad w dad3。给定特征z=[1，2，3]Z，数据分布变化的挑战[42]。本质上somepixeli，thenz=. （1991，1992）如有任何团体─当所谓的通才模型负责对分布的数据进行操作时，指向像素i所属的单元结构的中心的梯度（Z1，Z2）共同构成一个训练，期望未被满足。G radientf low. Intea d， =. 2003年重新发布了一个新的或新的版本-考虑到对手头任务进行分布外概括的需求是多么频繁，考虑到收集和注释足够的数据的过程是多么昂贵和耗时（如果不是完全不切实际的话），表示像素i属于单元结构的概率的量化分数注意，使用这种符号，特征z可以写为z=[z，z]。网络f以监督的方式利用逐像素实例进行458DsDsLγ1γ2CCFDSCDS LCML是我DDCITDN|N|读者可以参考[44]。 也参见图2。|N|zsNi+≠S1S2S3不1不2不3图2. 架构方法。全面说明我们基于对比学习的少量细胞实例分割方法。分割损失IS2 24.2.1对比流量损失为了使zt与Li=（1gx）+（2gy）+<$H（m，（）），（1）源像素具有相同的标签，我们建立了一个对比预测任务[8]。我们确定一个正源像素其中，对于像素i，（gx，gy）表示地面实况在一个简单的abelms+=mt=1中，梯度标签与单位l2-范数，m<${0， 1}是双-feturesz+sthatbestmatchesthelabel（gxt，gyt），ac-指示细胞根据相似性度量，比如余弦相似性s truc ture，（���）=. 1/（1+exp（λ）），Hre表示s（u，v）=.u€v/uv，其中e·denotesl2-no r m。二进制交叉熵，并且<$是一个超参数集，然后，我们构造了一组负源梯度流，0的情况。04.然后，像素级损失贡献被累加。特征Ni={zs|s（zs，zs）<6，ms =1}，其中6门控为图像I的最终损失LIS=qLIS。联系我们我给 定 特 征 Z ， 单 元 实 例 分 割 头 g 产 生 掩 码 Y=g（Z），其中对于像素i，预测标签y是集合中的数字是我们选择的合适的常数超参数阈值。现在，我们可以对像素i使用对比损失函数，该函数尝试提取正对（zt，z+s）closer，whileusushinggapartevrynegativepair{0， 1，·· ·，N}，其中N是小区（zt，zs），其中zs<$Ni. 我们使用的损失函数，实例分段。属于相同像元实例的像素具有相同的标签，并且y=0表示不存在当一个人在一起时，exp（s（zt，zs）/·）一个细胞实例。有关g如何实现的详细信息，LCF=对数exp（s（zt，zs）/·）+q+exp（s（zt，zs）/·）≠（二）4.2. 适应模式现在考虑目标图像It 。 如 果 我是从同一个发行版中绘制的，那么我们会期望以下内容为真：对于具有标签（gxt，gyt，mt）的目标像素i，其特征zt应该非常接近源数据集中具有相同标签的像素的特征。然而，在存在域偏移的情况下，这通常是不真实的，这导致当我们在I上使用特征网络f，然后是实例分割头g时，单元实例分割过程的性能恶化。因此，假设一些目标图像像素的标签是可用的，我们设计了一种方法，用于通过调整f来在目标数据集t上很好地泛化来逆转域移位的效果。考虑到不同的预测性质（连续与离散的）梯度流特征z=（1，2）， 我们通过设计每种情况的自适应损失来进行。其中·表示温度参数。 注意，（2）仅解决梯度流特征的方向对准。这也是最重要的，因为分割头g仅使用该信息来将像素分配给实例，而不是梯度幅度。然而，在4.2.3节中，我们将看到（1）也适用于目标数据，这确实鼓励梯度具有单位幅度。损失的一个重要组成部分是我们如何挖掘负源特征。具体地，i通过选择最接近正的S的特征来组成。这种分层挖掘技术解决了考虑大量负面源特征的需要，因为它使它们的这导致更快的训练，通常更快的收敛和更好的模型性能，如[48]所示。此外，对于给定的目标像素i，我们从一个源图像中提取一个正特征和所有i个负特征。 我们设定Ito be 对于每个目标像素都是相同的，并且通常，IsIt（gx，gy，m）源数据集不不不Z目标样本ZZZZZ459NMæŒP≠”NPK|M|2我M当ABT在ABT的边际m内时，z，z+·+isz，z对应于在该区域和源代码中的对应像素的有效分数对（ pixel，���pixel）既然我们想把不正常的|P|+|N|≠≠≠K是足够数量的负面特征，I sMs这是一个简单的方法，可以在z+s和缓存之间进行近似等于6。因此，i个特征大致相等地划分在顺时针方向上的cos φ16弧度处的那些特征和从z + s方向上的逆时针方向上的cos φ16弧度处的那些特征之间。因此，当zt为off时，更接近zt的有效采样将产生比更远离z t的有效采样更大的梯度。给定小批量中的目标图像块和源图像块，对于该对，我们通过聚合来自属于单元结构的目标像素的所有分量来计算损失分布，因此它们具有标签mt=1。让我们用这组像素表示，那么给定对的损失将是LCF= 1μLCF。（三）M4.2.2对比掩模损失对比流动损失（2）是[43，46，8，48]中使用的损失的专门版本，当·+时，它收敛于It图3. 对比掩模损失。 表示给定源-目标样本片对的对比掩模损失。源样本和目标样本的掩模被重叠以在每像素的基础上比较表示。鼓励属于同一类的像素以类似方式表示，而来自不同类的像素的表示是分开的。哪里是一个保证金，损失提供了梯度考虑到在一个小批量中获取信息页和我们的信息页，我们将损失（5）和（6）汇总如下。设为在目标和源块中的相同位置上的正分数对（t，t+s）的集合，���LimCF=（t s）+（ts）zsNi（四）相同的标签，即，ms=mt;设N为负的集合。其中，<$是一个超参数。损失（4）最初在[17]中提出，并且在[33]中引入了它的特殊形式，用于多类视觉分类的监督域自适应和泛化贴片，但具有不同的标签，即，ms=mt。然后，一对目标和源补丁的损失为LCM=1d（t，s）+<$1k（t，s），（7）PN化的二进制分类得分与源像素具有相同的标签，我们得到了分割的对比损失，受到（4）和[33]的启发。 这也是由于这样一个事实，即像（2）这样的损失已经被证明是有效的余弦相似性，我们不能使用这个任务，我们需要取代。当（4）被优化时，第一项旨在最大化相似性。在我们的情况下，这将是BAULT和非标准化得分之间的相似性，我们称之为对比掩模损失。请注意，损失的每一项都分别相对于正对和负对覆盖的区域 此外，集合的形成是基于目标和源块的掩码标签的比较，如图3所示，并且这些对源自具有相同相对位置的像素这不是严格的要求，但它是方便的，因为它允许形成足够大的集合P和P。s=mt. 韦灿N，而实现（7）更容易和更快，因为它用基于距离的对齐项替换该项，导致平方损失d（t，���s）= 1（t≠ ���s）2.（五）利用了GPU的并行架构。4.2.3少镜头适应+2+相反，（4）的第二项旨在最小化假设Dt是Dt的目标数据集部分相似性。在我们的例子中，这将是源代码中像素的未规范化分数与xpt之间的相似性在K个标记样本的情况下，K-shot自适应学习的目标是最小化损失标签不同于mt的图像。这将导致具有相反标签的分数之间的分离给定LISA=公司简介DtDs LCM+DsCF湾一个这样的具有分数的像素伊什 ，我们可以测量SIM-|Ds||Ds|与其他人相似���（八）k（t，���s）= 1max（0，m）|���t���s|）2、（6）Mtms=0;mt=0ms=0;mt=1ms=1;L⁄、460培训假设通才模型具有所有-准备好了。 我们使用461DKDDKD|N|z = 00z = 08z = 16z = 24z = 32地面实况CellTranspose（3张）CellposeAP=22.8 AP=81.0 AP=76.5 AP=77.3 AP=39.3图4. BBBC006数据集。 BBBC006数据集图像在不同聚焦水平下的定性结果。 z=16被认为是焦点对准的，而距离此值更远的值在任一方向上都更偏离焦点。分段以灰色示出，单元格边界以蓝色示出AP值以0.5 IoU计算已预训练了500个epoch [44]。利用（8）的自适应持续5个时期，其中源图像与K个目标样本之一连续随机配对而不替换。将目标样本与每个历元中的1/Ks配对确保即使是1次调整也可以将模型显著拉向目标分布。适配的公平的比较。为了使我们的方法符合这些准则，我们从目标分布的数据集的训练分割中绘制K个样本块，以产生t相反，目标分布数据集的测试分割被用作目标数据集t的剩余未标记部分。我们使用初始学习率为10.2的SGD，动量为0.9，然后，模型在Dt上进行微调，LIS仅用于5重量衰减10μ5，批量大小为2提供了最佳的以非常低的恒定学习速率进行更多的由于这是细胞实例分割的少数镜头域适应的第一次尝试，因此我们需要定义什么构成一个手动选择目标示例单元格，使得其大小和附近单元格的相对密度代表目标数据集上的平均场景。 如果选择了K >1个单元格，则它们应该更好地捕获数据集的可变性，并且将导致K-拍摄场景。对于给定的细胞样本，测量细胞，以像素为单位给出值mc一次拍摄的补丁是中心裁剪周围的细胞，并具有大小为mmaxmcw/mn，其中mn是标称细胞的大小，w是进入网络的补丁的大小，和mmax是最大的缩放因子可接受的。数据扩充包括平移和因子为0的随机裁剪。75至最大值= 1。25是训练的一部分，以促进细胞大小的不变性。5. 实验我 们 评 估 所 提 出 的 方 法 ， 我 们 命 名 为CellTranspose，与几个数据集和多个设置。在没有额外指导的情况下，每个实验使用以下设置。第4.1节中的模型使用[44]的“广义”数据集作为源数据进行预训练按照第4.2.3节所述进行调整。在一般情况下，我们遵循以前的作品所制定的数据分割准则，不良结果。对于前五个时期，学习率每个时期下降10倍，并在其余五个时期保持恒定 我们采取边长为h=w=112的正方形贴片，在评估期间使用84的最小重叠，并强制执行标称单元尺寸mn= 30。 额外的超参数设置为：i= 20，·= 0。1，m = 10，1/= 1，“1= 0。05，“2 = 2，6= 0。05.由于所使用的源数据集总是显著大于目标数据，因此无论K的大小或模型所适应的目标数据的大小如何，自适应所花费的时间大致相同使用单个NVIDIA TITAN Xp GPU，每个实验的适应过程大约需要5分钟006.第006章. 我们在目标数据集BBBC006 [29]上评估了CellTranspose，该数据集由Broad Institute主办。该数据集由人U2OS细胞组成，其在理想环境中相当均匀且易于分割。然而，相同的组织样本已经用不同的焦点设置成像，生成不同的图像，这允许我们观察相关协变量变化对通才和我们的方法的影响我们考虑用五个焦平面拍摄的图像，特别是在z=00、08、16、24和32处。最佳焦平面在z=16处。图4显示了定性分割结果。当我们远离最佳焦平面时，通用Cellpose模型比CellTranspose暴露出AP=50.9AP=83.7AP=85.1AP=84.1AP=50.2462图5. BBBC006数据集。K=1、 2、 3、 5、 10个目标样本的K次自适应平均精度。使用五个BBBC006数据集完成实验。表1. 组织网络数据集。F-1评分来自最先进的“通才”方法和CellTranspose。组织网络结果平台特定食典CyCIF MIBIVectra乳腺组织特异GI Imm.潘克Cellpose0.7850.5480.4790.6090.6700.5230.3500.797梅斯梅尔0.880.800.760.720.740.820.820.92CellTranspose0.9400.9400.9320.9180.9110.9060.9340.955Cellpose-UB0.9620.9670.9450.9600.9500.9400.9530.958我们还测试了CellTranspose与不同数量的K=1，2，3，5，10，少拍适应。图5绘制了不同焦点设置下的平均精度（AP）与交并比（IoU）。CellTranspose始终如一地实现高性能水平，只需三个带注释的镜头。除此之外，结果开始显示收益递减。因此，除非另有说明，否则在性能和注释需求之间实现平衡的情况下，使用3次调整获得了其他结果组 织 网 。 我 们 在 Tis-sueNet [14] 上 评 估 了CellTranspose，Tis-sueNet是一个与称为Mesmer的通用方法一起开发的数据集。TissueNet由来自各种成像平台和组织类型的样本组成，提供广泛的细胞图像阵列在[14]中，一组实验将TissueNet分为四种最常见的成像类型的子集，每种类型又进一步分为不同的组织类型。类似地，其他四个子集由四种最常见的组织类型组成，每个子集进一步分为构成该组织类型样本的成像类型。表1示出了这八个数据分割的F-1分数，其针对通才Cellpose、在每个分割上训练的Mes- mer和适应每个分割的CellTranspose 3-shot计算。同样，CellTrans- pose 始 终 显 示 出 改 进 的 性 能 。 由 于CellTranspose本质上使Cellpose适应目标域，因此我们可以将其解释为性能的下限。另一方面，我们还用每个目标训练数据集重新训练了Cellpose，获得了可以解释为Cell- Transpose的上限，我们将其表示为Cellpose-UB。三阴性乳腺癌。其中最具挑战性的类型的细胞数据分割是苏木精和曙红染色（HE）的图像。这部分是由于除了背景的高变异性之外，单个样品中三重否定--表 2. TNBC 数 据 集 。 Topunsupervised approach 与CellTranspose的比较最好的结果用粗体表示，第二好的结果用下划线表示。BBBC039 TNBC阿吉Pixel-F1目标-F1Cellpose[26]第二十六话CellTranspose3张CellTranspose5张CellTranspose 10张Cellpose-UB0.3815± 0.07940.5672± 0.06460.4916± 0.07710.5693± 0.05760.5906± 0.06170.5498± 0.08600.5829± 0.06890.7593± 0.05660.6702± 0.07100.7377± 0.04310.7568± 0.04930.7216± 0.07040.5408± 0.11240.7478± 0.04170.7092± 0.08180.7825± 0.06250.7879± 0.06870.7760± 0.0640由居里研究所收集的TNBC数据集[34]由从11种不同组织类型获得的50张图像组成，进一步增加了数据集的固有难度。我们将CellTranspose与性能最佳的无监督域自适应细胞实例分割方法CyC-PDAM进行了比较[26]。这是我们在问题设置和数据方面发现的最简单的方法，因为只有其他监督域自适应实例分割方法[61，52]被调整到非常具体和不同的应用程序。在CyC-PDAM的引导下，我们从上面使用的协议转移，并在BBBC 039数据集上预训练CellTranspose然后，我们使用从TNBC的40张图像和8种组织类型的目标数据集中选择的3、5和10个拍摄样本来然后在剩余3种组织类型的10张图像上测试每个模型。使用与CyC-PDAM相同的度量的结果示于表2中。可以注意到，5次自适应导致与CyC-PDAM的性能度量可比较的性能度量，CyC-PDAM已经使用了所有可用的训练目标数据来以无监督的方式自适应模型注意，由于目标测试数据分布与目标训练数据分布不同，该实验的设置仍然与CellTranspose设计 的 方 案 不 同 且 不 利 我 们 还 在 该 设 置 中 测 试 了Cellpose-UB，其似乎比CellTranspose受评估协议中仍然存在的域移位的影响更大。3D分割。由于生物应用程序经常产生并需要分析3-D数据，因此按照[44]中的方法，我们通过调整并结合xy、y轴和x轴体积截面的预测，将CellTranspose扩展到3-D操作，称为CellTranspose 3D我们在两个人463表4. BBBC 006上的消融结果。AP是calculu- lated为0.5的IoU阈值。AP50消融结果CellTranspose0.509无对比流量损失0.414无对比掩模损失0.434无适应性损失0.441无自适应损耗无细胞大小0.390Cellpose0.233图6. 3D分割。BBBC024数据集样本的定性分割结果。注意，Cellpose 3D倾向于过采样;这可能是由于数据Cellpose3D的特定特征是在需要分割的更低强度的像素上训练的。更重要的是，在使用Cellpose3D获得的结果的右下角，可以观察到一些过度分割效应，这些效应在CellTranspose3D的结果中不表3. 3D数据集。IoU阈值0.5.三维结果蜗杆BBBC024Cellpose3D0.5750.822CellTranspose3D 0.6480.994Cellpose3D-UB0.6751.0StarDist-3D0.765-三维数据集。BBBC 024由来自布罗德研究所的合成注释细胞组成。Worm数据集是一系列来自幼虫阶段的细胞核图像C.优雅与2-D实验类似，仅将从每个训练集中的体积的XY平面获取的三个2-D样本块用作模型的目标数据。StarDist-3D [51]和Cellpose 3D-UB已经在Worm上进行了训练和测试，Cellpose 3D-UB也在BBBC 024上进行了训练和测试，并在这里作为上限。表3显示了平均精度结果，突出显示了CellTranspose3D相对于常规Cellpose3D的改进图6提供了BBBC024数据集的3D分割之间的定性比较。消融研究。表4显示了在BBBC006数据集上计算的消融结果（ =00和3次激发自适应）。两种对比损失的增加使总体AP提高了15%以上然而，有趣的是，仅去除一个自适应损失往往会将性能降低到低于去除两者的性能，这遵循第4.2.3节中概述的相同训练方案这表明流量和掩码损失相互关联，这与两个输出之间共享权重的事实一致直到最后一层。此外，细胞大小计算方法似乎在准确分割中起着重要作用。Cellpose基于对应于特定细胞的像素数计算细胞大小，但非球形细胞具有提供类似直径同时跨越大得多的区域的潜力因此，更鲁棒的单元大小计算可以 基 于 计 算 包 围 单 元 的 总 矩 形 面 积 ， 这 就 是 在CellTranspose中如何完成的。表4中从底部起的第二行示出了当该第二策略被Cellpose所使用的策略替换时，性能进一步恶化。6. 结论在这项工作中，我们举例说明了在新的领域工作时需要我们的方法是有效的，在实现这一点，很少的样本，由于提出了新的损失和训练程序，我们实现了。CellTranspose显示了有效处理协变量偏移效应的性能水平，并且可以与在目标分布上完全重新训练的模型相媲美。我们还表明，很少有样本足以达到类似于依赖于较大数据集和训练模拟的无监督方法的性能我们发现，通常允许3至5个注释的样品匹配或超过最新技术水平。自适应过程在单个GPU上只需几分钟，在用于训练和注释的时间和资源方面达到了有吸引力的平衡。确认本出版物中报告的研究得到了美国国立卫生研究院国 家 精 神 卫 生 研 究 所 的 支 持 ， 奖 励 号 为R44MH125238。内容完全是作者的责任，并不一定代表美国国立卫生研究院的官方观点本材料也是基于国家科学基金会资助的工作1920920。原始图像地面实况CellposeCellTranspose464引用[1] MathildeBateson，HoelKervadec，JoseDolz，Herv′eLombaert和Ismail Ben Ayed。用于分割的约束域适应 。 医 学 图 像 计 算 和 计 算 机 辅 助 干 预 SpringerInternational Publishing- ing，2019.[2] Ro'ger在我们的z-Cacon，PabloM'arquez-Neila，Mathieu Salzmann，and Pascal Fua.一种用于电子显微镜图像分割的域自适应双流U-网。在2018年IEEE第15届国际生物医学成像研讨会（ISBI2018），第400-404页，4月。2018年。[3] S.博彻在轮廓检测中使用分水岭。图像处理国际研讨会论文集，1979年。[4] Tim-Oliver Buchholz ， Mangal Prakash ， DeborahSchmidt ， AlexanderKrull ， andFlorianJug.DenoiSeg：联合去噪和分割。计算机视觉中–ECCV2020WorkshopsSpringerInternationalPublishing，2020.[5] Z. Cao，G.Hidalgo Martinez，T.西蒙，S。魏Y. A.酋长Openpose：使用部分亲和场的实时多人2d姿态估计IEEE Trans- actions on Pattern Analysis andMachine Intelligence，2019。[6] Mathilde Caron ， Ishan Misra ， Julien Mairal ，Priya Goyal ， Piotr Bojanowski ， and ArmandJoulin.通过对比聚类分配的视觉特征的无监督学习高级神经感染过程系统，33：9912[7] 陈成，齐斗，陈浩，秦静，和冯安恒.协同图像和功能适配：面向跨模态域适应医学图像分割。AAAI，33（01）：865-872，2019年7月。[8] 陈婷，西蒙·科恩布里斯，穆罕默德·诺鲁齐，和吉奥·弗雷·辛顿。视觉表征对比学习的一个简单框架。InHalDaum'eIIiandAartiSingh，editors，Proceedingsofthe37thInternationalConferenceonMachine Learning- ing， volume 119 ofProceedings ofMachine Learning Research，pages 1597PMLR，2020年。[9] 齐斗、欧阳成、陈成、陈昊、本·格洛克、庄夏海、恒平安。AdaNet：即插即用对抗性域适应网络在非配对交叉模态心脏分段中的应用。IEEE Access，7：99065[10] MohsenGhafoorian 、 AlirezaMehrtash 、 TinaKapur 、 Nico Karssemeijer 、 Elena Marchiori 、Meiden Pesteie、Charles R G Guttmann、Frank-ErikdeLeeuw 、 ClareMTempany 、 BramvanGinneken、AndriyFedorov、Pu-rangAbolmaesumi、Bram Platel和William M Wells。MRI领域自适应的迁移学习：在脑病变分割中的应用。在医学图像计算和计算机辅助-干 预 - MICCAI 2017 ， 第 516-524 页 。 SpringerInternational Publishing，2017.[11] Amir Gholami 、 Shashank Subramanian 、 VarunShenoy、Naveen Himthani、Xiangyu Yue、SichengZhao、Peter Jin、George Biros和Kurt Keutzer。一种新的医学图像分割领域自适应框架。在脑损伤中：神经胶质瘤、多发性硬化、中风和创伤性脑损伤，第289-298页。Springer International Publishing，2019。[12] MichaelGoetz 、 ChristianWeber 、 FranciszekBinczyk 、 Joanna Polanska 、 Rafal Tarnawski 、Barbara Bobek- Billewicz 、 Ullrich Koethe 、 JensKleesiek 、 Bram Stielt-jes 和 Klaus H Maier-Hein 。DALSA：从稀疏注释的MR图像进行监督学习的域自适应。IEEE医学学报Imaging，35（1）：184- 196，Jan.2016年。[13] Ian Goodfellow，Yoshua Bengio，Aaron Courville，Yoshua Bengio. 深 度 学 习 ， 第 1 卷 。 MIT PressCambridge，2016.[14] Noah F Greenwald，Geneva Miller，Erick Moen，Alex Kong ， Adam Kagel ， Thomas Doughman ，Christine Ca- macho Fullaway，Brianna J McIntosh，Ke Xuan Leow ， Morgan Sarah Schwartz ， ColePavelchek，Sunny Cui，Isabella Camplisson，OmerBar-Tal ， Jaiveer Singh ， Mara Fong ， GautamChaudhry，Zion Abraham，Jack- son Moseley，ShiriWarshawsky，Erin Soon，Shirley Greenbaum，TylerRisom ， Travis Hollmann ， Sean C Bendall ， LeeatKeren，William Graf，Michael Angelo，and DavidVan Valen.使用大规模数据注释和深度学习，以人类水平的性能对组织图像进行国家生物技术部、11月2021年。[15] 关浩，刘明霞。用于医学图像分析的域适配：一个调查 。 IEEE 生 物 医 学 学 报 Eng. ， 69 （ 3 ） ： 1173-1185，Mar. 2022年。[16] R Hadse