深度神经网络优化的新方法用于显微图像细胞分割

3568知道什么标记用于少镜头显微镜图像细胞分割Youssef Dawoud1*Arij Bouazizi1，2Katharina Ernst3Gustavo Baziro4Vasileios Belagiannis51Uni versit aüt Ulm，Ulm，German y2Mercedes-Benz AG，斯图加特，德国3乌尔姆大学医学中心，乌尔姆，德国4英国萨里大学视觉、语音和信号处理中心5Friedrich-Ale xander-Uni versit aüt Erlangen-Nuürnber g，Erlangen，German yyoussef. uni-ulm.de摘要在显微图像细胞分割中，通常在包含不同类型的显微图像的源数据上训练深度神经网络，然后使用包括一些随机选择和注释的训练目标图像的支持集对其进行微调。在本文中，我们认为，随机选择未标记的训练目标图像进行注释并包含在支持集中可能无法实现有效的微调过程，因此我们提出了一种新的方法来优化此图像选择过程。我们的方法涉及到一个新的评分功能，以找到informa- tive未标记的目标图像。特别是，我们建议测量目标图像的模型预测对特定的数据增强的一致性。然而，我们观察到使用源数据集训练的模型不能可靠地评估目标图像的一致性为了解决这个问题，我们提出了新的自我监督的借口任务来计算未标记的目标图像的分数最后，具有最小一致性分数的前几个图像被添加到oracle的支持集（即，专家）注释，并且稍后用于将模型微调到目标图像。在我们的评估，涉及五种不同类型的细胞图像的分割，我们展示了有前途的结果相比，随机选择方法以及其他选择方法，如香农熵和蒙特卡洛辍学的几个目标测试集1. 介绍显微图像细胞分割是医学图像领域的主要研究方向之一，其重点是研究生物细胞的形态学特性，即细胞的形态特征。几何形状和大小以及其他任务，细胞检测[43]，分割[5]和计数[1，10]。在过去的几年里，自动化显微镜图像细胞分析，最初，与经典的图 像 处 理 算 法 的 支 持 [42] 。 随 后 ， 深 度 神 经 网 络（DNN），特别是编码器-解码器架构已经急剧发展成为几个显微图像细胞任务中最先进的自动化方法，包括显微图像细胞分割[5]。早期的研究采用DNN来学习完全监督的细胞分割模型，这需要收集和像素级标记大量显微镜图像数据，以实现稳健的训练[41]。最近，一项更实用的研究[9]显示了一种细胞分割方法，该方法可以用包含一些注释的显微镜训练图像的支持集进行训练，该方法被称为少拍显微镜图像细胞分割。在此设置中，使用源数据训练深度神经网络模型，其中包含来自各种类型细胞分割问题的训练图像。然后，使用包含少量随机选择和注释的显微镜图像的支持集，将训练模型微调到具有感兴趣细胞的目标图像。即使有效，也可以改进随机图像选择，因为支持集的信息量可能较低，这可能导致不良的微调过程，这也导致在看不见的测试目标图像中的低准确度性能。在本文中，我们提出了一种新的方法来优化样本的选择，以注释和包括在支持集，使它包含高度信息化的训练样本，有助于提高分类精度的微调模型，相比随机选择。作为回报，我们提供了一个更有效地利用专家3569|B|(a) 输入（b）随机（c）我们的图1.目视结果。我们直观地比较我们的评分函数（我们的），随机选择使用FCRN架构在= 3杆。红色对应假阳性，绿色对应假阴性，黑色对应真阴性，白色对应真阳性。最好用颜色看。第我们的选择方法依赖于评分函数，通过评估分割模型预测的一致性从未标记的特别是，我们的评分函数计算使用来自目标集的图像的分割模型预测与其增强版本的预测之间的像素交叉熵损失然而，我们注意到，仅使用源数据训练的分割模型不会为属于目标集的图像产生可靠的评分函数。因此，我们建议使用新的借口任务将分割模型微调到未标记的目标集。具体来说，我们建议使用伪二进制分割标签来学习属于目标集的图像中的细胞分割，我们使用经典的图像处理分割操作来生成伪二进制分割标签。从该伪分割学习获得的微调模型用于计算目标图像的交叉然后，具有最小一致性分数的前几个图像被添加到oracle的支持集（即，专家）注释，并且稍后用于将模型微调到目标图像。最后，我们在测试目标图像上对我们总结了我们的贡献如下1）我们提出了一个新的借口任务的细胞分割学习微调分割模型，我们使用后选择样本进行注释，在几次学习问题2）我们提出了一个新的评分函数的支持集选择从未标记的目标数据，衡量性能条件，3）在我们的实验中，我们显示了有希望的结果涉及不同类型的细胞图像的五个目标集相比，随机选择的方法，在addition到其他选择方法，即香农我们的代码和模型是公开的。12. 相关工作2.1. 细胞分割早期的自动显微镜细胞分割方法是在经典图像处理和计算机视觉算法的帮助下开发的[11，24，40]。最近，从全卷积网络（FCN）到基于自我注意力的深度神经网络架构已经显著发展成为几种细胞分析任务的最先进的自动化方法，如细胞核分割[29]，组织学图像中的有丝分裂检测[6]和MRI图像中的心脏分割[16]。在FCN架构中，U-Net [36]最初是为了电子显微镜中的神经元结构分割任务而开发的，但现在，它被应用于几种另一种类型的FCN架构是全卷积回归网络（FCRN）[41]，设计用于显微图像中的细胞计数和分割。在我们的工作中，我们依靠FCRN架构自动显微镜细胞分割。1https://github.com/Yussef93/KnowWhatToLabel/ssTEMEMTNBC3570^^STi=1l=12.2. 少镜头分割大的带注释的训练集的可用性使得能够对模型进行鲁棒的完全监督训练，但是许多现实世界的问题仅包含小的训练集，从而降低了监督学习的可行性。这些问题被称为少镜头学习。为此，已经开发了几种只有少数研究存在于少数拍摄医学图像分割的问题其中包括少量显微镜图像细胞分割[9]和器官分割[26]，其中使用源数据集训练模型，然后使用包含少量随机选择和注释图像的支持集将模型微调到目标图像然而，支持集中的随机选择的图像对于微调过程可能不是信息性的，这可能导致目标显微镜测试图像中的差的训练和低的分割准确度。因此，我们认为，必须根据其信息内容优化要包括在支持集中的图像的选择，以实现更好的微调过程，从而在目标显微镜测试图像中产生良好的细胞分割性能。2.3. 医学图像分析中的自监督学习从未标记的数据中学习先验表示，即自我监督已经被证明是一种有效的方法，当对随后的目标任务（例如分类和分割）进行微调时已经开发了许多方法来学习深度神经网络中的先验表示，例如，对比学习[4]，拼图[32]，旋转预测[18]和图像重建[2]。各种各样的通用自我监督任务已经适应于各种医学图像分析应用，如jigSaw和3D计算机断层扫描的旋转预测物理（CT）扫描[39]，脊柱MRI的对比学习2.4. 支持集选择方法数据样本的选择已经在不同的学习范式下进行了深入的研究，但在主动学习中更大多数研究依赖于评分函数来从未标记的图像池中选择要注释的图像，其中满足选择标准的数据样本在有限的注释预算的约束下被注释并附加到标记然后，在手头的目标学习任务上训练深度神经网络，例如。分类或分割，使用这个标记的集合。在过去的几年中，已经提出了几个评分函数，例如香农利用这些评分函数进行数据样本选择的问题已经在自然图像分类[15]和语义分割[19]中得到了很好的研究然而，它一直在探索的问题，支持集选择的少镜头显微图像细胞分割。事实上，据我们所知，我们是第一个讨论这个问题的解决方案，基于一个新的自动选择机制来构建目标显微图像数据集的支持集，该支持集利用数据增强方面的一致性损失作为我们的评分函数。我们的方法优于其他选择功能，如随机，香农熵和MC-辍学的3. 方法在这一节中，我们从问题定义开始，然后是我们的支持集选择方法，该方法包括三个步骤。首先，我们使用目标数据集提出了新的自监督文本前任务。接下来，我们利用这个自我监督的训练模型和我们的评分函数来选择要在支持集中包含和注释的图像。最后，我们使用支持集微调自监督训练的模型，然后评估测试目标图像。3.1. 问题定义假设显微图像数据集的集合S={Si}| S^|. 每个数据集由Si={（x，y）l}表示|SI|、[21] 以及用于CT和超声扫描分析的上下文恢复[3]。然而，其他研究已经提出了目标特定的借口任务[8]，例如，腹部CT扫描的超像素预测[33]。在我们的工作中，我们遵循与[33]相似的路径，其中我们提出了一个新的目标特定借口任务。更具体地说，我们使用传统的图像分割操作来提取目标数据集中的显微图像的二进制分割伪标签。之后，我们使用伪标记的目标数据集微调我们的通用分割模型，以获得目标数据的良好先验表示，我们利用它来设计我们的评分函数。其中（x，y）l是一对显微图像x∈ X <$RH×W（H × W为图像大小）和像素级二值细胞分割的真实值y∈ Y <${0，1}H×W。中的所有数据集均称为源。注意每个数据集表示具有不同图像外观和细胞分割任务的不同显微图像域。我们依赖于源数据集来学习通用的二进制单元格分割函数fθ：X →[0，1]H×W近似。与参数为θ ∈ Θ的深度神经网络相匹配。我们还拥有一个target数据集=㈩j|jT=|1，其中包含属于不同显微镜的图像，主要和不同的细胞分割任务。 我们的主要业务-3571|B|不^T T\T不T∈ TT T TX ×→J- -不不不YLTLTθ∈×∈×获取数据集T（PL）{（PL）}|不|其中∈T∈ {|不|}目标是训练一个模型，以使用包含注释图像的支持集（|B|）的情况。该模型是在有限的注释预算的约束下训练的，即，少拍训练。为了实现我们的目标，我们考虑一个池（池）未标记的训练图像T（pool）={（x）n}|nT=1|、其中（|B|）（pool），目标测试集由=（pool）组成。支持集中基于用于评估（池）中的图像的逐像素二进制交叉熵（BCE）评分函数s：ΘR来选择。 总之，只有使评分函数s（. ）插入（|B|）由预言机标记，直到注释bud-get耗尽。接下来，我们提出我们的借口任务如下通过我们的选择方法来构建T（|B|）的情况。(a) x（b）x（e）3.2. 支持集选择如前所述，我们假设目标测试集的图像来自与源训练集中存在的图像不同的显微镜图像域和细胞分割任务。在这种假设下，我们认为单独使用源训练集来训练分割模型f θ（. ）中使用。）的情况。或者，我们寻求调整整个模型，即编码器和解码器，（c）x（γ）（d）y（PL）图2.我们提出了一个例子，我们的二进制单元段-在（a）中，使用来自TNBC目标数据集[30]的显微图像x来创建伪标记生成流水线首先，我们在（b）中使用直方图均衡化（x（e））来增强图像的对比度接着在（c）中对图像阈值（x（γ））进行保持，并对扩张滤波器进行环在（d）中，以形成伪标记y（PL）。如：的细胞分割学习使用伪标记的从公元前500年1（θ，Si）=− ΣΣ[w(ω)y(ω)log(yˆ(ω))目标数据。为了实现这一点，我们建议使用经典的计算机视觉算子来为目标测试集中的所有图像提取二进制细胞分割伪标签具体来说，我们利用图像阈值，使用直方图均衡化的全局对比度增强[35]和膨胀[20]过滤器来创建伪标记的焦油，（P L）（PL）=（x，y）jj=1y是显微图像xj的对应伪标记。 请注意，我们使用目标数据的所有图像来创建（PL）。为了获取y（P_L），首先，输入图像x（来自（P_L））通过直方图均衡过滤得到x（e）。 然后，我们使用阈值滤波器|（x，y）∈Si ω∈S|(x,y)∈Si ω∈Ω+（1 y（ω））log（1y（ω））]，（二）其中，y（ω）表示分割模型（由y（ω）=fθ（x）表示）在空间位置ω处的预测，并且w（ω）是由数据集中的前地类与背景类的比率定义的加权因子。在使用（2）进行初始训练之后，我们微调通用模型f θ（. ）通过最小化 BCE（θ，（ PL ））。通过使用 BCE（θ，（PL）），我们试图使用以下优化来调整通用模型的参数：T脱粒机（x（e）（ω））定义为：（e）θ′= arg min[LBCE（θ，T（PL））].（三）一旦模型在伪分割学习上进行了训练x（γ）=tthresh（x（e）（ω））={1，x（ω）≤γ，<$ω∈<$，ing，我们固定其学习参数θ′并开始选择0，x（e）（ω）> γ（一）过程在算法1中，我们描述了我们的完全支持集选择方法。首先，每一个显微镜都...其中γR是一个阈值，近似表示目标数据中感兴趣的单元的像素值，并且ωn是大小为H的图像网格中的像素地址W. 最后，对阈值图像x（γ）进行尺寸为2 2的伸缩滤波，得到伪标记y（PL）。我们的训练过程从元学习过程开始，该元学习过程使源训练集上的平均BCE损失最小化，其中每个训练集的损失3572年龄xm（池），m1、2、. . .、（池）被增强三次，每次使用幅度为λ的不同增强操作，即，自动对比度C（x）、亮度B（x，λ）和清晰度S（x，λ）。我们表明，在我们的实验中，这些特定的增强是适合我们的选择方法的显微镜图像域。然后，我们计算增强图像的预测之间的T（池）中的每个显微图像x3573- -LT^∈T不|不|-你好×|不|即 y∈A=fθ′（A（x）），A（. ）∈{C（x），B（x，λ），S（x，λ）}和非增强图像的预测yλ=fθ′（x），如下：s（x，θ′）=1H WA（. ）∈{C（x），B（x，<$），S（x，<$）}ω∈<$[w（ω）y（ω）log（yA（ω））+（1y（ω））log（1yA（ω））]。（四）算法的最后一步包括形成支持集T（|B|）使用以下优化：4. 实验在我们的实验中，我们使用与[9]相同的显微图像细胞分割基准，其由五个显微图像数据集组成。更具体地说，我们有来自Broad Biimage Benchmark Collection（BBBC）的B5和B39数据集[23]。前者包含1200个荧光合成染色细胞图像，而后者包含200个荧光合成染色细 胞 图 像 。 我 们 还 有 连 续 切 片 透 射 电 子 显 微 镜（ssTEM）[17]和电子显微镜（EM）[25]数据集，分别包含165和20张电子显微镜图像，T（|B|）= argmax（|B|）池（pool）x2=x1（|B|）s（x，θ′）（五）线粒体细胞最终数据集是三阴性乳腺癌（TNBC），由50张组织学图像组成S.T. |B|）|为|B|、|,哪里|B|是支持集的大小。3.3. 支持设置微调在选择支持集图像之后，我们请求一个或目标（即，人类专家）来手动注释它们。2、将f θ′（x）设为T（|B|）BROOT（pool）和二元杂交1999年，张晓波（|B|）），如：[001 pdf 1st-31files] BCE（θ′，|B|））]。（六）θ′我们在目标测试集T^=T \ T（pool）上用fθ（x）评估微调模型。乳腺活检[30]。我们比较我们的评分函数对香农此外，我们定义我们的评估协议，因为据我们所知，我们是第一个解决支持集选择问题。4.1. 实现细节我们采用FCRN架构[41]作为我们的细胞分段骨架模型。首先，我们使用源数据集训练分割模型fθ（x）然而，我们不是从头开始训练分割模型，而是使用[9]提供的基于梯度的Meta学习爬虫算法来开发易于训练的模型伪标记分割算法 一曰： 动态 支持 集选择基于数据增强1：输入：使用来自（2）的LBCE（θ，S）训练的分割模型f θ（x），伪标记的目标数据集T（PL）={（x，y（PL））j}|jT=|1、未标记的目标训练集T（池）和注释预算第二章：|EBs|用（PL）估计（3）中的θ ′3：对于m = 1，2，. . . ，（pool）do4：使用自动对比度C（xm）、亮度B（xm，xm）和锐度S（xm，xm）增强xm（池）5：得到预测ym=fθ′（xm）6：得到预测y<$C，m=fθ′（C（xm）），y∈B，m=fθ′（B（xm，n）），y<$S，m=fθ′（S（xm，n））7：根据（4）计算得分s（xm，θ′）第八章： 端（池）2019 -04-2201：01：02（|B|）从（5）使用{s（xm，θ′）}m=1十： 1996年，张晓刚（|B|）11 ：输出：f θ（. ）在T^=T \ T（池）上进行测试。3574不×T×不|B|联系我们我们生成伪标签使用第2节中描述的所有目标图像。 3.2、当通过视觉检查感兴趣的细胞的像素值并相应地设置阈值，来针对每个目标数据集逐目标地定义阈值γ。此外，我们通过从每个显微镜图像及其相应的伪标签中提取大小为256 256的图像块来增强（PL）我们使用使用源数据学习的参数θ初始化分割模型，并使用（PL）和Adam optimiser [22]训练100个epoch，学习率为0.0001，权重衰减为0.0005。支持集选择我们使用支持集大小1、3、5、7、10个镜头进行实验。对于这个阶段，我们注意到当选择图像补丁而不是全分辨率图像时性能更好。然后将（池）中的每个图像每个图像的面片数取决于原始图像的大小我们在表4.1中报告了每个图像的图像块的数量。相应地，我们将前面提到的支持大小替换为每个全分辨率图像对应的图像块数乘以拍摄数。在选择阶段，我们固定训练的模型参数θ′。对于香农3575不|B|′^T^T不目标TNBCEMssTEMB5B39贴片/图像100400500100100表1.每个目标数据集的每个全分辨率图像提取的图像块的数量。修补并使用香农熵公式计算预测不确定性至于MC-dropout评分方法，我们观察到在最后一个卷积层之前添加dropout层会产生最好的结果。因此，我们将退出概率设置为0.5。我们对每个图像块进行十次向前传递，平均输出概率分布，然后计算香农请注意，我们只在选择阶段使用MC-dropout我们不使用MC- dropoutfollowing进行训练或微调[27]。对于随机基线，我们从（池）中随机选择图像块，其中每个图像具有相等的选择概率。在我们的方法中，我们依赖于[7]中提供的自动对比度、亮度和锐度增强。此外，我们根据经验设定失真的大小，即，明亮锐利的光线-图3.使用我们的方法以及Shannon熵，MC-dropout和随机选择方法对所有数据集平均的mIoU结果进行对于靶TNBC、EM、ssTEM和B39，ness增加至1.32。对于B5，我们将失真幅度增加到1.6，否则，增加的失真将是不够的，因此，BCE损失值将是微不足道的。的图4.目标数据ssTEM的单次激发补丁对mIoU结果的影响提取更多图像选择标准对于香农熵、MC-丢弃和我们的方法是相同的，即，对应于顶部的图像|B|损失分数被插入到支持集。微调我们使用生成的支持集和Adam optimiser对分割模型fθ（x）进行微调，学习率为0. 0001，权重衰减为0.0005，持续20个epochs。最后，我们使用的模型进行测试。请注意，我们使用全分辨率的测试图像。4.2. 评价方案在我们的整个实验中，我们依赖于平均交叉联合（mIoU）来量化分割性能。我们遵循与[9]相同的方案，通过进行留一位交叉验证将显微镜数据集分为源集和目标集。特别地，我们选择四个数据集作为源，并将剩余的数据集作为目标。目标集随机分为（池）和。我们重复随机分割10次，并报告10次运行中mIoU的平均值和标准差。4.3. 结果和讨论图3显示了对所有目标数据集进行平均的mIoU结果的比较，其中我们使用我们的评分函数观察到一致的此外，我们还报道了TNBC，EM和ssTEM的数值结果2>1意味着更高的失真。在选项卡中。二、目视结果如图所示1.一、对于所有支持集大小，我们注意到我们的选择方法（我们的）在复杂显微镜领域的靶细胞分割任务中表现得比随机选择基线更好，该复杂显微镜领域涉及除感兴趣细胞之外的不同结构膜至于B5和B39（见补充材料），我们注意到我们的方法和随机选择都有很高的性能，因为这两个数据集都来自一个不太复杂的显微镜领域，仅由合成细胞和背景组成。至于MC-dropout和熵方法，我们观察到我们的评分函数在所有目标数据集中产生了更好和更一致的性能。在极少数情况下，由于支持集大小的增加，熵和MC-dropout的表现略好。我们使用Wilcoxon检验强调了我们方法的重要性（见表1）。1补充材料）。接下来，我们进行了一系列的烧蚀研究，以分析我们的方法在不同的配置下，在第二节。4.44.4. 消融研究支持设置大小。我们研究的效果限制的支持集大小只有100个图像补丁每个目标图像。这仅影响目标数据集ssTEM和EM，而TNBC、B5和B39数据集的结果保持不变。如图所示。5，我们观察到一个显着的性能下降，在所有的选择方法，由于在微调过程中的支持集大小较小。对3576目标：TNBC方法单次拍摄（|B|=100）三发（|B|=300）5次射击（|B|=500）7发（|B|=700）10杆（|B|=1000）熵40.8% ±3.944.1% ±3.143.8% ±4.745.6% ±5.446.7% ±5.8MC-脱落40.8% ±4.043.9% ±3.143.7% ±4.745.4% ±5.446.8% ±5.8随机37.0% ±9.444.7% ±4.742.1% ±2.345.7% ±4.746.8% ±4.8我们47.1% ±3.547.8% ±5.847.7% ±5.048.0% ±5.249.2% ±4.9目标：EM方法单次拍摄（|B|=400）三发（|B|=1200）5次射击（|B|= 2000年）7发（|B|=2800）10杆（|B|=4000）熵61.0% ±2.967.1% ±2.768.6% ±2.370.1% ±1.972.9% ±1.6MC-脱落61.7% ±2.663.4% ±2.466.1% ±2.168.0% ±1.870.0% ±2.4随机58.9% ±5.065.2% ±2.968.6% ±3.471.2% ±2.972.2% ±3.2我们62.0% ±3.269.8% ±2.770.6% ±3.373.1% ±2.973.7% ±3.2靶标：ssTEM方法单次拍摄（|B|=500）三发（|B|=1500）5次射击（|B|=2500）7发（|B|=3200）10杆（|B|=5000）熵49.5% ±3.662.6% ±2.665.4% ±3.767.7% ±2.768.6% ±3.6MC-脱落49.3% ±3.062.2% ±3.164.6% ±3.567.9% ±3.668.2% ±4.5随机47.0% ±4.860.6% ±4.063.1% ±2.866.4% ±4.167.1% ±4.1我们51.3% ±3.263.3% ±3.264.2% ±3.267.3% ±2.968.7% ±2.6表2.TNBC、EM、ssTEM目标测试集的mIoU结果突出显示了最佳结果(a) ssTEM（b）EM图5.限制的影响|B|目标数据集（a）ssTEM和（b）EM的mIoU结果。(a)伪标签分割学习（b）数据增强图6.（a）伪标签分割学习（b）数据增强对目标数据集上平均的mIoU结果的影响伪标签生成单次拍摄三发5次射击7发10杆K-means54.4% ±2.763.1% ±2.865.8% ±3.069.5% ±2.471.7% ±2.6膨胀+阈值+扩张56.7% ±3.266.6% ±3.067.4% ±3.270.2% ±2.971.2% ±2.9表3.使用在两个目标数据集（即，ssTEM和EM。3577目标TNBCEMssTEMB5B39fθ′31±4.711±0.58±0.599±092±0.4表4.在没有支持集微调的情况下，在目标数据集上测试伪标签分割模型fθ′（x）另一方面，我们的选择机制仍然是健壮的，并产生更好的性能。这意味着我们提出的评分函数与随机、熵和MC-丢弃相比仍然更准确。我们还报告了使用200，300，和400图像每个目标图像的数据集ssTEM的结果在图。4，其突出了随着提取更多图像块而显著提高伪标记细胞分割学习和微调。我们声称，仅使用源数据训练的分割模型fθ（x）对于对目标图像预测进行评分来说不够鲁棒，这是伪标记细胞分割学习的借口任务的主要动机。为了支持我们的观点，我们进行了一个实验，与伪标签分割模型fθ′（x）相比，fθ（x）的性能较差。mIoU结果见Fig.在TNBC、EM和ssTEM目标数据集上平均的6表明，由于更好的评分和支持集的选择，我们的借口任务通常提高了性能。每个目标数据集的数值结果可在补充材料中查阅。此外，我们通过在目标测试集上评估伪标签分割模型来提高支持集微调的重要性表4中的结果清楚地表明，仅依靠伪标记分割学习对于目标TNBC、EM和ssTEM是不够的，因此有必要利用这些目标显微图像的专家注释来执行支持集微调。然而，B5和B39产生相当准确的结果，因为它们的显微镜域仅包括感兴趣的细胞和背景，因此，我们的伪标记分割流水线产生接近专家级注释的有用的伪标记。最后，我们研究了一种不同的技术来生成伪标签（y（PL）），用于伪标签细胞分割学习的任务也就是说，我们使用K均值[34]将每个未标记目标图像的像素聚类到前景和背景类，即二进制分割图，因此，K= 2。该研究使用目标数据集EM和ssTEM进行。可以注意到，两个目标数据集的感兴趣的细胞（线粒体）相对于同一图像中的其他细胞/膜获得暗像素值（参见图2）。因此，属于较暗像素值的聚类中心的像素被分配给前景类，而属于较亮像素值的聚类中心的像素被视为背景。我们在表3中报告了结果。我们清楚地注意到，使用微调后的模型，伪标签生成使用建议的管道在第二节。3.2与使用K均值生成的结果相比。然而，结果还表明，支持集选择算法对底层的伪标签生成技术是鲁棒的，并且它仍然可以使用微调到两种技术的伪标签的两个模型来执行。数据扩充数据扩充可能会由于数据分布变化而影响模型预测的一致性。然而，与随机增强相比，任务特定增强可能会引入明显的不一致预测在这项工作中，我们声称，像素级的增强是更有意义的评分功能的计算比仿射变换。为此，我们将我们选择的增强与仿射变换进行比较，包括图像旋转（30°）和沿正x轴（H的30%）和y轴（W的30%我们在图1B中报告了TNBC、EM和ssTEM靶数据集的平均mIoU结果。6 b.显然，所提出的对比度、亮度和锐度的增强在BCE计算中具有积极影响，提供了更好的支持集选择。数值计算结果列于柔性材料中5. 结论我们提出了一种方法来优化支持集选择一个有效的微调过程，因此，在少数拍摄显微镜图像细胞分割的更好的性能。在我们的整个实验中，我们证明了通过依赖于我们的伪标记细胞分割学习的新借口任务和我们的评分函数，实现了一致的和整体更好的结果，优于香农此外，一系列消融研究强调了我们方法的重要因素，这些因素是支持集大小，伪标签分割学习对支持集选择的影响，微调以及数据增强对选择过程的影响。我们的工作可以通过结合其他选择技术，如基于多样性的选择。此外，我们计划将半监督学习与支持集微调相结合。致谢这 项 工 作 的 部 分 资 金 来 自 德 国 研 究 共 同 体（DFG）、研究培训组GRK 2203：肺部微米和纳米级传感器技术（PULMOSENS）、德国联邦经济事务和能源部在项目“KIDeltaLearning”（Forderkennzeichen？19A19013A）内G.C.感谢亚历山大·冯·洪堡基金会对再次赞助研究的支持3578引用[1] Carlos Arteta，Victor Lempitsky，and Andrew Zisserman.在野外数数。欧洲计算机视觉会议，第483-498页。施普林格，2016年。[2] 皮埃尔·巴尔迪自动编码器、无监督学习和深度架构。在ICML研讨会上关于无监督和迁移学习的论文集，第37-49页JMLR研讨会和会议记录，2012年。[3] Liang Chen ， Paul Bentley ， Kensaku Mori ， KazunariMisawa，Michitaka Fujiwara，and Daniel Rueckert.使用图像上下文恢复的医学图像分析的自监督学习。医学图像分析，58：101539，2019。[4] 陈婷，西蒙·科恩布里斯，穆罕默德·诺鲁齐，和葛offrey Hinton.视觉表征对比学习的一个简单框架国际机器学习会议，第1597-1607页。PMLR，2020年。[5] Dan Ciresan，Alessandro Giusti，Luca Gambardella，andJ ür genSchmidhube r. 深层神经网络在电子显微镜图像中工作于分段神经元膜。神经信息处理系统的进展，25：2843-2851，2012。[6] Dan C Cires Rupan ， Alessandro Giusti ， Luca MGambardella，andJürgenSchmidhube r. 使用深度神经网络检测乳腺癌组织学图像中的有丝分裂医学图像计算和计算机辅助干预国际会议，第411-418页。Springer，2013.[7] Ekin D Cubuk，Barret Zoph，Jonathon Shlens，and QuocV Le.随机扩增：实用的自动数据扩充，减少搜索空间。在IEEE/CVF计算机视觉和模式识别研讨会会议记录中，第702-703页[8] Youssef Dawoud，Katharina Ernst，Gustavo Questiro，and Vasileios Belagiannis.基于边缘的自监督医学光学成像和虚拟显微镜图像分析国际研讨会，第22-31页。施普林格，2022年。[9] Youssef Dawoud，Julia Hornauer，Gustavo Quartiiro和Vasileios Belagiannis。少数拍摄显微镜图像细胞分割。机器学习和数据库中的知识发现。应用数据科学和演示轨道-欧洲会议，ECML PKDD 2020，比利时根特，2020年9月14日至18日，会议记录，第五部分，第12461卷，第139-154页。Springer，2020年。[10] Klaas Dijkstra ， J Loosdrecht ， LRB Schomaker ， andMarco A Wiering.Centroidnet：一种用于联合对象定位和计数的深度神经网络在联合欧洲会议机器学习和知识发现数据库，第585-601页。Springer，2018.[11] Geisa M Faustino，Marcelo Gattass，Stevens Rehen，andCar- los JP de Lucena.荧光显微图像中胚胎干细胞的自动2009年IEEE生物医学成像国际研讨会：从纳米到宏观，第799-802页。IEEE，2009年。[12] Chelsea Finn，Pieter Abbeel，Sergey Levine.用于深度网络快速适应的模型不可知元学习。国际机器学习会议，第1126-1135页。PMLR，2017年。[13] 林顿·C·弗里曼初级应用统计学：行为科学专业的学生。New York：Wiley，1965.[14] 亚林·加尔和祖宾·加赫拉马尼。Dropout作为贝叶斯近似：在深度学习中表示模型的不确定性。在机器学习国际会议上，第1050-1059页。PMLR，2016.[15] Yarin Gal、Riashat Islam和Zoubin Ghahramani。基于图像数据的深度贝叶斯主动学习。国际机器学习，第1183PMLR，2017年。[16] Yunhe Gao，Mu Zhou，and Dimitris N Metaxas. UTnet：一种用于医学图像分割的混合Transformer架构。医学图像计算和计算机辅助干预国际会议，第61-71页。斯普林格，2021年。[17] Stephan Gerhard ， Jan Funke ， Julien Martel ， AlbertCardona，and Richard Fetter.神经组织分段各向异性系统数据集。Figshare，第0-0页[18] Spyros Gidaris，Praveer Singh和Nikos Komodakis。通过预测图像旋转的无监督表示学习。arXiv预印本arXiv：1803.07728，2018。[19] Marc Gorriz ， Axel Carlier ， Emmanuel Faure ， andXavier Giro-i Nieto.用于黑色素瘤分割的具有成本效益的主动学习。arXiv预印本arXiv：1711.09168，2017。[20] Robert M Haralick ， Stanley R Sternberg ， and XinhuaZhuang.使用数学形态学进行图像分析。IEEE模式分析与机器智能学报，（4）：532[21] Amir Jamaludin，Timor Kadir，and Andrew Zisserman.脊柱mris的自监督学习。医学图像分析中的深度学习和临床决策支持的多模态学习，第294-302页。Springer，2017.[22] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[23] AnttiLehmussola、PekkaRuusuvuori、JyrkiSelinummi、Heikki Huttunen和Olli Yli-Harja。用细胞群模拟荧光显微镜图像的计算框架。IEEE transactions onmedical imaging，26（7）：1010[24] Zhi Lu，Gustavo Quartiiro，and Andrew P Bradley.一种改进的多水平集函数联合优化方法用于重叠宫颈细胞的分 割 . IEEE Trans-actions on Image Processing ， 24（4）：1261[25] 卢奇、李云鹏和帕斯卡尔·福阿。使用工作集的近似次梯度下降学习在IEEE计算机视觉和模式识别会议论文集，第1987- 1994页[26] AnastasiaMakarevich ， AzadeFarshad ， VasileiosBelagian nis，和Nassir Navab. Metamedseg：用于少量器官 分 割 的 体 积 元 学 习 。 arXiv 预 印 本 arXiv ：2109.09734，2021。[27] 鲁米、王昊、田永隆、何昊、聂斯特。密集回归的免训练不确定性估计：3579作 为 替 代 品 的 敏 感 性 。 arXiv 预 印 本 arXiv ：1910.04858，2019。[28] Arnab Kumar Mondal ， Jose Dolz ， and ChristianDesrosiers.使用生成对抗学习的少镜头3d多模态医学图像分割。arXiv预印本arXiv：1810.12241，2018。[29] PeterNaylor ， MarickLae' ， FabienReyal ，andThomasWalte r. 使用深度神经网络的组织病理学图像中的细胞核分割。2017年IEEE第14届国际生物医学成像研讨会（ISBI 2017），第933-936页。IEEE，2017年。[30] PeterNaylor ， MarickLae' ， FabienReyal ，andThomasWalte r. 基于距离图深度回归的组织病理学图像细胞核分割IEEE Transactions on Medical Imaging，38（2）：448[31] Alex Nichol，Joshua Achiam，and John Schulman.一阶元学习算法。CoRR，abs/1803.02999，2018。[32] Mehdi Noroozi和Paolo Favaro。通过解决拼图游戏进行视觉表示的无监督学习。在欧洲计