交叉补丁密集学习用于组织病理学图像的核分割

116660交叉补丁密集对比学习用于组织病理学图像中细胞核的半监督分割0Huisi Wu 1，Zhaoze Wang 1，Youyi Song 2，Lin Yang 2，Jing Qin 201 深圳大学，2 香港理工大学0摘要0我们研究了半监督学习问题，使用少量标记数据和大量未标记数据来训练网络，通过开发一种交叉补丁密集对比学习框架，在组织病理学图像中分割细胞核。这个任务的动机是收集组织病理学图像分割任务的标记数据的负担非常大。我们方法的关键思想是对齐教师网络和学生网络的特征，从跨图像的补丁和像素级别进行采样，以强制特征的类内紧密性和类间可分性，我们展示了这对于从未标记数据中提取有价值的知识是有帮助的。我们还设计了一种新的优化框架，结合了一致性正则化和熵最小化技术，在梯度消失方面表现出良好的性质。我们在两个公开数据集上评估了所提出的方法，并在广泛的实验中取得了积极的结果，优于现有的方法。代码可在https://github.com/zzw-szu/CDCL获取。01. 引言0深度学习模型在组织病理学图像中的细胞核分割方面取得了显著的成功[9, 42,43]。然而，为了获得良好的学习性能，我们通常需要收集大量的注释数据，告诉深度模型应该如何输出。问题在于，这些注释数据的收集非常耗时，甚至可能非常昂贵，因为它们需要领域专家的辛勤努力，并且注释过程必须进行多轮以达成专家之间的共识。因此，研究者们越来越关注如何在只有少量注释数据的情况下训练深度模型。在这个方向上的开创性工作主要包括半监督学习[17, 21, 36]和弱监督学习[1,18,37]。在本研究中，我们研究了只需要少量像素级注释数据就能学习大量未标记数据的半监督学习问题。0数据。这种设置更适合于在组织病理学图像中分割细胞核，因为一个图像中存在许多对象，因此弱监督信号（如对象的中心）往往更加昂贵。医学图像分割中的先进半监督学习技术通常基于对抗训练、伪标签和一致性正则化[10, 23,26]。尽管这些现有方法已经显示出能够利用未标记数据进行学习的能力，但它们缺乏利用整个数据集中的特征结构，例如不同特征之间的相似性或差异性。我们解决这个问题的思路是将半监督学习和对比学习结合起来。对比学习从未标记数据中选择正负特征对，然后通过将相似特征与不相似特征进行对比来利用它们的知识，能够学习不同图像之间的高级语义结构。实现我们思路的关键是正负特征对的采样质量。现有方法基于像素级采样，正特征对由同一像素级特征的多个扰动视图组成，而负特征对则是在不同像素级预测特征的指导下随机采样的，伪标签的指导下[20,44]。由于细胞核具有模糊的边界和明显的分布，伪标签在像素级上并不准确，尽管它们仍然反映了一个固定区域（例如补丁）中的类别分布，这表明在补丁间的特征差异判断比像素间更容易。因此，通过利用补丁间的特征差异，深度模型更有可能学习到目标分布的更好表示。基于以上观点，我们开发了一种交叉补丁密集对比学习框架，从未标记数据中提取结构信息。具体而言，我们在具有较大差异的补丁之间采样负特征对，并在它们之间密集采样像素级负特征对。在标准正采样策略的基础上，我们的对比学习模块在补丁级和像素级上强制实现了类内紧密性和类间可分性[38]。通过对比学习模块，我们能够学习到高级语义结构。2.3. Contrastive LearningL = wsupLsup + wcontrLcontr + wconsLcons + wentLent,(1)116670我们进一步利用平均教师架构、一致性正则化和熵最小化的优势，以细胞核组织病理图像的半监督分割为例，获得更高质量的预测和伪标签。我们在两个公开可用的数据集上进行了大量实验，积极的结果表明了我们方法的有效性，始终优于现有的方法。我们总结贡献如下。0•我们提出了一种有效且通用的交叉补丁密集对比学习框架，通过在补丁级别和像素级别上强制实施类内紧凑性和类间可分性，从无标签数据中提取有价值的知识。0•我们利用一致性正则化和熵最小化的优势，开发了一种高效的半监督细胞核图像分割算法，在两个公开可用的数据集上优于现有方法。02. 相关工作02.1. 组织病理学图像中的细胞核分割0细胞核分割是计算机辅助诊断和肿瘤微环境分析中的一项初步但复杂的任务[42]。传统技术通常使用背景减除和颜色阈值法[27,29]，需要复杂的后处理才能提供分割结果，因此无法处理细胞核图像中的重叠和遮挡等具有挑战性的情况。随着卷积神经网络的发展，深度学习模型已广泛应用于细胞核分割任务，但其中大多数只在完全监督的设置下达到高准确度[24,32,45]。然而，有限的注释数据限制了现有细胞核分割方法的泛化能力。因此，迫切需要开发能够在有限监督下进行训练并从无标签数据中提取信息的方法。02.2. 半监督语义分割0基于半监督学习的分割方法已被证明能够通过利用无标签数据中的信息来解决上述问题。例如，对抗训练方法[26,35]利用生成对抗网络[12]从无标签数据中提取有用的结构信息。伪标记方法[8,10]通过保留高置信度的模型预测为无标签数据创建人工标签。其他主流方法通过在不同扰动下强制一致性来利用无标签数据。TCSMv2 [23]采用自集成架构来实现一致性。0架构并强制实施转换一致性以提高输出级别正则化的性能。CutMix[11]鼓励混合预测和混合输入生成的预测之间的混合一致性。GCT[16]提出了一个检测器来近似像素级预测置信度，并带有动态一致性约束。CCT[30]将编码器的输出作为扰动的对象，可以通过保持预测在不同扰动下的不变性来增强网络的表示学习能力。与它们不同，我们提出了一种新颖的半监督分割方法，展示了整合自监督对比学习的优越性。0对于从无标签特征中学习表示的技术，对比学习是目前备受推崇的技术[6, 7,14]。它旨在通过对比相似特征（正样本对）和不相似特征（负样本对）来获得更好的表示学习。对比学习的一个重要创新方向是如何选择正/负样本对。此外，采用记忆库来存储更多的负样本，因为它们可以带来更好的性能[6]。在语义分割领域，有很多工作利用对比学习对模型进行预训练[4,39,41]。但最近，王等人[38]展示了将对比学习应用于跨图像像素级的监督分割的优势。CAC[20]通过执行像素级的方向对比学习，将低质量特征与其对应的特征对齐，展示了在半监督分割中的改进效果。在这些工作的基础上，我们提出了一个以交叉补丁密集对比学习模块为核心的半监督分割方法。03.方法0所提出的半监督分割方法如图1所示，基于均值教师框架[36]。学生和教师模型共享相同的架构，包括一个提取器，一个分类器和一个投影仪。监督分支（图1中的黑色箭头）通过计算预测和真实值之间的标准交叉熵损失Lsup来利用标记数据。在无监督分支中，通过对投影仪输出特征进行对比损失Lcontr的对比学习，以及对分类器输出预测进行一致性正则化和熵最小化，使用损失L cons和Lent，驱动网络从无标签数据中提取信息。学生模型通过上述损失的加权求和进行优化，公式如下：θti = αθti−1 + (1 − α)θsi ,(2),(5)1{�yh,wu= 1},(6)116680图1.总体架构。学生和教师模型共享相同的架构。我们通过减少L sup，L contr，L cons和Lent的加权总和来更新学生模型。教师模型通过将其设置为学生模型权重的EMA来更新。黑色箭头表示监督分支，其他箭头表示无监督分支。0其中w是用于平衡各个损失项影响的加权因子。我们通过将其设置为学生模型权重的指数移动平均（EMA）来更新教师模型，而不是常用的梯度下降技术。该过程可以表示为：0其中θ t i表示第i次迭代时教师模型的权重，θ si表示学生模型的权重。α∈[0,1]是用于更新的平衡权重。注意，上述权重的时间集成可以帮助教师产生更准确的预测[36]，从而促进学生模型的无监督训练，并最终优化分割结果。03.1.交叉补丁密集对比学习0组织病理学图像中细胞核的分布通常是分散的。因此，我们可以将图像分成多个固定大小的补丁，每个补丁包含不同比例的前景和背景像素。考虑到在伪标签的辅助下相对容易判断补丁间特征差异，我们的交叉补丁密集对比学习模块，如图2所示，基于原始像素对比学习和补丁对比学习的思想进行了开发。根据之前的工作[20,38]，该模块包括两个阶段：正/负对采样和对比损失计算。0交叉补丁密集采样。所提出的采样策略的概述如图2所示。强烈0并且将同一图像的弱增强输入分别传入学生和教师模型。提取器的输出被投影到低维特征图中，在补丁级别和像素级别上采样正/负对。投影仪可以保留提取特征中的关键上下文信息，这对于对比学习是有益的[6]。按照标准的正样本采样策略，我们从学生模型中选择一个补丁级特征，其正样本对应的补丁从教师模型中的相应位置采样。在这两个补丁之间，具有相同位置的像素特征形成像素级正对。我们的策略在负样本采样上有所不同。我们将具有较大差异的两个补丁级特征视为负对，然后以交叉补丁密集的方式采样像素级对。为了衡量补丁间特征差异，我们引入了一种基于伪标签的补丁度量，具体计算如下：学生和教师模型的伪标签� y s u，� yt u的获取如下：0^ysu =  argmax ( Psu ) , (3)0^ytu =  argmax ( Pt u ) , (4)0其中Psu和Ptu表示学生和教师模型对未标记数据的预测，度量指标称为前景得分FS，计算如下：0FS  = Nf0Nf  = �lcontr(q) = −logsim(q, k+)sim(q, k+) +�k−∈F BJq,k−sim(q, k−)(7)sim(q, k) = exp�qT k∥q∥ ∥k∥ τ�(8)q,k− = 1 yq ̸= yk−(9)116690图2.半监督细胞核分割中所提出的跨块密集对比学习的示意流程。具有较大差异的块级特征被采样为块级负样本对，而像素级负样本对则在它们之间密集采样。正样本对在块级和像素级上的相同位置的块和像素之间进行采样，该模块将正样本对拉近并将负样本对推开。0其中N是像素总数，Nf是所选块中前景像素的数量。^yu等同于^ysu或^ytu，具体取决于从学生模型还是教师模型获取的块。FS表示属于目标类的像素比例。根据FS，我们将这些块分为三类：FDP（前景主导块，FS≥0.7），BDP（背景主导块，FS≤0.3）和MPs（混合块，0.3

下载后可阅读完整内容，剩余1页未读，立即下载