40050使用空间上下文表示的多类细胞检测0Shahira Abousamra, David Belinsky, John Van Arnam, Felicia Allard, EricYee, Rajarsi Gupta, Tahsin Kurc, Dimitris Samaras, Joel Saltz, Chao ChenStony Brook University Stony Brook, NY 11794, USA0摘要0在数字病理学中，细胞的检测和分类对于自动诊断和预后任务都很重要。将细胞分类为肿瘤细胞、淋巴细胞或基质细胞等亚型尤其具有挑战性。现有的方法侧重于个体细胞的形态外观，而实际上病理学家通常通过细胞的空间上下文来推断细胞类别。在本文中，我们提出了一种新的方法，既可以进行检测，又可以进行分类，明确地融入了空间上下文信息。我们使用空间统计函数以多类和多尺度的方式描述局部密度。通过表示学习和深度聚类技术，我们学习到了具有外观和空间上下文的先进细胞表示。在各种基准测试中，我们的方法在性能上优于现有技术，尤其是在分类任务上。01. 引言0我们提出了第一个明确学习细胞空间上下文感知表示的联合细胞检测和分类方法。我们证明了融入空间上下文将显著提高性能，尤其是对于分类任务。从全切片组织学图像中识别肿瘤细胞、淋巴细胞和基质细胞等各种类型的细胞是数字病理学中实现自动诊断和预后的重要步骤。不同细胞的空间排列可以全面地描述肿瘤和免疫细胞之间的相互作用，并与临床结果相关[29, 48,23]。一个很好的例子是检测和测量肿瘤浸润淋巴细胞（TILs），即驻留在浸润性肿瘤边界内的淋巴细胞[36]。TILs的普遍存在已被证明与更好的临床结果相关[37, 38,41]。除了淋巴细胞外，侵袭性肿瘤前沿存在孤立或小团簇的肿瘤细胞，这种现象被称为肿瘤萌芽，是0预后生物标志物与结直肠癌和其他实体恶性肿瘤的淋巴结转移风险增加相关[28]。其他例子包括淋巴血管浸润和神经浸润的评估[27]以及用于诊断腹腔疾病的上皮内淋巴细胞的鉴定和测量[34]。所有这些研究都需要一种有效的算法来准确识别不同类型的细胞。0多类细胞识别涉及细胞检测和细胞分类两个方面。细胞检测在过去几十年中得到了广泛研究[40, 21,45]。现有的方法要么采用计算机视觉中的目标检测算法[20,47]，要么将问题视为实例分割问题，逐个分割细胞核[18,19, 32, 25,30]。尽管分割方法提供了详细的细胞核形态，但它们的训练需要高度详细且耗时的细胞核掩膜注释。为了避免这个瓶颈，可以使用弱监督方法[31, 46, 43,11]，仅基于点注释，即放置在细胞核中心的点，来分割细胞核。点注释是一种更经济的大规模训练注释方法。0尽管在细胞检测方面取得了成功，但我们在细胞分类方面的进展并不如此先进。事实上，即使对于人类专家来说，分类也是一项具有挑战性的任务。不同类型的细胞可能具有相似的外观。同时，同一类型的细胞在肿瘤和炎症区域的形态和纹理上可能存在较大的变化。为了在这种具有挑战性的情景中正确分类细胞，病理学家不仅使用外观，还依赖于周围细胞的上下文信息、它们的空间关系和组织结构。例如，退化或凋亡细胞通常在腺瘤形成肿瘤的腔内空间中聚集在一起，并且可以在这种上下文中轻松识别，尽管它们展示了一系列形态特征；这种上下文可以通过较大尺度上的细胞结构模式来识别。同样，建筑模式可以用来帮助区分形态和染色质模式难以区分的反应性基质细胞和肿瘤细胞。Most cell detection from point annotation methods op-erate by training a regression network to predict a proba-bility density map that has high values at the ground truthpoints and the probability attenuates as you go further away.The detected cells are then the peaks in the regressed maps[40, 21]. In [45, 24] a patch-wise classification is performedof whether a patch contains a cell nucleus in the center.[20, 47] use faster-RCNN object detection algorithm [33].One can naturally extend the method by using other sim-ilar object detection algorithms [8, 14, 9]. Our proposedmethod learns to detect cells by pixel-wise binary classi-fication. It is trained with ground truth binary maps whereeach connected component represents a cell nucleus and thecomponents are restricted to not overlap so as to respect theboundaries between cells.When nuclei segmentation masks are available, fully su-pervised instance segmentation methods can be trained topredict nuclei contours [50, 19, 30]. Alternatively, weaklysupervised nucleus segmentation methods learn to segment40060图1.带有和不带有空间上下文的样本结果。蓝色、红色和绿色点分别代表炎症细胞、上皮细胞和基质细胞。从左到右：原始图像块，不带空间上下文的检测和分类结果，我们使用空间上下文的方法，地面真值点注释。我们的方法利用空间上下文更好地对细胞进行分类。0要设计一个理想的分类算法，模仿病理学家的思维过程并将空间上下文纳入决策过程是必不可少的。与现有的只隐式学习上下文的方法不同[19,40]，我们提出了一种新颖的算法，明确地利用空间上下文。为了建模空间上下文，我们引入了空间统计学中的经典Ripley'sK函数[15]。K函数以多类别、多尺度的方式编码细胞之间的空间关系。已经证明它是细胞结构的一个强大描述符[48,7]。然而，现有的研究主要将K函数用于下游分析，而不是像我们这样用于更好的细胞识别。我们面临的主要挑战是在推理时空间上下文不可用；在没有首先识别细胞及其类别的情况下无法推断K函数。为了解决这个挑战，我们假设深度神经网络具有足够的学习能力，并提出通过多任务学习框架学习空间上下文感知表示。我们训练一个深度神经网络，同时执行细胞检测、细胞分类和空间上下文预测（即预测K函数）。通过训练，网络学习到了一种融合了外观和空间上下文的表示。在推理阶段，只使用检测和分类模块。但是，空间上下文感知表示确保了更好的性能。详见图1的说明。在这样的多任务框架下学习是具有挑战性的，因为这些任务在性质上非常不同。细胞分类/检测模块预测类别标签。而空间上下文预测模块需要预测K函数，这是高维连续值向量。为了更好地学习这些任务，我们引入了一个深度聚类模块，受到无监督和弱监督学习的工作的启发[10, 13]。在这个0模块中，我们引入了由深度表示聚类生成的伪标签。这些伪标签在细胞类别标签和K函数之间起到了连接的作用，从而促进了不同模块之间的协作和外观与空间信息的融合。详见图2中我们模型的概述。我们将我们的方法称为MCSpatNet，并将其应用于联合细胞检测和分类任务。我们在三个基准数据集（乳腺癌、结直肠癌和肺癌）上评估了我们的方法，所有数据集都具有多类别点注释。我们的方法优于各种SOTA基线，展示了空间上下文感知表示的强大能力。总结起来，我们的贡献如下：0•我们提出了一种新颖的细胞检测和分类方法，首次通过多任务学习明确地学习细胞的空间上下文感知表示。0•我们引入了空间统计函数（K函数）作为细胞空间上下文的有效描述符。0•我们引入了空间上下文预测模块和深度聚类模块，以促进表示的学习。0•我们的代码可在此处获取：https://github.com/TopoXLab/MCSpatNet01.1. 相关工作01我们的模型可以自然地扩展到遮罩注释。在本文中，我们专注于点注释，因为它们更加经济实惠。事实上，我们的实验表明，我们训练的具有空间背景感知的模型与使用遮罩注释训练的基于分割的模型在检测和分类方面一样好。K(r) = 1λs∈Xt∈X\{s}1n − 1 d(s, t) < r(1)Kcs(r) =1nmax�t∈Xcs\{s}�d(s, t) < r�(2)40070使用地面真实点注释[31, 46, 43,11]检测细胞核。这些方法大多实现了一种形式的检测，然后进行细化以获得更准确的边界。针对细胞分类的方法较少，主要是在两个阶段进行操作。[40]具有两阶段的检测和基于补丁的分类，其中补丁是以检测到的细胞为中心的小窗口。[12,48]执行两阶段的分割和基于补丁的分类。[48]进一步应用空间核平滑和癌症区域检测来提高分类准确性。[51]还使用在细胞和超像素上构建的条件随机场（CRF）在[40]的基础上进行分类平滑。[49]对围绕细胞核粗略居中的现成补丁进行分类。[19]提出了一种完全监督的分割和像素级细胞分类方法，使用3个网络分支进行分割、边界检测和分类任务。深度聚类[10, 3, 26,22]已知可以增强无监督和弱监督学习中的特征表示[22, 44,13]。大多数深度聚类方法从特征表示中生成聚类，并学习预测每个输入实例的聚类[10,26]。其他方法尝试学习最大化跨类别信息的聚类[3,22]。与[10,13]类似，我们通过深度聚类迭代生成子分类细胞的伪标签。我们使用编码空间统计函数和类纹理特征的特征来结合空间和视觉上下文，以获得更好的表示。02. 方法0我们提出了一种在H&E染色图像上进行细胞检测和分类的方法。预测和地面真实值以多类点注释的形式给出；每个细胞核的大致中心位置有一个点，并具有特定的细胞类别标签：炎症性、上皮2和基质细胞。见图3进行说明。我们的模型有几个不同的模块对应不同的任务。这些模块共享相同的输入和相同的特征提取器。但是它们有自己的卷积层块用于自己的不同预测任务。这样，这些任务可以在共同的表示中学习和受益，避免冲突。架构如图2所示。除了细胞检测和分类模块外，我们的方法还有两个附加模块。首先，我们引入了一个空间分布预测模块，该模块学习预测细胞相关的空间统计函数。因此，它学习汇集描述空间上下文的特征。为了进一步改善特征表示，我们引入了一个基于细胞级深度聚类的模块。该模块根据特征表示迭代地对细胞进行聚类。02 我们的补丁是从癌症区域选择的，其中上皮细胞是肿瘤细胞。0基于特征表示并预测它们的聚类，将外观和空间上下文整合到更好的特征表示中。在第2.1节中，我们对空间上下文信息进行了描述，并说明了其直觉。在第2.2节中，我们提供了所有四个模块和共同特征提取器的详细信息。02.1. 细胞的空间背景0我们将细胞的空间背景定义为其周围邻域中不同类别的细胞的分布。为了描述空间背景，我们引入了 Ripley'sK-函数，一种描述点模式的空间统计函数[15,5]。对于一个感兴趣的细胞，称为源，我们可以测量在距离源处距离r的邻居（称为目标）的数量。通过对所有观察到的点进行聚合，我们得到K函数作为累积分布函数，表示从源处逐渐增加的距离ri内预期的邻居数量。见图4的说明。形式上，给定大小为n的2D点集X，K函数为：0其中d（s，t）是源点s和目标点t之间的欧氏距离。� ∙�是Iverson括号，如果其中的条件为真，则为1，否则为0。λ是用于根据源点的密度进行归一化的强度函数。根据假设的不同，强度函数可以是常数，即面积0n，（均匀设置）或位置相关（非均匀）。我们可以将计算得到的K函数与基线进行比较，即随机点过程（泊松点过程）的K函数。当感兴趣的K函数在某个范围的r上高于基线时，我们知道目标点比从随机点过程中预期的要多，因此点是聚集的。当K函数低于基线时，我们比从随机点过程中预期的要少，因此点是分散的。对于多类点集，我们扩展K函数，使得源和目标可以来自不同类别的点。在这种情况下，K函数也被称为K交叉函数。细胞特定的K函数和矢量化。在细胞检测和分类中，我们关注的是单个细胞，并检查每个细胞的空间上下文，而不是在人口水平上。对于给定的细胞s作为源，我们限制在其周围的固定大小区域内。我们只考虑落在这个局部区域或补丁内的目标细胞。我们逐个考虑不同类别的目标细胞。对于类别c，用X cs表示在以s为中心的局部补丁中的所有类别c的细胞。类别c的K函数为40080图2.模型架构。特征提取器为四个后续模块生成共享特征：细胞检测，分类，空间上下文和深度聚类。每个模块都有自己的层来生成其自己的任务特定表示。空间上下文模块学习每个细胞的K函数。深度聚类模块根据空间上下文表示和细胞分类表示执行动态聚类。该模型进行端到端训练，从而学习到一种空间上下文感知的特征表示。0图3. 输入和地面实况（GT）训练地图。 （A）样本训练补丁。（B）GT点注释。 （C）检测GT掩模。 （D）分类GT掩模。蓝色，红色和绿色分别表示炎症，上皮和基质细胞/通道。0图4.Ripley的K函数。左：K函数考虑了从源（细胞）s开始，以递增的半径考虑不同类别的邻近目标点（细胞）的数量。源和目标可以是来自特定类别的点。右：观察到的K函数与泊松点过程的基线的绘图。虚线是随机过程函数的置信区间包络。0c | X c s |表示任何局部补丁的最大目标细胞数。在实践中，我们将补丁大小设置为180×180。我们还通过在有限一组半径上进行均匀采样来对K函数进行矢量化：r =15，30，45，...，90像素。总共有三个类别，每个类别有六个维度。我们称之为18维0通过学习预测这个K函数向量，我们的模型学习了空间表示。0K函数和细胞的空间行为。我们通过提供真实示例来说明K函数如何帮助改进细胞的空间表示。在图5中，我们可视化了不同类别的细胞及其K函数。由于K函数是高维的，我们无法直接显示其值。相反，我们根据它们的K函数向量将每个类别的细胞聚类为子类别，然后用不同的颜色（从深蓝到浅蓝表示炎症细胞，从深绿到浅绿表示基质细胞，从深红到浅红/粉红表示上皮细胞）可视化不同的子类别。0我们观察到不同的子类别明显展示了不同的空间行为。对于上皮细胞，聚集在肿瘤巢中的细胞通常属于粉红色子类别，而那些更分散且靠近基质细胞的细胞属于红色子类别。对于基质细胞，浅绿色子类别的细胞通常靠近其他类别（炎症或上皮细胞）。与此同时，远离炎症/上皮细胞的其他基质细胞倾向于属于深绿色子类别。类似的行为也可以观察到炎症细胞：浅蓝色细胞聚集，而深蓝色细胞分散。此外，图6显示了不同源和目标细胞类别对的平均K函数。很明显，不同的细胞类别对展示了不同的空间行为。0这表明K函数将细胞分成具有不同空间行为的子类别。它激励我们通过K函数学习空间表示。40090图5.具有不同K函数的细胞可视化。我们根据它们的K函数向量将细胞分组为子类别。不同的子类别展示了不同的空间行为。请注意，较暗到较亮的颜色选择不意味着子类别之间有顺序关系。0图6.当中心为炎症细胞（左）、上皮细胞（中）和基质细胞（右）时的平均K函数。在每个图中，蓝色、红色和绿色曲线代表不同的邻近细胞类型。02.2. 用于空间上下文感知表示的多任务学习0我们提出的模型有四个模块，用于四个不同的任务：细胞检测、细胞分类、深度聚类和空间上下文预测。这四个模块共享一个学习共享特征表示的公共特征提取器。深度聚类模块和空间上下文预测模块仅在训练中使用。它们有助于学习一种空间上下文感知表示，从而提高细胞检测和分类的性能。请参见图2以了解模型架构。0特征提取器。特征提取器是U-Net模型的变体[35]，具有VGG-16[39]骨干。特征提取器的输出具有96个通道，并且与输入具有相同的空间分辨率。输出特征表示被所有四个任务特定模块共享。每个任务特定模块还具有自己的一组卷积层。对于所有任务特定模块，输入和输出的空间分辨率与输入图像相同。但是不同任务的输出通道数是不同的。这样可以使不同的任务特定模块调整特征以更好地适应自己的任务而不冲突。这些任务非常不同，涉及分类和回归。深度聚类任务非常动态。如果没有自己的任务特定模块，它将不稳定特征提取器并产生负面影响。0其他任务会对其他任务产生负面影响。接下来，我们解释不同的任务特定模块。0细胞检测和分类模块。对于细胞检测，模型预测所有像素上的单通道似然图，并将其与二进制的地面实况掩膜进行比较。地面实况掩膜是通过稍微膨胀点注释生成的。对于靠近彼此的细胞，我们使用较小的膨胀半径以避免重叠。掩膜中的每个连通分量对应一个细胞。请参见图3进行说明。细胞检测模块的输出具有具有sigmoid激活的单通道。该模块的训练使用DICE损失，因为它倾向于保留图像中的小物体。对于分类任务，我们创建一个类似于检测地面实况掩膜的地面实况掩膜，只是每个连通分量中的像素具有特定的细胞类别。细胞分类模块的输出具有三个通道，对应于三个细胞类别。我们使用softmax激活和DICE损失进行训练。在推理过程中，我们只使用检测和分类分支。我们将细胞检测模块的输出阈值化，并使用所有连通分量的质心作为预测的细胞位置。我们使用细胞分类模块在预测位置上对每个细胞进行分类。0空间上下文预测模块。空间上下文预测模块预测细胞特定的K函数向量（如公式2所定义）。直觉上，通过预测空间上下文，学到的特征表示具有空间上下文感知能力，可以帮助检测和分类模块。通过消融实验，在实验部分将进行验证。我们为每个细胞预测一个18维的K函数向量。对于地面真值，我们使用为细胞检测任务生成的地面真值细胞检测掩码。对于每个正像素，即膨胀组件内的像素，我们计算K函数向量。我们的空间上下文预测块的输出具有与输入图像相同的空间分辨率，并且具有18个通道，对应于18维的K函数向量。不需要额外的激活。只有在正像素处的预测与地面真值的K函数向量进行比较。为了比较两个K函数向量，我们可以使用Kolmogorov-Smirnov检验[6]来比较样本累积分布函数的估计值。形式上，它是预测值和地面真值之间的差异的最大范数：0KM(K pred , K gt ) = sup r | K pred ( r ) − K gt ( r )| .0实际上，我们发现最大范数效率较低，我们使用L1范数作为替代损失。0深度聚类模块。空间上下文预测模块学习空间上下文的表示。然而，40100实际上，我们观察到它与检测和分类模块的协作效果不佳。我们假设外观特征和空间上下文特征融合不好。这可能是由于不同任务的性质非常不同。检测和分类任务是每像素分类任务，具有少量类别。而空间上下文预测任务是高维输出的回归问题。为了重新校准从这些不同任务中学到的外观特征和空间特征，我们提出了一个深度聚类模块，它在其他模块之间起到自我监督的作用，并处于中间地位。深度聚类模块执行每像素分类任务，但使用从空间和外观信息导出的更多伪类别。深度聚类已知可以增强特征表示[10,13]，特别适用于无监督和弱监督任务。这也符合我们的设置；我们没有细胞子类别的黄金标准。相反，我们根据特征表示动态地得到伪子类别，并训练模型来预测它们。具体而言，我们在中间特征表示上应用k-means聚类，以获得进一步将每个类别的细胞划分为伪子类别的伪标签。每个细胞类别分为5个伪子类别。深度聚类块然后学习预测这些伪标签。这个块的设计类似于细胞分类模块。我们注意到，用于聚类的中间特征表示是深度聚类块和空间上下文预测块的特征的连接。这确保了聚类和学到的特征表示以一种良好校准的方式整合了空间和外观信息。聚类和派生的伪子类别标签在每个时期开始时重新生成。在运行k-means聚类时，聚类中心点使用上一个时期的中心点进行初始化，以避免过多的聚类映射跳跃。训练与细胞分类任务非常相似，使用DICE损失。0我们模型的整体损失是所有四个模块的损失的加权和：0L = λ1L Det + λ2L Class + λ3L Spatial + λ4L DeepCluster .0实际上，我们只需将所有权重设置为1。0技术细节。我们在本小节中最后介绍我们模型架构的一些细节。特征提取器具有VGG-16编码器和4个解码器块。最后一个解码器块是一个具有96个输出通道的单个反卷积层。检测、分类、深度聚类和空间上下文块都具有类似的架构：两个输出通道为64的3×3卷积，然后是1×1卷积以得到最终输出。每个卷积层0除了最后一个之外，每个激活都后跟一个ReLU激活。更多细节请参见第3节和补充材料。03. 实验0我们在三个不同癌症类型的数据集上评估了我们的方法MCSpatNet：乳腺癌、肺癌和结直肠癌。乳腺癌数据集BRCA-M2C由来自TCGA的113名患者的120个补丁组成[42]。肺癌数据集SEER-Lung是来自SEER队列的57个补丁的集合[16]。每个补丁都是从不同的全幻灯片图像或组织样本中采样的，以最大化泛化能力。结直肠癌数据集Consep[19]是公开可用的，共有41个补丁。所有3个数据集的补丁大小约为500×500，放大倍数为20倍；它们足够大，可以提供空间上下文。肺癌和乳腺癌数据集由病理学家进行注释，标有大约细胞中心的地面真实点，并附带一个类别：炎症性、上皮性或基质性。值得一提的是，这些补丁中的所有上皮细胞都是肿瘤细胞。Consep数据集还具有细胞核轮廓掩模。这些数据集的详细信息在补充材料中。0MCSpatNet的实现细节。我们在20倍放大倍数下对补丁进行训练，每个像素约为0.5微米。我们使用扩张的地面真实点掩模，扩张范围最多为9个像素。在所有数据集中，模型都是在3个主要类别（炎症性、上皮性和基质性细胞）上进行训练的。对于深度聚类，我们使用kmeans算法。每个细胞类别有k=5个聚类（总共15个）。为了训练空间上下文模块，我们使用一个R包生成带有边界校正的地面真实K函数。这些K函数只需要在训练开始之前计算一次。每个补丁需要约0.1分钟。半径r的范围为[0,90]，步长为15个像素。为了得到公式1中的公式，返回的K函数乘以区域中的细胞数0area × n max ，其中n max是一个常数，设置为100。在推理过程中，我们对检测输出应用阈值=0.5，并且去除面积小于5个像素的微小连接组件。预测细胞的位置是结果连接组件的质心。0评估。我们在所有三个数据集上对我们的方法进行训练和评估，与现有技术进行比较。我们将每个训练数据集分为训练集和验证集，并在相同的划分上评估所有方法。性能评估使用F-score指标。我们报告检测和分类任务的F-score。与现有方法类似[19,40]，如果预测的细胞与地面真实点之间的距离小于6个像素（约3微米），则将其视为真正阳性（TP）。否则，它是假阳性（FP）。如果地面真实点没有附近的预测，则地面真实点是假阴性（FN）。然后计算F-score为TP0T P +0 . 5( F P + F N ) .检测F-score是通过对所有检测到的细胞进行计算的40110表1.所有三个数据集的结果。对于每个数据集，我们报告五个分数：各个类别（炎症性、上皮性、基质性）的F-score，所有三个类别的平均F-score（Mean）和所有细胞的检测F-score（Det.）。对于每个分数，最佳方法用粗体字突出显示。0BRCA-M2C Consep SEER-Lung0方法 炎症 上皮 基质 平均 检测 炎症 上皮 基质 平均 检测 炎症 上皮 基质 平均 检测0U-Net 0.498 0.744 0.476 0.572 0.838 0.681 0.613 0.561 0.618 0.724 0.779 0.809 0.571 0.720 0.8560Faster-RCNN [ 33 ] 0.572 0.718 0.490 0.594 0.806 0.259 0.523 0.446 0.410 0.492 0.192 0.769 0.411 0.457 0.6160Cascade RCNN [ 8 ] 0.564 0.708 0.505 0.592 0.796 0.644 0.633 0.515 0.597 0.682 0.710 0.793 0.454 0.653 0.7590PointSeg[ 31 ] 0.249 0.407 0.300 0.319 0.538 0.104 0.603 0.210 0.306 0.435 0.748 0.773 0.537 0.686 0.8480HoverNet-Weakly 0.582 0.702 0.513 0.599 0.817 0.549 0.377 0.365 0.431 0.518 0.823 0.808 0.535 0.722 0.8460HoverNet [ 19 ] - - - - - 0.633 0.651 0.624 0.636 0.730 - - - - -0MCSpatNet 0.635 0.785 0.553 0.658 0.849 0.724 0.695 0.628 0.682 0.762 0.799 0.817 0.600 0.739 0.8600表2. 对3个数据集进行消融研究。指标和突出显示的约定与表1相同。0BRCA-M2C Consep SEER-Lung0方法 炎症 上皮 基质 平均 检测 炎症 上皮 基质 平均 检测 炎症 上皮 基质 平均 检测0U-Net 0.498 0.744 0.476 0.572 0.838 0.681 0.613 0.561 0.618 0.724 0.779 0.809 0.571 0.720 0.8560U-Net+Deep Clus. 0.593 0.763 0.505 0.620 0.851 0.613 0.644 0.504 0.587 0.714 0.768 0.804 0.576 0.716 0.8490U-Net+Spat. Pred. 0.597 0.771 0.507 0.625 0.853 0.682 0.650 0.522 0.618 0.761 0.787 0.809 0.587 0.728 0.8510Using NN Dist. 0.641 0.698 0.447 0.595 0.829 0.656 0.616 0.568 0.613 0.719 0.752 0.808 0.558 0.706 0.8480使用密度 0.563 0.753 0.525 0.614 0.851 0.686 0.687 0.624 0.666 0.764 0.797 0.807 0.572 0.725 0.8500MCSpatNet 0.635 0.785 0.553 0.658 0.849 0.724 0.695 0.628 0.682 0.762 0.799 0.817 0.600 0.739 0.8600无论其类别如何，分类F分数都是在每个类别的细胞上进行评估的（炎症F分数、上皮F分数和基质F分数）。我们还报告了三个类别的平均F分数作为分类性能的总体指标。0基线。我们与几种能够联合分割/检测和分类细胞的SOTA方法进行比较。U-Net是一种用于联合检测和分类的基线方法。它使用了具有VGG-16骨干的U-Net架构。它本质上是我们的方法（MCSpatNet），没有空间预测和深度聚类模块。我们还与SOTA的计算机视觉多类别检测算法进行比较，例如Faster-RCNN [33]和Cascade RCNN[8]。除了基于检测的方法，还可以应用基于分割的方法。由于没有可用的真实核膜掩模，我们应用了一种SOTA的弱监督核分割方法（PointSeg）[31]，它只需要点注释进行训练。为了对分割结果进行分类，我们在每个预测的细胞分割内部的局部图像块上训练了一个CNN分类器（SSPP）[40]。我们还应用了HoverNet[19]，一种SOTA的联合分割和分类方法。训练HoverNet需要完全注释的核膜掩模，这只在Consep数据集中可用。我们只在Consep上应用完整的HoverNet。同时，对于所有三个数据集，我们应用了一种基于弱监督的HoverNet（HoverNet-Weakly），通过在点注释锚定的超像素上训练来获得伪掩模。更多细节请参见补充材料。0补充材料。结果和讨论。表1显示了我们的方法和所有基线在三个数据集上的结果。我们的方法在不同的指标上始终优于所有基线。一般来说，我们观察到在分类任务（炎症、上皮、基质的F分数和平均F分数）中比检测任务（检测F分数）有更大的优势。这是预期的，因为病理学家使用空间上下文来帮助确定模糊情况下的细胞类别，而外观是检测的主要线索。图7显示了我们的方法和不同基线的定性结果。在所有的图像块中，细胞的外观并不具有很强的区分性，基线模型无法正确分类它们。我们的模型能够区分上皮细胞和基质细胞以及上皮细胞和炎症细胞。更多结果请参见补充材料。消融研究。我们评估了我们提出的方法与几种变体的效果，以展示不同组件的有效性。在所有的运行中，我们使用与上述相同的实验设置。首先，我们评估了两个新模块的有效性：空间预测和深度聚类。为此，我们评估了3个基线：U-Net（没有这两个模块的模型）、U-Net加上深度聚类模块和U-Net加上空间预测模块。结果请参见表2。将U-Net与第二个和第三个基线进行比较，我们观察到两个模块都对性能改进有贡献。此外，我们的完整模型MCSpatNet优于这三个基线。40120图7. 定性结果。蓝色、红色和绿色点分别代表炎症细胞、上皮细胞和基质细胞。0验证了两个模块的必要性。为了进一步研究所提出的K函数的有效性，我们将其与使用不同的空间上下文描述符进行比较：最近邻距离函数和密度函数。对于第一个基线，我们在空间预测模块中，将K函数向量替换为每个3类中最近邻细胞的距离。对于第二个基线，我们将K函数向量替换为邻域区域内每个3类细胞的密度。如表2所示，基于K函数的空间预测优于这两个基线。这表明K函数提供了更丰富的空间信息，并帮助模型学习最适合细胞检测和分类任务的空间上下文感知表示。更多的消融研究见补充材料。统计显著性。为了验证我们方法的稳健性，我们在BRCA-M2C上运行了我们的方法和两个顶级基线：UNet和HoverNet-弱，进行了另外三次划分(Table3)。我们的方法始终是所有分数中最好的。此外，我们进行了配对T检验，将我们的方法与这些基线进行比较。如果基线结果与我们的结果没有统计显著差异（即p值>0.05），我们将其突出显示为“次佳”结果。这些“次佳”结果通常具有较低的平均值，但标准差较高，它们非常不稳定。04. 结论0在本文中，我们提出了一种新的联合细胞检测和分类方法。新的贡献是明确引入空间上下文信息，并训练模型学习空间上下文感知的细胞表示。0表3. BRCA-M2C的四个随机划分的平均分数和标准差。0MCSpatNet U-Net Hovernet-弱0炎症细胞 0.71 ± 0.07 0.58 ± 0.22 0.54 ± 0.040Epi. 0.76 ± 0.03 0.72 ± 0.02 0.55 ± 0.190基质细胞 0.56 ± 0.08 0.51 ± 0.09 0.49 ± 0.080均值 0.67 ± 0.04 0.60 ± 0.10 0.53 ± 0.060检测 0.85 ± 0.02 0.84 ± 0.01 0.78 ± 0.030细胞。我们还使用深度聚类方法来更好地校准空间和外观特征。所提出的方法优于不同的SOTA方法，证明了空间上下文的重要性。在未来，我们将把该方法扩展到其他形式的上下文信息，例如拓扑[4,2]，以及其他染色，例如多重免疫组织化学[1,17]。0致谢。我们感谢匿名审稿人对本文的建设性反馈。本工作得到了NSF IIS-1909038、CCF-1855760、NCI1R01CA253368-01、NCI UH3-CA225021和NCIU24CA215109的资助，以及Betsy和BobBarton的慷慨捐助。0参考文献0[1] Shahira Abousamra, Danielle Fassler, Le Hou, YuweiZhang, Rajarsi Gupta, Tahsin Kurc, Luisa F Escobar-Hoyos,Dimitris Samaras, Beatrice Knudson, Kenneth Shroyer, JoelSaltz, and Chao Chen.用于多重免疫组织化学图像的弱监督深度染色分解.在2020年IEEE第17届生物医学成像国际研讨会(ISBI)上，第481-485页。IEEE, 2020. 840130[2] Shahira Abousamra, Minh Hoai, Dimitris Samaras, andChao Chen. 在人群中的定位与拓扑约束. 在AAAI上, 2021. 80[3] Yuki M. Asano, Christian Rupprecht, and Andrea Vedaldi.自我标记：同时聚类和表示学习. 在国际学习表示会议上，2020.30[4] Andrew Aukerman, Mathieu Carri`ere, Chao Chen, KevinGardner, Ra´ul Rabad´an, and Rami Vanguri.基于持久同调的乳腺癌免疫微环境表征：可行性研究.在第36届计算几何国际研讨会(SoCG 2020)上. SchlossDagstuhl-Leibniz-Zentrum f¨ur Informatik, 2020. 80[5] Adrian Baddeley, Ege Rubak, and Rolf Turner. 空间点模式:R的方法和应用. Chapman and Hall/CRC Press, 2015. 2 , 30[6] Vance W. Berger and YanYan Zhou. Kolmogorov–Smirnov检验:概述. American Cancer Society, 2014. 50[7] Joshua A Bull, Philip S Macklin, Tom Quaiser, FranziskaBraun, Sarah L Waters, Chris W Pugh, and Helen M Byrne.结合多个空间统计量增强肿瘤内免疫细胞定位的描述. Scientificreports , 10(1):1–12, 2020. 20[8] Zhaowei Cai and Nuno Vasconcelos. 级联R-CNN:深入高质量目标检测. In Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recogni- tion , 2018. 2 , 70[9] Zhaowei Cai and Nuno Vasconcelos. 级联R-CNN:高质量目标检测和实例分割. IEEE Transactions on PatternAnalysis and Machine Intelligence , 43(5):1483–1498, 2021.20[10] Mathilde Caron, Piotr Bojanowski, Armand Joulin, andMatthijs Douze. 用于无监督学习视觉特征的深度聚类. InEuropean Conference on C
我的内容管理
展开
