向心方向网络：用于核实例分割的关系感知方法

4026（b）第（1）款（一）（一）（b）第（1）款（c）第（1）款（d）其他事项（g）（f）第（1）款（e）∼∼CDNet：用于核实例分割的何宏亮1、2黄忠义1丁耀3宋国立2王林1、2任倩1、2魏鹏旭4高志强2陈杰1、2*1北京大学电子与计算机工程学院，深圳，中国2鹏程实验室，深圳，中国3中国科学院大学，中国4中国广州中山大学{hehl，hzhongyi，wangl1212，renq2019}@pku.edu.cn，dingyao16@mails.ucas.ac.cn{songgl，gaozhq，chenj}@pcl.ac.cn，weipx3@mail.sysu.edu.cn摘要由于病理图像中存在大量的接触和重叠的细胞核，细胞核实例分割是一项具有挑战性的任务。现有的方法由于忽略了像素之间的关系（例如，方向信息）。在本文中，我们提出了一种新的向心方向网络（CDNet）的核实例分割。具体来说，我们将向心方向特征定义为指向核中心的一类相邻方向，以表示核内像素之间的空间关系。然后，这些方向特征用于构造方向差异图，以表示实例内的相似性和实例之间的差异。最后，我们提出了一个方向引导的细化模块，它作为一个即插即用的模块，有效地整合辅助任务和聚合不同分支的特征。在MoNuSeg和CPM17数据集上的实验表明，CDNet明显优于其他方法，并达到了最先进的性能。 该代码可在https://github.com/honglianghe/CDNet上获得。1. 介绍核实例分割技术能够精确地定量表征核大小和形状（例如，圆度和纵横比），它们是研究癌组织的关键组成部分[9]。然而，一个完整的载玻片图像包含成千上万的各种类型的细胞核（如图所示）。1（a）（b）），核显示了大量的实例间和实例内的变化性-*通讯作者（h）（j）（一）图1.不同方法的核实例分割示意图。(a)是整个载玻片图像;（b）属本地区域;（c）是对应于（b）的地面实况边界;（d）和（f）表示基于两种现有方法的概率图，并且（e）和（g）反映了这些现有方法在重叠边界上的局限性;（h）（j）从我们的CDNet获得，其中（h）是向心方向特征;(i) 是方向差图，并且（j）是对应的边界图。（j）中的红线表示CDNet有效地识别了重叠区域的边界。它们的外观、器官周围环境、疾病类型甚至数字扫描仪品牌。特别地，肿瘤细胞核倾向于以簇的形式存在，并且导致聚类的重叠实例，这也为细胞核实例的准确分割提供了挑战。为了应对上述核实例的挑战-4027针 对 心理 状 态 任 务， 已 经 通 过 构建 卷 积 神 经网 络（CNN）提出了不同种类的深度学习方法。在本文中，我们将这些方法分为三类：（1）使用CNN进行对象检测，然后分割每个边界框内的对象[12，5];（2）使用CNN进行语义分割并预测实例边界以分离不同的实例[9，8];（3）增加复杂的后处理，如分水岭[21]，条件随机场[10]。其中，第二类由于语义切分技术的发展而引起了人们的极大关注。1（d）和（f）示出了这类两种典型方法的概率图：基于边界的模型[1，17]和基于距离的模型[15]。可以看出，基于边界的模型和基于距离的模型都缺乏区分属于图1B中彼此接触或重叠的两个核的像素的能力。1（e）和（g）。在这项研究中，我们提出了一个向心方向网络（CDNet）的核实例分割。为了表征细胞核内像素之间的空间关系，我们将向心方向特征定义为指向细胞核中心的一类相邻方向（即，图1（d））。在向心方向特征的基础上，提出了方向差异图（DDM）和方向引导的细化模块（DGM）来提高分割性能，尤其是对重叠实例的分割。具体地，DDM表示实例内相似性和实例间差异（即，图1（e）），其反映了用于核边界识别的相邻像素之间的方向差异。DGM是一个即插即用的模块，可以有效地集成辅助任务并聚合三个分支的功能：点分支、方向分支和遮罩分支。在向心方向特征的指导下，对这些分支进行组合优化。我们的贡献总结如下：• 我们提出了一个向心方向网络（CDNet）的核实例分割任务，它使用向心方向特征，有效地处理接触和重叠的核边界模糊性问题。• 我们提出了一个方向差异图（DDM）来反映相邻像素之间的空间差异，用于核边界识别，并提出了一个方向引导的细化模块（DGM）来聚合不同分支的特征。• 我们提出的CDNet与最近的几种方法在两个公共核分割数据集上进行了比较，并实现了最先进的性能。2. 相关工作随着CNN的发展，已经提出了深度学习方法来处理实例分割。任务。基于检测的实例分割方法[7，14，2]和语义到实例分割方法[19，25，24]是两种主流方法。由于无障碍实例分割是一项密集且小的对象分割任务，因此基于检测的实例分割方法的性能受到检测性能的限制[6]。因此，语义到实例的分割方法已经主导了核实例分割，并且这些方法被分为以下三种类型。模型结构。在最近的工作中，Raza et al.[18]提出了Micro-Net，它学习具有多个输入分辨率的图像特征，并通过附加层绕过最大池化操作。Wollmann等人[23]提出的GRUU-Net集成了卷积神经网络和多个图像尺度上的门控递归神经网络。Qu等人。[17]提出了一种全分辨率CNN，并用扩张卷积代替下采样，从而保留完整的特征信息以提高定位精度。此外，Gehlot et al.[4]提出了一种基于编码器-解码器的卷积神经网络，具有嵌套特征级联（EDNFC-Net），它重用特征并保留上下文信息。Xiang等[24]提出了一种双向O形网络（BiO-Net），它以循环的方式重用构建块，以提高其分割能力。细分策略。为了加强核边界的划分，Kumar et al.[9]将核任务描述为三级任务而不是二级任务。以三级预测作为中间步骤，康等人。[8]通过堆叠两个U-Net设计了一个两阶段学习框架。第一阶段用于估计细胞核及其粗边界，第二阶段用于输出最终细粒度分割图。此外，Naylor等人。[15]试图通过将分割问题公式化为距离图的回归任务来解决分割接触核的问题。而不是检测边界框，Schmidt等人。[20]检测星形凸多边形以定位细胞核。这些想法提供了新的解决方案分割重叠和集群核。辅助任务学习。Chen等人[1]首先提出了一种深度轮廓感知网络（DCAN）。它将组织结构分割和轮廓检测表示为一个多任务的学习框架，同时提取目标和轮廓的信息 Oda等人[16]提出了一种边界增强分割网络（BESNet），它在U-Net结构的基础上增加了一条额外的解码路径，用于边界监督。此外，Liu等人[12]提出了一种具有语义分割分支和实例分支的多任务模型。为了聚合不同优化任务之间的特征，Zhou et al.[26]提出了一种轮廓感知信息聚合4028X P ∪ BP图2.拟议CDNet的流程图它分为两个阶段：训练阶段和测试阶段。在训练阶段有两个主要模块：特征提取模块和方向引导细化模块。在测试阶段，利用点检测的预测结果辅助方向分支生成细化的方向差分图（DDM），然后利用细化的DDM增强掩码分支的边界预测。网络（CIA-Net），其在两个解码器路径之间添加多级信息聚合模块。此外，Graham et al.[6]提出了Hover-Net，它使用从像素到核中心的垂直和水平距离编码的丰富信息。上述方法提高了分割性能，但需要重新考虑像素之间的相关性和重叠区域的边界特征表示，因为它导致分割组织病理学图像中重叠和聚类的细胞核的一些瓶颈。在这项研究中，我们提出了一个CDNet，以解决上述瓶颈。详情将在第2节中描述。3.第三章。3. 方法在 本 文 中 ， 我 们 提 出 了 一 个 向 心 方 向 网 络（CDNet）的核实例分割。流程图如图所示。2.该网络的目标是学习指向相应的实例中心的像素的方向特征。我们根据向心方向特征构造方向差图来区分重叠区域的不同实例。为了清楚地解释我们的CDNet，我们首先在Sec. 3.1，然后在第2节中介绍方向引导精化网络。3.2.3.1. 方向差图为了分离重叠区域的不同实例，首先基于生成的分块向心方向构造方向特征图，然后对方向特征进行变换 ， 生 成 能 够表 示 上 下 文 信 息 并 突 出 实 例边 界 的DDM。3.1.1方向特征图为了使模型能够学习输入图像中每个像素的向心方向特征，我们设计了一个方向特征图作为方向标签。图3示出了从带注释的掩模生成向心方向地面实况的过程。方向特征的数学细节和技术方面描述如下。首先，我们将带注释的掩模转换成像素到边界距离图M以定位中心点。我们定义一个图像=，其中和分别表示前景像素和背景像素的集合。此外，我们定义P={P1，P2，... 其中Pk表示属于X中的第k个实例的像素集合，并且N是X中的实例的数量。然 后 ， 计 算 像 素 到 边 界 距 离 图 M={Mp} （ 图 3（c））。测试阶段面膜店掩模精制掩膜差异中心计算删除CDNet方向分支方向特征图输入方向细化方向差分图差分图点分部点地图最终结果训练阶段RU...RU...RU...F1F2F3掩模分支AU方向AU分支点分支输出输出输出输入骨干LmLdLp特征提取模块方向引导精化模块（DGM）AU =注意单位配有特征B乙状加法乘法Conv 1× 1，遮罩地面实况点地图地面实况方向贴图地面实况RU =剩余单元特征ReLUBatch NormConv 3× 3，64ReLUBatch NormConv 3× 3，64+++4029ΣΣ−Σ2LL.ΣT TP不.−p∈ PVpCyij+ΣNyij-bx）2+（pΣ- b）2，如果p∈P，（[我们利用所生成的向心方向地面实况图D_C作为方向监督器，通过在交叉熵损失和骰子损失方面的损失函数：Ld= Lce+w LdiceNC=1（yNiji=1j =1log（y（ij））（三）1+（1−Σj=1Ni=1 Yijy（ij ），i=1图3.生成向心方向地面实况（GT）的过程。(a)是原始的地面实况掩码;（b）是三级地面实况掩模（黑色、灰色和白色区域分别表示背景、内部实例和边界）;（c）是像素到边界距离图M;（d）是中心点图;(e)是像素到中心距离图U;（f）是梯度图，Gi（g）是角度图，Ai（h）是向心方向GT，DC。其中，Mp表示像素p=（px，py）的像素到边界的距离，并且被定义为等式（1）。1..√ 0，如果p ∈ BXyy其中，ce表示交叉熵损失; dice表示骰子损失;N是像素像素的数量;yij是输入x i的真实值;并且y（ij）是输入xi被预测为类别j的概率。w是权重系数，在实验中取为1。向心方向特征是分块的，它具有更好的抗噪能力比像素级特征，并表示局部信息比实例级特征。此外，如果多个实例相邻或有重叠区域，则存在剧烈的方向变化补间边界或重叠区域中的像素，便于分割实例。其中b=（bx，by）表示最接近的背景像素。p.在第二步中，我们构造像素到中心的距离图。具体地，我们将第k个实例的中心轴定义为：Tk=p=（p x，p y）|Mp =max（Mk），p∈Pk，（2）其中Mk表示第k个实例的像素到边界距离图。 我们差不多k并选择中间值~kink作为实例的中心像素zkK. 此外，本发明还像素到中心距离图U被定义为：对于实例中的像素，通过它们与它们对应的实例中心之间的距离来计算该值。为了避免核大小对距离的影响，我们不-将像素到中心的距离调整为0-1。中的像素的3.1.2方向差分图为了直接加强边界之间的差异，我们进一步提出了方向差异图，该方向差异图通过方向特征进行变换。如上所述，我们将方向特征图（图1）转换为方向特征图（图2）。图4（a））中的每个像素的梯度映射到梯度图G中。此外，我们使用余弦距离函数来度量方向相似性两个像素，dis（pi，pj）=GpiGpj。||GPI||×个||GPJ||随后，通过方向相似性y计算表示为D的方向差异图。D中的像素pi的Dpi背景下，该值被设置为0（图3（e））。在第三步骤中，我们通过像素到中心距离图U计算对应的方向梯度。Dpi=1分钟j∈Vpi {dis（pi，pj）}，如果pi∈P0，如果pi∈B、（四）最后根据所述梯度图得到所述向心方向地面实况。通过利用卷积运算，我们将U转换为梯度图G，梯度图G由水平梯度G x和垂直梯度G y组成，其用于量化相对角度（图1B）。3（g）），并计算向心方向特征（图3（g））。3（h））。具体而言，对于每个实例像素pk，我们计算出di-θ=arctan（Gx/Gy）哪里P1表示围绕P1的P1 × E1的集合。根据Eq中的定义。 在图4中，除了邻近实例中心之外的相同实例内的像素在D中具有小值，而属于不同实例的重叠区域中或边界中的像素在D中具有大值。换句话说，方向差图描述边界或重叠区域处的像素的一个特性。以这种方式，像素p p并将该角度离散化以生成DC=θ C/360，其中C是向心方向类的数量。例如，如图2所示在图3（h）中，该实例内的这些像素具有8个方向。在重叠区域中，根据方向差异图来区分。第3.2节介绍了如何利用CDNet中的方向差分图来增强分割能力。（一）（b）第（1）款（c）第（1）款（d）其他事项C（h）(g)（f）（e）Ni=1Mp=（p）4030×个×× ××个图4.方向特征图和方向差异图的图示。在向心方向图中，每个实例具有k个方向（在（a）中k = 8）;每个像素计算像素与其相邻像素之间的最大方向差，其由方向差图描绘。注意：为了清楚地显示边界附近的方向差异，我们暂时忽略（b）中实例中心附近的方向差异。3.2. 向心方向网络在我们提出的CDNet中，其主要结构包括两个部分：特征提取模块和方向引导细化模块。在特征提取模块中，使用CNN提取特征信息，并根据不同任务动态调整其骨干网络。拟议的CDNet的流程图载于图二。2.向心方向网络的训练和推理详细描述如下。3.2.1CDNet培训基于向心方向特征，我们提出了一个即插即用的方向引导的细化模块，以提高原来的分割性能。如图2、该模块包含三个分支：掩模分支、方向分支和点分支，分别对应掩模分割任务、方向分割任务和中心点检测任务。在向心方向特征的生成过程中就可以得到三个任务的地面真值，因此不需要额外的人工标注。该模块综合了不同任务的优点，加强了中心方向特征对实例分割的指导作用。引入中心点检测任务辅助网络训练，其中点分支用于学习实例的中心位置。然而，中心点检测任务和掩模分割任务之间存在优化差距，因为中心点检测任务允许模型倾向于学习关于中心区域的更多信息而忽略实例的整体特征，而掩模分割任务期望学习实例的整体特征和边界特征因此，我们认为，如果直接将这两个任务结合起来，则会混淆网络学习，从而导致预测性能的下降。为此，引入方向分割任务来弥合中心点检测任务和掩模分割任务之间的优化差距，其中预测方向特征并用于表征关于实例中心、边界和内部像素之间的相关性的上下文信息。因此，我们将方向分支放在掩码分支和点分支的中间。具体如图所示。2.从特征提取模块获得的特征图经过第一残差单元（RU）以获得形状H W C的特征图F1。特征图F1将进入两个分支。第一个分支将F1传递给第二个RU，第二个分支使用F1生成3类分割图;同样，第二RU得到的特征图F2也进入两个分支。第一分支将特征图传递到第三RU以获得特征图F3，并且第二分支用于生成方向特征。点地图预测结果由F3通过相应的卷积运算得到.其中，RU由3个3卷积+批量归一化+ ReLU和快捷连接组成。为了有效地聚合不同分支的特征，我们构建了一个反向传输路径，这是图中的注意单元（AU）。2.在该单元中，特征B被用作特征A的关注，即， 使用特征B来引导特征A生成具有不同空间关注度的输出。如图2、注意单元中的计算过程为：特征B经历11卷积将通道转换为一个，空间注意力通过sigmoid函数获得，然后与DDMaxDD(a)方向特征图(b)方向差图D...4031LLL×个×个ii2pi我特征A通过乘法和加法。在训练过程中，方向引导的修正模块对原网络进行了增强，提高了分割性能。总损失函数为：L总=w1Lm+w2Ld+w3Lp（5）其中m是掩模分支的损失;d是方向分支的损失，以及p是点分支的损失。 wi是一组权重系数，在实验中所有权重系数均设置为1。在掩码分支和方向分支中使用交叉熵损失和骰子损失，在点分支中使用均方3.2.2CDNet的推理在测试的过程中，DDM进一步被用作一个重要的方法，以提高分割性能的建议CDNet。详细地，3类掩模图、方向特征和点图分别通过掩模分支、方向分支和点分支获得（图1A）。2）的情况。在方向分支中，我们根据等式（1）计算对应的DDM。4）.在DDM中，在边界像素和实例中心附近的像素之间存在大的方向差。为了消除细化过程中实例中心附近像素的影响，我们使用点分支获得的点图来辅助消除实例中心附近的大方向差异。具体而言，我们消除了DDM中的中心区域的值，该中心区域是指相应点地图中的值大于中值的区域。此外，细化的DDM被用作权重图，以提高原始3类掩模分割任务中边界类的预测概率。边界增强函数如等式1所示。下面6pbre=（pb+Dpi）×（1+D）（6）其中，P b表示原始3类分割图中像素p i的边界类预测概率，Dpi表示细化DDM中像素p i的方向差值。4. 实验4.1. 数据集和评价指标数据集。用于细胞核分割的数据集相对较小，因为手动注释需要劳动密集型工作以及时间有限且昂贵的病理学家的参与。在本文中，我们评估我们提出的CDNet两个广泛使用的核分割数据集。(1)MoNuSeg [9]：多器官细胞核分割数据集（MoNuSeg）是手动注释细胞核的最大存储库之一。它含有30个H E染色大小为1000 - 1000组织病理学图像，来自7个不同的ENT器官，总共21，623个单独注释的核。为了进行公平的比较，我们使用了与[9]补充材料中描述的相同的训练和测试集，这些图像也用于2017年的MoNuSeg大挑战赛。根据[9]，我们将30幅图像分成三组：12张图像用于训 练 ， 4 张 图 像 用 于 验 证 ， 14 张 图 像 用 于 测 试 。(2)CPM17 [22]：它来自计算精确医学数字病理学挑战[22]。它包含64个HE染色的组织病理学图像，具有7，570个注释的核边界。数据集根据原始挑战[22]进行分割，在训练集和测试集中都有32张图像。评估指标。为了测量所提出的CDNet的总体分割性能，我们使用了[9]中所示的四个评估指标：F1评分（F1）、平均Dice系数（Dice）、平均Hausdorff距离（HausD）和聚合Jaccard指数（AJI）。4.2. 实现细节我们首先对训练图像进行预处理，将每个图像分成16个大小为300×300的块，并获得MoNuSeg的192个训练图像和CPM17的512个训练图像。对于训练，我们通过标准数据增强技术随机增强数据，例如颜色变换，水平翻转，旋转，弹性变换和裁剪。最后，我们将图像补丁的大小调整为256 - 256，然后输入网络。 对于分段监督，我们使用3类掩码：内部、边界和背景。对于点监督，我们使用由点图的高斯核卷积获得的热图作为地面真相。我 们 使 用 PyTorch 在 带 有 CUDA 10.1 的 NVIDIA2080Ti上实现CDNet。RAdam [13]被用作优化器。初始学习率被设置为0.0005，并且训练时期被设置为300。在推断阶段，我们去除面积小于20像素的小对象，以避免不正确的像素预测所造成的不必要的前景。4.3. 消融研究为了评估我们提出的CDNet中使用的关键组件的有效性，我们使用U-Net作为基线模型，并在MoNuSeg和CPM 17数据集上与其变体进行了一系列比较。方向特征的有效性。目的是阐明方向特征对核实例分割的影响。在3类掩码监督的基础上，通过调整方向类的个数，使得方向监督在比较模型中发生变化。MoNuSeg和CPM17数据集的比较结果总结在表1中，其中k表示方向特征中的方向类的数量。具体来说，k= 04032基线MoNuSegCPM17F1骰子HausD阿吉F1骰子HausD阿吉+ 方向（k=0）0.86080.81847.33290.59100.86880.84736.62220.6648+ 方向（k=4）0.86790.82237.00860.60910.91610.87105.65320.7097+ 方向（k=8）0.87170.82296.93260.60950.91670.87175.66720.7101+ 方向（k=16）0.86490.82097.14660.60030.91190.86415.78560.7047表1. 关于不同数量的方向类k的基线的比较结果。基线是指没有方向类别监督的U-Net（即k = 0）。表2. 基线和具有方向引导精化模块（DGM）的模型之间的性能比较。 √表示增加副总经理的任务或策略。掩模：掩模监督;方向：方向分割任务;点：中心点检测任务;交互：DGM中不同监督分支的相互作用。指的是基线U-Net，仅具有3级掩模监控。从表1可以看出，与没有方向类别监督的基线（k=0）相比，具有方向类别监督的所有模型（k=4、8、16）实现更好的性能。具体来说，当数字输入图像(i) 基线模型（U-Net）(ii) U-Net+DGM(iii) U-Net+DGM+DDM方向类的值设置为8，MoNuSeg上的性能数据集在F1、Dice、HausD和AJI中分别提高了1.09%、0.45%、0.40、1.85%，在CPM17数据集上，性能提高了4.79%F1、2.44%Dice、0.96 HausD和4.53% AJI。总体而言，结果表明，方向特征有助于核实例分割。定向精化模块（DGM）的有效性。表2显示了基线和具有DGM的模型之间的比较。首先，我们调查是否添加中心点检测任务有积极的影响分割性能。从表2的第二行和第三行中的结果，观察到当添加中心点检测任务时，在MoNuSeg数据集和CPM17数据集上分别存在0.58%AJI和0.72%AJI的改进。结果表明，在DGM模型中引入点监督的策略有助于掩码和方向分支学习到更多的有效特征。此外，为了验证DGM中不同监管分支之间的交互的有效性，我们比较了DGM在有和没有交互操作的情况下的性能。表2示出了在DGM中使用交互式操作导致MoNuSeg和CPM17数据集上的0.43% AJI和0.59% AJI的改进。因此，不同任务分支之间的交互促进了相互学习，提高了所提出的CDNet的分割性能。方向差映射（DDM）的有效性。我们图5. 预测边界结果的定性比较。红色箭头指示的边界有显著改善。通过计算像素与其周围像素之间的方向特征差来获得DDM。在我们的方法中，DDM被用于在推理阶段，以提高原始的边界概率。为了验证其有效性，我们比较了我们的方法的分割性能与DDM后处理。表3中的结果表明，DDM对提高我们的CD-Net中的分割性能有着重要的贡献。我们进一步进行定性评价的DDM边界预测。如图5，我们比较了（i）普通U-Net，（ii）带DGM模块的U-Net，（iii）带DGM和DDM模块的U-Net的预测边界结果。结果清楚地表明，DGM和DDM的边界预测的有效性。具体而言，DDM能够使用DGM对U-Net预测的结果进行细化，这有助于增强分割掩模和分离触摸对象。4.4. 与最新技术水平的在本节中，我们提供了我们的方法CDNet和其他细胞核分割方法之间的定量和定性比较。如表4所示，我们的CD-Net实现了细胞核分割任务的最佳性能。具体而言，我们建议的CDNet达到0.8316掩模方向点相互作用MoNuSegCPM17F1骰子HausD阿吉F1骰子HausD阿吉√√√√√√√√√√0.86080.87170.87400.87080.81840.82290.82410.82777.33296.93266.85766.69250.59100.60950.61530.61960.86880.91670.91860.91670.84730.87170.87480.87716.62225.66725.53775.49680.66480.71010.71730.72324033(a)原始图像(b)示例补丁（c）实例标签(d) Dist(e) FullNet（f）Hover-Net（g）我们的CDNet图6. MoNuSeg（顶部）和CPM17（底部）数据集上分割结果的可视化。（ a）原始图像;（b）示例补丁;（c）地面实况;（d）DIST [15]的预测结果;（e）FullNet [17];（f）Hover-Net [6];（g）我们提出的CDNet。不同的颜色表示图像中的不同实例绘制红色矩形是为了进行清晰的比较。方法MoNuSegCPM17F1骰子HausD阿吉F1骰子HausD阿吉基线0.86080.81847.33290.59100.86880.84736.62220.6648不带DDM0.87080.82776.69250.61960.91670.87715.49680.7232带DDM0.87050.83166.47540.63310.92370.88015.34950.7326表3. 在推理阶段，我们的CDNet与没有方向差异图（DDM）之间的性能比较。基线是基准模型（U-Net）。方法MoNuSegCPM17骰子阿吉骰子阿吉U-Net [19]0.83620.59710.84730.6648Mask-RCNN [7]0.76000.54600.85000.6840DCAN [1]0.79200.52500.82800.5610[第18话]0.79700.56000.85700.6680DIST [15]0.78900.55900.82600.6160CIA-Net [26]0.81800.62000.84160.6648FullNet [17]0.80270.60390.83060.6609Hover-Net [6]0.82600.61800.86900.7050BRP-网络[3]-0.64220.87700.7310PFF-Net [11]0.80910.6107--我们的CDNet0.83160.63310.88010.7326表4.与MoNuSeg和CPM17上的SOTA的比较MoNuSeg数据集上的Dice和0.6331 AJI以及CPM17数据集上的0.8801 Dice和0.7326 AJI。与Hover-Net [6]和最近发表的PFFNet [11]相比，CDNet的性能明显改善。请注意，尽管BRP-Net在MoNuSeg上的AJI方面超过了我们的CDNet，但它是一个复杂的两阶段模型，需要比我们的方法更多的计算能力。我们进一步对MoNuSeg和CPM17数据集进行了定性可视化分析。 如图6、与所有其他方法相比，我们的CDNet仍然取得了更好的核实例分割结果。具体地说，可以从图中的红色矩形观察到。6我们的方法有效地区分核pix-从背景中提取元素并分割集群实例。因此，定量和定性的结果都证明了我们的CDNet核实例分割的有效性。5. 结论在 本 文 中 ， 我 们 提 出 了 一 个 向 心 方 向 网 络（CDNet），一个简单而有效的网络，旨在解决的挑战，接触和重叠的核分割。为了有效地分离接触和重叠的核实例，我们定义了向心方向特征来表示对象中像素之间的空间关系。基于向心方向特征，我们进一步设计了一个方向差异图来测量相邻像素之间的方向差异，以准确识别核边界。最后，通过结合方向特征图，方向引导细化模块被用作即插即用模块来细化分割掩模。 实验结果在两个核数据集上的实验证明了我们提出的CDNet的有效性。本 工 作 得 到 国 家 自 然 科 学 基 金 （ No. 61972217 、62006133、62006253、32071459、62081360152），广-东 基 础 与 应 用 基 础 研 究 基 金 会 （ No.2019B1515120049）和广东省科学技术厅（广东省科学技术厅2020B1111340056）。4034引用[1] Hao Chen ，Xiaojuan Qi ，Lequan Yu ，Qi Dou ，JingQin，and Pheng-Ann Heng.Dcan：用于组织学图像对象实例分割的深度轮廓感知网络。医学图像分析，36：135[2] Liang-Chieh Chen，Alexander Hermans，George Papan-dreou ， Florian Schroff ， Peng Wang ， and HartwigAdam. Masklab：通过使用语义和方向特征细化对象检测来进行实例分割在IEEE计算机视觉和模式识别会议论文集，第4013-4022页[3] 陈胜聪，丁长兴，陶大成。用于核分割的边界辅助区域建议网络在医学图像计算和计算机辅助干预上，第279288. Springer，2020年。[4] Shiv Gehlot Anubha Gupta和Ritu Gupta。Ednfc-net：用于核实例分割的具有嵌套特征关联的卷积神经网络。在ICASSP 2020- 2020 IEEE声学，语音和信号处理国际会议（ICASSP），第1389-1393页。IEEE，2020年。[5] 龚宣，陈淑燕，张宝昌，杜大卫.用于细胞核实例分割的风格一致的图像生成。在IEEE/CVF Winter计算机视觉应用会议论文集，第3994-4003页[6] Simon Graham、Quoc Dang Vu、Shan E Ahmed Raza、Ayesha Azam、Yee Wah Tsang、Jin Tae Kwak和NasirRajpoot。Hover-net：多组织组织学图像中细胞核的同步分割和医学图像分析，58：101563，2019。[7] Kaiming He，Georgia Gkioxari，Piotr Dollár，and RossGir-shick.面具R-CNN。在IEEE计算机视觉国际会议论文集，第2961[8] Qingbo Kang，Qicheng Lao，and Thomas Fevens.使用两阶段学习的组织病理学图像中的细胞核分割。医学图像计算和计算机辅助干预，第703Springer，2019年。[9] Neeraj Kumar 、 Ruchika Verma 、 Sanuj Sharma 、Surabhi Bhargava 、Abhishek Vahadane 和Amit Sethi。用于计算病理学的广义核分割的数据集和技术。IEEEtransactions on medical imaging，36（7）：1550[10] John Lafferty ， Andrew McCallum ， and Fernando CNPereira.条件随机场：用于分割和标记序列数据的概率模型。2001年[11] Dongnan Liu ， Donghao Zhang ， Yang Song ， HengHuang，and Weidong Cai.全景特征融合网络：一个新的 实 例 分 割 范 例 的 生 物 医 学 和 生 物 图 像 。 IEEETransactions on Image Processing，30：2045[12] Dongnan Liu ， Donghao Zhang ， Yang Song ， ChaoyiZhang，Fan Zhang，Lauren通过具有语义特征融合的深度全景模型的核分割在IJCAI，第861-868页[13] Liyuan Liu ，Haoming Jiang ，Pengcheng He ，WeizhuChen，Xiaodong Liu，Jianfeng Gao，and Jiawei Han.关于自适应学习率的变化和超越。arXiv预印本arXiv：1908.03265，2019。[14] 刘舒，陆琪，秦海防，石建平，贾佳雅。用于实例分段的路径聚合网络在IEEE计算机视觉和模式识别会议论文集，第8759-8768页[15] Peter Naylor，Marick Laé，Fabien Reyal，and ThomasWalter.基于距离图深度回归的组织病理学图像细胞核分割IEEE Transactions on Medical Imaging，38（2）：448[16] HirohisaOda，Holger R Roth，K osu k e Chiba，Jure So koli c´ ， Takayuki Kitasaka ， Masahiro Oda ， AkinariHinoki，Hiroo Uchida，Julia A Schnabel，and KensakuMori. Besnet：组织病理学图像中细胞的边界增强分割。在医学图像计算和计算机辅助干预国际会议上，第228- 229236. Springer，2018.[17] Hui Qu ， Zhennan Yan ， Gregory M Riedlinger ，Subhajyoti De，and Dimitris N Metaxas.基于全分辨率神经网络和空间约束损失的组织病理学图像核/腺体距离分割方法研究医学图像计算和计算机辅助干预国际会议，第378-386页。Springer，2019年。[18] Shan E Ahmed Raza ， Linda Cheung ， MuhammadShaban ， Simon Graham ， David Epstein ， StellaPelengaris，Michael Khan，and Nasir M Rajpoot. Micro-net：用于分割显微图像中各种对象的统一模型。医学图像分析，52：160[19] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-net：用于生物医学图像分割的卷积网络医学图像计算和计算机辅助干预国际会议，第234施普林格，2015年。[20] Uwe Schmidt ， Martin Weigert ， Coleman Broaddus ，and Gene Myers.星凸多边形细胞检测。医学图像计算和 计 算 机 辅 助 干 预 国 际 会 议 ， 第 265-273 页 。Springer，2018.[21] Luc Vincent和Pierre Soille数字空间中的分水岭：基于沉 浸 式 模 拟 的 有 效 算 法 IEEE Computer ArchitectureLetters，13（06）：583[22] Quoc Dang Vu ，Simon Graham ， Tahsin Kurc ， MinhNguyen Nhat To，Muhammad Shaban，Talha Qaiser，Navid Alemi Koohbanani，Syed Ali Khurram，JayashreeKalpathy-Cramer，Tianhao Zhao，et al.数字显微镜组织图像的分割和分类方法生物工程和生物技术前沿，7：53，2019。[23] Thomas Wollmann 、 Manuel Gunkel 、 Inn Chung 、Holger Er-fle、Karsten Rippe和Karl Rohr。Gruu-net：用于细胞分割的集成医学图像分析，56：68[24] Tiange Xiang ， Chaoyi Zhang ， Dongnan Liu ， YangSong，Heng Huang，and Weidong Cai.Bio-net：学习编码器-解码器架构的循环双向连接4035医学图像计算和计算机辅助干预，第74Springer，2020年。[25] Hengshuang Zhao ， Jianping Shi ， Xiaojuan Qi ，Xiaogang Wang，and Jiaya Jia.金字塔场景解析网络。在IEEE计算机视觉和模式识别会议论文集，第2881-2890页[26] Yanning Zhou，Omer Fahri Onder，Qi Dou，EfstratiosTsougenis，