边界模糊医学图像的结构边界保持分割

4817边界模糊医学图像的结构边界保持分割Hong Joo Lee，Jung Uk Kim，Sangmin Lee，Hak Gu Kim，Yong Man Ro韩国KAIST电气工程学院图像与视频系统实验室{dlghdwn008，jukim0701，sangmin.lee，hgkim0331，ymro}@ kaist.ac.kr摘要本文提出了一种新的图像分割方法，以解决医学图像中的两个关键问题：（i）医学图像域中结构边界的模糊性和（ii）在没有专业领域知识的情况下分割区域的不确定性。针对这两个问题，本文提出了一种新的结构边界保持分割方法原始图像U-Net建议方法地面实况框架.为此，提出了边界关键点选取算法。在该算法中，目标对象的结构边界上的关键点估计。然后，应用具有边界关键点图的边界保持块（BPB）来预测目标对象的结构边界。此外，为了在全自动分割中嵌入专家知识，我们提出了一种新的形状边界感知评估器（SBE）与专家指示的地面真实结构信息所提出的SBE可以根据结构边界关键点反馈给分割网络。所提出的方法具有足够的通用性和灵活性，可以构建在任何基于深度学习的分割网络之上。我们证明了该方法可以超越国家的最先进的分割网络，并提高了三种不同的分割网络模型对不同类型的医学图像数据集的准确性。1. 介绍对于许多医学图像处理应用，模型在医学图像域中正确分割解剖结构是成功的重要关键[24，17]。然而，由于结构边界的模糊性、纹理的不均匀性以及分割区域的不确定性，在没有领域知识的情况下，获得准确的分割结果具有挑战性。即使是专家也会根据他们的经验和技能在他们的描绘上略有不同[18]。在深度学习时代，许多卷积神经元-图1.对结构边界模糊、纹理不均匀的医学图像进行自动分割。请注意，U-Net的这些分割结果未能保持结构边界。已经提出了基于神经网络（CNN）的分割方法，以在自然和医学图像域中准确地分割目标对象[15，31，21，33]。全卷积网络（FCN）[15]具有跳过层以保留空间定位信息，用于语义分割。受FCN的启发，提出了U-Net [21]，用于通过将更高分辨率的特征与上采样的特征相结合，利用更高层的上下文信息来预测精确的输出。Zhao等人[33]将FCN和条件随机场集成在统一的分割框架中，用于脑肿瘤分割。这些基于深度学习的医学图像分割方法没有明确考虑医学图像中的困难，例如模糊的结构边界和异质纹理。图1显示了U-Net未能分割目标区域的情况在超声成像中。为了处理模糊的结构边界问题，已经报道了一些方法[6，11]。这些方法强制像素间依赖性以恢复边界细节。然而，它们需要手动参数调整作为后处理，这是劳动密集型任务，并且结果受参数调整的影响。为了克服这个限制，已经提出了交互式或半自动分割方法，其中在测试时间期间交互式地处理模糊结构边界。交互式分割方法em-4818使用用户输入，如点，分割网络的边界框[30，29，19]。Wang等人。[29]提出了一种基于深度学习的医学图像领域交互式分割方法。人工编码目标物体的结构边界信息;网络可以预测复杂的结构。然而，交互方法需要用户交互时间和专门的领域知识。本文主要针对医学图像领域提出的以下两个分割问题进行研究首先，由于图像质量差和纹理不均匀，在实际应用中的医学图像大多含有模糊边界。与自然图像中的对象不同，由于低分辨率，可能没有显著的结构边界。其次，在没有专家知识的情况下，很难自动预测正确的目标区域，例如超声图像中的黑色素细胞病变。为了解决上述问题，我们提出了一种新的全自动医学图像分割框架，保留了目标区域的结构边界。首先，我们提出了一种新的边界关键点选择算法。该算法自动选择最适合目标对象区域的关键点。这些点放在目标物体的结构边界然后，利用一种新的结构边界保持模型（BPB）将点它允许分割模型进一步利用结构边界信息。在提出的BPB算法中，边界关键点图由视觉特征估计.为了在全自动分割模型中嵌入专家知识，我们引入了一种新的基于结构边界信息的判别网络，命名为形状边界感知评估器（SBE），以对抗的方式，无需用户交互。在训练阶段，它试图通过关键点图来评估分割图的结构边界保持得有多好。因此，所提出的SBE可以根据专家标记的地面实况区域，向分割网络反馈预测区域。此外，该方法具有通用性和灵活性，可适用于任何医学图像自动分割模型。所提出的方法的灵活性，允许任何分割模型，以更精确地分割目标区域，结合BPB和SBE。作为引言的结尾，我们概述了这项工作的主要贡献如下。• 我们提出了一种新的边界关键点选择算法，最适合的目标区域。所选择的键通过边界关键点映射生成器对目标区域结构边界上的点进行编码。• 在所提出的框架中，我们使用边界密钥点信息，而无需用户交互。为此，我们使用SBE以对抗的方式训练分割网络。评价器将给定分割区域与边界关键点是否重合反馈给分割网络。• 该方法可以推广到不同的分割模型。为了评估BPB和SBE的泛化能力，我们将我们的方法使用三种最新的最先进的分割模型，U-Net，FCN，Dilated-net [31]。我们证明，该方法提高了预测性能的统计意义。2. 相关作品2.1. 医学图像自动分割最近，深度卷积神经网络（DC-NN）在自然图像和医学图像领域都取得了巨大成功[21，15，31]。全卷积网络（FCN）[15]是自然图像和医学图像中使用最广泛的分割网络之一。FCN由连续的卷积层和最大池化层组成。为了保持空间定位信息，它使用了跳层。许多医学图像分割网络使用FCN进行医学图像分割[22，7，26，34，32]。Roth等人[22]将FCN网络级联方式用于医学图像分割。Vorontsov等人[26]使用两种类型的FCN进行肝脏和肝脏病变分割。除了FCN，U-Net [21]在医学图像分割方面表现出卓越的性能。U-Net通过跳过连接的方式将编码器特征用于解码器特征由于编码器的特征信息被传递到解码器，因此在医学图像分割中表现出相当的性能受U-Net的启发，许多基于深度学习的自动分割网络被提出[8，16，14，9，12]。Dalm等人[9]提出了2个和3个连续的U形网用于乳腺肿块分割。虽然这些方法在医学图像分割中取得了合理的分割效果，但仍存在边界保持问题2.2. 交互式医学图像分割一般来说，交互式分割显示出比传统分割方法更好的性能[25]。在医学图像分割中，由于它对专家知识进行了编码，因此表现出很好的性能[29，19，27，20到具有多个交互的细分网络。 Ra-jchl等.[20]通过使用用户提供的输入来训练CNN网络。通过提供特定的区域信息，提高了分割预测性能。Wang等人[29]提出了基于深度学习的交互分割方法。他们采用结构4819上采样Conv. 块最大池。Conv. 块nnn1122nnnn结构边界保持分割框架结构边界引导编码器结构边界引导解码器…BPMGBPMGBPMGBPMG输入图像…M-1 BPB米 BPB…iBPB梅尔BPB预测分割图边界关键点选择模块第1个T-第随机选取n个点tn构造边界随机选取n个点构建边界预测分割图SPred评价得分构造边界区域构造边界区域tn地面实况分割图SGT边界关键点图MGT图2.结构边界保持分割的概述框架。该网络由分割网络与边界保持块（BPB）和形状边界感知评估器（SBE）。注意，边界保持块（BPB）被集成到分割网络中以保持结构边界。形状边界感知评估器（SBE）评估预测的分割图，仅在训练阶段使用。边界信息到分割网络。与以前的交互式方法不同，他们通过采用细化网络减少了用户交互。这些方法通过使用用户交互显示出优越的结果。然而，他们仍然需要在推理时与专家进行交互。3. 结构边界保持分割算法1：边界关键点选择算法里特姆输入：迭代总数T，边界关键点的数量n，地面实况分割图SGT输出：边界key点Pt初始化IOUbest= 0对于t= 1，2，· ··，T，随机选取N个点Pt← {（xt，yt），（xt，yt），···，（xt，yt）}St←c（Pt）图2显示了所提出的边界保持分割框架的概述。它由带 边界 保持块 （BPB ）和 形状 边界感 知评 估器（SBE）的分割网络组成。BPB和SBE端IOUt←IOU（St，SGT）如果IOUt> IOUbest，则IOUbest←IOUtP←P t端使用从我们的新密钥中选择的边界关键点点选择算法，以保持目标对象的结构边界在BPB中，生成关键点图并用于细化输入特征。然后，分割网络预测结构边界保持分割图。在SBE网络中，它将给定的分割图与边界关键点图是否一致反馈给分割网络在分割网络和SBE以对抗方式训练之后，仅使用分割网络进行推理。返回：P下面是所提出的结构边界保持分割框架的详细解释3.1. 边界关键点选取算法获得最适合地面实况分割图并表示结构nGT系不最大IOUS，S，，T形状边界-感知评估器（SBE）concat上采样concatConv. 块最大池。Conv. 块MPS4820输入要素fiw c我我我边界增强功能vi c我我�����������1������3(f�������1��������3d������（11L2地图���������3������3(f�������6Mi1Miwh1GT边界点地图生成器：逐元素乘法：逐元素加法：级联r：扩张率nSnn˜t˜RGTGTnGTn1122Nn边界保持块3.2. 边界保持块如图3所示，具有边界保持块（BPB）的分割网络预测分割图。所提出的BPB包括边界点地图生成器以估计边界关键点地图。通过生成边界关键点图，分割网络编码结构边界信息而不相互作用。边界点地图生成器使用fea-真实的我 ∈Rwi×hi×ci作为输入，其中wi，hiCi表示图3.训练边界保持块（BPB）的详细框架。根据边界关键点选择算法生成真实边界关键点图（见第3.1节）。针对目标区域的边界，提出了一种新的边界关键点选取算法。首先，我们使用传统的边缘检测算法[5]从地面实况分割图中获得目标对象的边界上目标物体的边界，我们随机选择n个点。设P t={（xt，y t），（x t，y t），···，（x t，y t）}表示随机选择的n个点集，其中t表示试验次数（即，迭代）。然后，通过第t次迭代连接n个点，构造出边界区域St 为了获得地面实况边界关键点图，我们测量边界区域t= c（Pt）与地面实况分割图SGT之间的重叠区域的量通过计算Intersection Ov er Union（IOU）。c（·）是函数从选定点集Pt.最后，选择导致IOU最大值的边界点作为结构边界关键点。选定的关键点写为视觉特征的宽度、高度和通道第i卷积块。 根据输入的视觉特征fi，生成器估计边界关键点图，Mi∈Rwi×hi×1。生成的边界k∈y点映射M∈i用于保持结构界，类似于剩余注意力方案[28]的fi的结构边界信息保留特征vi∈Rwi×hi×ci可以写为vi=fi（fiMi），（2）其中，n和n分别表示逐元素加法和逐通道乘法。在乘法过程中，针对每个信道编号r广播M个i。构造边界保留特征Vi被送入第（i +1）个卷积块。3.2.1边界关键点地图生成器图3示出了所提出的边界关键点地图生成器的架构。如图3所示，所提出的边界关键点地图生成器被设计为考虑各种接收场来估计边界关键点地图。在我们的边界关键点地图生成器中，通过采用扩张卷积[31]，生成器可以有效地编码/解码具有各种范围的特征。接收IV E字段。设ds（·）表示扩张的卷积函数，˜P=P，其中t= arg max IOU.ΣSt，SGT.（一）R一个dilatio。n为r，滤波器大小为s×s。经编码n nt∈{1，···，T}特征图dsfi不同的感受野将选取的关键点集P_e转化为二维边界点映射。允许…的在通道上连接，并投射到边界上，ary关键点地图空间。所生成的边界关键点图M_i可以被写为在训练阶段的关键点位置，我们生成每个关键点上都有一个圆盘 设x为2-D关键点po-M=σ.D1.d1（fi），d3（fi），d3（fi），d3（fi），d 3（f i），d3（fi）ΣΣΣ（三）图像中的位置。 设D（y）={x：<$x-y<$

下载后可阅读完整内容，剩余1页未读，立即下载