基于超边界像素方向的快速图像分割算法及其实验结果

9253Super-BPD：基于超边界像素方向的快速图像分割算法万建强1，刘扬1，魏东来2，白翔1，徐永超11华中科技大学2哈佛大学{jianqw，yangl，xbai，yongchaoxu}@ hust.edu.cn，donglai@seas.harvard.edu摘要图像分割是一项基本的视觉任务，也是许多应用的关键步骤。本文提出了一种基于超边界像素方向（super-BPD）的快速图像分割方法和一种基于super-BPD的自定义分割算法准确地说，我们将每个像素上的BPD定义为从其最近边界指向像素的二维单位在BPD中，来自不同区域的附近像素具有彼此偏离的相反方向，并且同一区域中的相邻像素具有指向彼此或彼此的方向（即，围绕中间点）。我们利用这样的属性来将图像分割成超级BPD，超级BPD是具有鲁棒方向相似性的新型信息超像素，延长0.50.40.30.20.1010-2十比一100时间（帧/秒）101实时102在BSDS 500和Pascal Context上的实验结果表明，该算法具有较好的分割效果。在实践中，所提出的超级BPD实现了与MCG相当或更好的性能，同时运行在25fps对0.07fps。超级BPD还表现出一个值得注意的可转移性，以未看到的场景。代码可在https公开获得//github.com/JianqiangWan/Super-BPD网站。1. 介绍图像分割的目的是将图像分解成不重叠的区域，其中每个区域内的像素共享相似的感知外观，例如，颜色、强度和质地。图像分割是许多视觉任务的关键步骤，例如对象建议生成[33，46]，对象检测[21]，语义分割[18]。然而，有效和准确的分割仍然具有挑战性。有许多无监督的图像分割方法，可以粗略地分为早期合并和聚类方法[48，14]，活动轮廓[22，7，8]，各种方法[22，7，8国家方法[29，37]，流域[42，31]，用图形模型分割[19，38，5]。虽然这些经典-*通讯作者图1.Super-BPD在PASCAL上下文数据集上实现了竞争，同时接近实时。 我们绘制了效率和区域F测量精度（Fop）之间的权衡[34]。计算方法在数学上是严格的，在某些应用中可以达到理想的结果，如图所示1，它们通常在分割自然图像时表现不好，或者效率不高超像素分割[1，41]是一种有效的替代方法，可以将图像过度分割成小而紧凑的区域。分组过程[25]通常涉及产生最终分割。由于卷积神经网络（CNN），将每个像素分类到预定义类别的语义分割[26，10，47然而，它不能很好地推广到看不见的对象类别。或者，对于图像分割，一些方法[3，33，27，17]采用学习轮廓，然后进行变换以弥合轮廓和分割之间的差距。如图1，虽然这些方法取得了令人印象深刻的性能，不可避免的轮廓分割转换需要很大的努力，以弥补泄漏问题在弱边界，通常是耗时的。与以往直接学习控制的方法不同，一Sup&DE++）G（L）DETLA一+++）ICIC（A）、CUDLU-SGP++）（CSL+英尺（C安世我C++）&UD（CHFS）（CEGB&C++）Bs（MANCut（CUDA）LC&（CUDA）L-C&C++AB垫MC+）C+一UD-BPD（C儿C++）&UD（CCOBF 测量op9254(a)(b)（ c ） 第（1）款图2.超级BPD结果的图示。(a)给定具有超级BPD分割边界的图像（红色），我们放大到具有弱图像边界的区域（黄色）。(b)尽管像素具有相似的值，但（c）超级BPD可以通过稳健预测的边界到像素方向（BPD）来链接像素，从而在边界的任一侧上生成条纹状片段以用于稍后的分组。并将轮廓变换为分割，提出了一种新的超边界像素方向（super-BPD）和一种基于super-BPD的有效分割算法。具体来说，我们引入一个边界到像素的方向（BPD）在每个像素的二维单位向量，从其最近的边界指向下面的像素。BPD不仅提供轮廓位置，而且还编码每个像素到相应区域边界的相对位置，从而编码相邻像素的关系。这允许我们有效地将图像分割成超级BPD，使得每个像素和它所指向的并且具有相似方向的像素处于相同的超级BPD中。super-BPD可以被视为经典超像素的一种新的替代方案，其为进一步分组到分割区域中提供了鲁棒的方向。超BPD的集合形成区域邻接图（RAG），其中边缘通过沿相邻超BPD的边界的方向相似性来加权不同区域内的邻近像素具有近似相反的BPD，因此具有小的方向相似性。即使在弱边界处，这种性质也成立，其中学习的BPD沿着方向平滑地发散到大致相反的方向（见图2）。2为例）。这为超级BPD配备了鲁棒的方向相似性，这有助于将相同感知区域内的相似超级BPD分组并将来自不同感知区域的超级BPD分离。我们利用相邻的超级BPD之间的这种方向相似性将RAG划分为不同的簇，从而导致分割。如图1，所提出的超级BPD在PASCAL上下文数据集上实现了准确性和效率之间的良好权衡[28]。本文的主要贡献有两个方面：1）提出了一种新的超边界像素方向（super boundary-to-pixel direction，super- BPD），它是经典超像素方向的有力替代。超级BPD提供相邻超级BPD之间的鲁棒方向相似性，这允许有效的图像分割。2)我们提出了一个有效的分割算法与super-BPD在一个粗到细的方式基于方向相似性，导致分割精度和效率之间的良好2. 相关工作我们简要回顾了一些关于图像分割和利用方向信息的其他视觉任务的工作。2.1. 图像分割无监督方法在过去的二十年里，人们提出了许多图像分割方法，大致可以分为几类。早期的分割方法是由区域合并和聚类方法驱动的。典型的例子是区域竞争[48]和均值漂移[14]。活动轮廓[22，7，8]是另一种流行的分割方法，通过最小化一些能量函数来发展区域轮廓。变分方法[29，37]也试图基于关于底层图像的一些适当假设来最小化一些能量函数（例如，[29]中的分段常数）。一组分水岭[42，31]已经从数学形态学的共同性中提出。它们将图像域分割成集水盆地（即，区域）和分水岭线（即，轮廓）。另一种流行的分割方法是基于图形模型[38，5，19]，其将图像域建模为图形，并尝试基于某种能量最小化来切割图形。除了这些分割方法之外，超像素方法[1，35]旨在将图像过度分割成小而紧凑的区域。监督方法。许多基于学习的图像分割方法已经被提出。与可以被视为逐像素类别分类问题的语义分割不同，主流的基于学习的分割方法[3，33，27，17]从学习轮廓开始然后，他们求助于有向流域变换和全球化通过谱聚类，以减轻泄漏问题在弱边界。然而，这样的轮廓到分割过程通常是耗时的。在[44]中，作者通过 学 习 局 部 吸 引 / 排 斥 仿 射 提 出 了 互 斥 分 水 岭（MWS），然后使用修改的最大生成树来分割图像。另一个方向是学习SLIC超像素[1]的特征嵌入[25]，其中同一区域内的超像素（分别为，不同的区域）具有相似的（分别，非常不同）的嵌入式特征。然后，采用基于嵌入特征的简单合并算法将超像素分组为感知区域。所提出的超级BPD属于监督方法。与现有的基于学习的方法不同，超级BPD不依赖于轮廓，并且在将轮廓转换为分割时无需处理弱边界Super-BPD是经典超像素的强大替代品。它提供了强大的，9255图像相似性，用于有效地对同一区域内的像素进行分组，并分离附近的区域，即使它们之间的边界很 这导致了准确性和效率之间的良好平衡。与[25]相比，super-BPD不需要单独的超像素生成和嵌入步骤，更有效地分离不同的p(a)（b）（c）100°0°-100°边界较弱的区域2.2. 视觉应用方向信息最近已经在不同的视觉任务中被探索。一些方法依赖于在感兴趣区域上定义的类似方向字段。例如，深度分水岭变换[4]提出学习语义分割的方向场，然后根据方向信息回归到边界的Textfield [45]和DeepFlux [43]分别为场景文本检测和骨架提取定义了文本区域和骨架上下文上的类似direc- tion字段。在MaskLab [9]和IRnet [2]中也探索了方向线索，分别用于改进实例分割和弱实例分割。PifPaf [24]和PVNet[32]分别用于2D人体姿势估计和6 DoF姿势估计的杠杆方向线索。所提出的超级BPD建立在边界到像素方向（BPD）上，其类似于[4，45，43]，但定义在整个图像域而不是感兴趣区域上。BPD学习确认了可以学习对每个像素相对于自然图像中的区域轮廓的相对位置进行编码的方向场。在这个意义上，BPD可以被看作是二进制对象分割[39]到自然图像的通量的扩展，用于图像分割。super-BPD与[4，45，43]在如何使用定义在整个图像上的BPD方面有很大不同。其主要贡献是将BPD扩展为super-BPD，增强了BPD方向信息的鲁棒性，从而增强了相邻super-BPD之间的鲁棒方向相似在此基础上，我们提出了一种有效的由粗到细的RAG分割算法，从而实现了准确、高效的通用图像分割。3. 超边界到像素方向现有的分割方法虽然分割效果很好，但后期处理时间长，限制了其在实际中的应用。而有效的分割方法提供退化的结果。我们建议通过引入一种新的超边界到像素方向（super-BPD）来解决这个问题。边界到像素的距离图3.边界到像素方向（BPD）的图示。(a)对于每个像素p（红色的地面真实边界），（b）我们找到其最近的边界像素Bp。BPD DP定义为从Bp指向p的二维单位向量. (c)我们对每个像素密集地预测BPD，并且其方向被颜色编码。将图像分割成超级BPD，这是经典超像素的一种强大替代。超级BPD在相邻超级BPD之间提供了鲁棒的方向相似性，从而允许通过分割区域（即，super-BPD）邻接图（RAG）。3.1. 边界到像素方向（BPD）定义. 如图3、对于图像域p ∈ N中的每个像素，我们找到其最近的边界像素Bp。然后，像素p处的BPD，Dp，被定义为从Bp指向p的二维单位向量，由下式给出：−→ −→Dp= Bpp/|BPP|、（1）−→哪里|BPP|是Bp和p之间的距离。 波士顿警局提供了关于轮廓位置和每个像素p到其区域边界的相对位置的线索。注意，从地面实况注释生成BPD可以通过距离变换算法有效地实现。建筑与学习我们采用全卷积网络（FCN）来预测BPD作为与输入图像具有相同空间大小的双通道映射（图1）。（见第4a段）。为了与其他方法进行公平比较，我们采用VGG16 [40]作为骨干网络，其中最后一个最大池化层和所有后续层都被丢弃。我们还利用ASPP层[10]来扩大感受野，更好地应对大区域。我们从VGG16的不同阶段提取特征来聚合多尺度信息。 具体来说，我们将1 × 1卷积应用于conv3，conv4，conv5和ASPP层，然后将这些侧输出特征连接到conv3的大小。最后，我们在融合的特征图上应用三个连续的1 × 1卷积，然后通过双线性插值的上采样来预测BPD。我们根据L2范数距离和角度距离定义BPD预测D的损失函数：在每个像素p上定义为两个-ΣL=w（p）（λ D-D2+αcos−1D，D2），从其最近边界像素Bp指向p的维单位向量。这种BPD对每个像素p和区域（包含p）边界之间的相对位置进行编码。啪啪啪啪p∈Ω√其中像素p处的自适应权重，w（p）= 1/|GTp|，是我们采用CNN来学习这样的BPD，然后使用与地面大小的平方根反比的9256p3（c）超级BPD（放大）根像素BPD图4.超级BPD计算概述（a）我们采用全卷积网络（FCN）从输入图像学习BPD场 (b)然后，我们通过方向相似性阈值（Algo.1）并提取根像素。(c)我们放大片段对称轴附近的区域，其中有根像素（黑色箭头）和常规BPD（白色箭头）。算法一：从学习的BPD生成超级BPD（第3.2）。输入：学习的BPD（D），阈值θa输出：超级BPD（P）和根像素（R）1函数GetSuper-BPDs（D，θa）2//初始化3P ←p0，R←4//从BPD到super-BPD5foreachp∈Ndo6如果cos−1<$D<$p，D<$n<$θa，则7P（p）←np8其他9P（p）←p，R←p10返回P、R包含p和α的真值段GTp是平衡损失项的超参数。实际上，我们设置α= 1。3.2. BPD转换为超级BPD从学习的BPD中，我们提取了超级BPD，即由父图像P编码的条纹状片段，以及它们靠近区域对称轴的根像素R第4b段）。准确地说，受计算分量树的算法[36，30，6]的启发，我们采用父图像P来编码相邻像素之间的关系。最初，每个像素p的父像素被设置为自身，P（p）=p，并且根像素集合R为空。 对于每个像素p，我们将其下一个像素np定义为Dp指 向 的 相邻 像 素。 如Algo所示。1（行5-9），对于光栅顺序中的每个像素xelne xt pixelnp、Dnp和Dnp小于给定阈值θa，我们通过将p的父节点P（p）设置为np来将它们分组在一起。否则，我们将p插入到根像素集合R中。最终的父图像P将图像分割成树的森林，每个树以R中的根像素为根。我们将每棵树定义为一个超级BPD。根据BPD在SEC中的定义3.1，边界像素周围的方向彼此偏离，形成用于分离不同像素的相邻像素的排斥边缘，图5.从初始分割得到的图像分割。在初始线段集上构造一个RAG，计算每个初始线段的长度然后，我们分割的边缘加权RAG感知区域的基础上排斥和吸引力的方向相似性的边缘。进入区域（即使在弱边界，见图。2）。每个区域的对称轴附近的像素也具有近似相反的方向，导致根像素。因此，如图所示。如图4b所示，根像素位于每个区域的对称轴附近，允许通常在同一区域内的附近根像素的安全合并。4. 基于Super-BPD的图像分割我们首先通过合并超级BPD与附近的根像素来获得初始分割然后，我们构建一个区域邻接图（RAG），并应用图分割来合并初始片段作为最终结果（图1）。（五）。初始分割。如上所述，同一地面实况区域内的超级BPD的根像素倾向于在区域的对称轴附近彼此靠近（图2）。第4b段）。因此，我们应用一个简单的膨胀来分组附近的根像素和它们相应的超级BPD来生成初始分割。如Algo所示。2（第3-6行），对于每个根像素r，我们将其父像素P（r）更新为以r为中心的3×3窗口N的下半部分内的最后一个根像素。我们还通过移除合并的根像素来更新R。通过这种简单的方法，我们可以将超级BPD分组为合理的初始分割（图11）。5，左）。区域邻接图的构造我们从初始分割构造区域邻接图（R，E），其中E代表连接相邻段的根像素的边缘集合（Algo.2，第9行）。(b)从BPD到超级BPD超级BPD（P）根像素（R）(a)从图像到BPDFCN输入图像学习BPD（D）从超级BPD到细分初始分割RAG构建最终分割92573一一我18我我我算法二：从超级BPD生成图像分割（第4）.输入：D、P、R、阈值θl、θs、at、as输出：连接边的集合E11功能Super BPD2SEG（D，P，R，θl，θs，at，as）2//初始分割对于每个r∈ Rdo，4//合并超级BPD5对每个q∈Nb（r）do6若q∈ R则P（r）←q，R.pop（r）基于方向相似性S（Algo.2，第13-16行）。在[19]之后，我们使方向相似性阈值自适应于初始片段的大小对于连接相邻初始段 R1和 R2的每条边e=（ r1，r2），我们使用分段常数阈值函数hθl，θs，as（Ar1，Ar2），如果Ar1和Ar2都是大段（A>as），则值为θl，否则值为θs（<θl）.θl如果min（Ar，Ar）≥as78//区域邻接图构造9（E↓，S，A）←获取RAG（D，P，R）hθl，θs，as（Ar1，Ar2）=1 2θs否则（四）↓一1011//图形划分然后，我们通过边e=（r1，r2）∈EA，方向相似性的递减顺序。 我们合并R1和R2，如果方向相似度S（e）大于12El←↓hθl，θs，as（附件1），Ar2）和R1和r2不13对于每个e=（r1，r2）∈EAdo14//合并类似的大和小初始seg。15如果min（Ar1，Ar2）> at且不是Rep（r1，r2）且S（e）> hθl，θs，as（Ar1，Ar2）则16Merge（r1，r2），El.push（e）//更新对于每个e=（r1，r2）∈E↓do18// merge tiny initial seg.19如果min（Ar1，Ar2）

下载后可阅读完整内容，剩余1页未读，立即下载