没有合适的资源?快使用搜索试试~ 我知道了~
CCS:新的轮廓约束超像素方法及其在图像和视频处理中的应用
2443用于图像和视频处理的轮廓约束超像素李世镐高丽大学seholee@mcl.korea.ac.kr张元东高丽大学wdjang@mcl.korea.ac.kr昌洙金高丽大学changsukim@korea.ac.kr摘要提出了一种新的轮廓约束超像素(CCS)我们在一个规则的网格中初始化超像素和区域,然后从块到像素级别分层细化每个区域为了使超像素边界与目标轮廓兼容此外,我们扩展了CCS算法,以产生用于视频处理的时间超像素我们初始化的超像素标签在每帧中通过转移那些在前一帧和细化的标签,使超像素时间一致,以及兼容的对象轮廓。实验结果表明,该算法提供了更好的性能比最先进的超像素方法。1. 介绍超像素分割是将输入图像分割成更小的有意义区域的预处理任务。与像素表示相比,超像素表示可以大大减少图像基元或单元的数量。最近,超像素方法已广泛用于许多计算机视觉算法中,包括图像分割[15]、视频对象分割[9]、语义分割[12]、显著性检测[21]和立体匹配[31]。已经提出了许多超像素方法[1,8,10,11,13,16,18,24,34,35],其通常通过优化目标函数来实现超像素分割。由于每个超像素在应用中被用作最小单元,因此它应该属于单个对象而不与多个对象重叠。换句话说,超像素应该坚持图像轮廓。因此,一些超像素方法[8,18,35]在其目标函数中使用轮廓信息。另一方面,最近提出了几种基于深度学习的高级轮廓检测技术[28,33],它们可以以相对较低的复杂度忠实地检测对象 本工作尝试利用基于学习的轮廓信息实验来实现精确的超像素分割。此外,已经提出了用于视频处理的时间超像素(或超体素)方法[1,5,20,25]。如果将超像素方法独立地应用于视频序列中的每个帧,则其将导致闪烁伪影。因此,时间超像素方法应考虑时间相关性,以在连续帧中一致地标记相同区域,同时使超像素边界与对象轮廓兼容。我们提出了一种新的超像素算法,称为轮廓约束超像素(CCS)。我们在一个规则的网格中初始化超像素和区域,然后从块到像素层次细化每个区域的超像素标签。在每个层次上,我们使用一个代价函数来解释轮廓约束,即如果两个相邻区域之间存在物体轮廓,则它们应该属于不同的超像素。为此,我们提出了轮廓模式匹配的概念。此外,我们将CCS算法扩展到生成时间超像素。我们通过使用光流传输前一帧中的超像素标签来初始化每帧中的然后,我们执行时间超像素标记以使超像素在时间上一致,以及与对象轮廓兼容。实验结果表明,该算法优于传统的超像素[1,8,10,11,13,16,24,34]和时间序列。perpixel [1,5,20,30]方法,并可应用于对象[9]和显着性检测[14,32]有效。总之,本文有三个主要贡献。● 引入轮廓约束,通过轮廓模式匹配,使超像素边界与目标轮廓相一致。● 扩展所提出的CCS算法用于视频处理,其产生时间上一致和空间上精确的超像素。● 在超像素和时间超像素数据集上取得了显着的性能成就,并通过应用该程序改进了许多计算机视觉算法ccs设置24442. 相关工作2.1. 超像素方法已经提出了各种超像素方法。Levinshtein等人 [10]提出了Turbopixels。他们初始化种子并使用水平集方法传播它们以获得超像素。Achanta 等 人[1] 提 出 了 简 单 线 性 迭 代 聚 类(SLIC),这是一种K-means优化方法。SLIC用一个由空间坐标和颜色组成的5维特征向量来表示每个像素。它将每个像素分配到最近的聚类,并迭代地更新聚类中心。Li和Chen [11]提出了基于加权K-均值方案的线性谱聚类(LSC)。然而,这些基于K-means的方法可能无法保持每个超像素的连通性,因此它们应该执行后处理。 Liu等人 [16]扩展SLIC以在详细区域中产生小超像素,并在平坦区域中产生大超像素。Liu等人。 [13]提出了一种基于熵的超像素方法。他们的方法在输入图像上构造一个图,并制定一个成本函数,该成本函数由图上随机行走者的熵率和平衡项组成。熵率强制每个超像素是紧凑和均匀的,而平衡项约束每个超像素的大小是相似的。此外,已经提出了从粗到细的方法。Van denBergh等 [24]提出了通过能量驱动采样(SEEDS)方法提取的超像素,该方法改变每个区域的超像素标签,以粗到细的方式细化超像素边界。超像素标签被更新以改善每个超像素内的颜色的均匀性。然而,SEEDS可能无法获得紧凑的超像素。因此,Yao等人 [34]提出了另一种由粗到细的方法。他们根据超像素中心的距离定义了成本函数,以实现紧凑性。然而,上述方法[1,10,11,13,16,24,34]不利用轮廓信息,因此它们的超像素边界可能与图像轮廓不兼容。只有少数基于轮廓的超像素方法被提出[8,18,35]。 Moore等人 [18]和Fu et al. [8]通过找到包含许多图像轮廓像素的路径来确定超像素边界。然而,这两种方法都需要保持超像素的规则网格结构,这限制了它们的聚类性能。 Zeng等人。 [35]提出了一种使用测地距离的超像素方法。他们的算法将每个像素分配给具有最小测地线距离的种子,并交替更新每个种子的位置。对于测地距离计算,利用梯度幅值然而,注意,梯度信息不足以检测真实的图像轮廓。2.2. 时间超像素方法对于视频处理,已经提出了时间超像素方法Achanta等人 [1]和Van den Bergh等人 [25]分别修改了超像素方法来处理视频序列。Achanta等人 [1]通过将视频序列视为3D信号,直接将其用于2D图像的SLIC算法扩展到获得时间超像素。Van den Bergh等人 [25]通过在构建颜色直方图时考虑先前帧来扩展SEEDS [24]。他们还创建并终止了标签,以反映不同帧中的颜色变化Reso等人 [20]提出了时间一致的超像素(TCS)。他们使用K均值优化标记每个超像素,如[1]中所示。然而,他们采用了时间滑动窗口,以提高时间一致性。具体来说,为了计算超像素的平均颜色,他们不仅考虑了当前帧中的像素,还考虑了滑动窗口中其他帧中的像素Chang等 [5]提出了另一种时间超像素方法,称为TSP,仅在保持超像素的拓扑关系的情况下才允许改变每个像素的超像素TCS和TSP都使用来自前一帧的光流信息来初始化当前帧的分割以实现时间一致性。3. 轮廓约束超像素本节提出了一种新的超像素算法,称为CCS。 我们首先初始化超像素1、 . . . 如图1(a)所示,在一个网格中。然后,我们分级地细化这些超像素我们特别划分区域并在图1(b)和(d)中的三个块级分层地更新它们的超像素标签,并在图1(e)中的像素级执行最精细的更新。Let()∈{1, . , }表示该区域的超像素值,其可以是根据细化级别的块像素或像素请 注意,构成了e()-ths pixelxel,并且thuspixel()。在每一个细化级别上,我们迭代地将边界区域的超像素标签从()更新到(),这使得有一个边界区域的超像素标签满足cos(,)。在这里, 表示f的相邻区域的值,其与。我们更新边界区域的超像素标签,只有当是一个简单的点[3]时,才能保持超像素之间的拓扑关系,如[24,34]中所做的那样。我们用公式表示将超像素值从()更新为()的代价函数(),(,)=[D(,) +L(,) +I(,)]×C(,)(一)其中参数和控制特征距离D、边界长度成本L和区域间颜色成本I的相对贡献。在所有实验中,= 2和=10。我们放大了(1)中的成本,2445(a)初始超像素(b)1级(c)2级(d)3级(e)4图1. 分层超像素标记(=96)。红线描绘超像素边界,而(b)和(d)中的黑线是块边界。(b)(d)在三个块级别上的分层超像素标记,以及(e)最精细的像素级别标记。通过采用轮廓约束C(,),在其他方面,我们将像素约束为与图像轮廓兼容。让我们来描述每一个在成本函数(,)(1)随后更详细。3.1. 超像元质心我们使用边界区域并且e()-h()是由一个缓冲区构成的像素。我们采用颜色和位置,特征并将特征距离(,)定义为ing区域。当两个区域具有不同的颜色时,更有可能在两个区域之间存在对象边界。因此,我们尝试将不同的超像素标签分配给具有不同颜色信息的相邻区域。此外,我们采用内部差异的概念[7]来考虑每个超像素中的纹理信息。具体来说,我们定义了内部差异(())的超像素()是()内相邻区域之间的最大色差,(())=max<$c()-c()<$2。(四)D,∈()、¨ ¨2∈D(,)为-c(())-c(())¨ ¨2大()表明质地复杂+?p()-p(())?(二)梗概.()()其中,ec()和dc()分别表示灰度和超像素的平均CIELAB颜色。类似地,p()和p()是然后,通过比较相邻区域之间的颜色距离来计算内部颜色成本I(,以及内部差异(()),和d()。颜色距离使其具有较小的像素由均匀的颜色组成,而空间距离要求超像素由附近的像素组成I(,)=max--0,c()-c()2-(()).(五)3.2. 边界长度成本为了产生紧凑形状的超像素,我们显式地最小化为此,我们通过计算当图像的超像素标签从m()更新到()时改变的边界区域的数量来定义边界长度cos tL(,),即。e. 、L(,)=(,())-(,())(3)其中e(i)表示当的超像素标签为时图像中的边界区域的数量。在实现中,我们仅考虑的相邻区域的集合,因为其他区域的状态(边界或非边界)不受f的超像素标签的影响。如果L(,)是可伸缩的,则从()增加边界长度。因此,B通过最小化L(i),我们将每个超像素约束为具有小的边界长度,从而具有紧凑的形状。3.3. 区域间色彩成本我们通过考虑区域与其相邻区域之间的色差因此,我们仅在n和d之间的颜色差异大于n(())时才施加区域间颜色成本。因此,如果其具有复杂纹理,则superpixel()可以包括具有高色差容限的新图像相比之下,具有平坦纹理的超像素不能包括具有大色差的新区域。3.4. 轮廓约束超像素应该坚持对象轮廓,因为它们主要用作处理单元来检测和分割对象。换句话说,对象轮廓应该由超像素边界组成,尽管超像素边界不一定是对象轮廓。本工作采用(1)中的轮廓约束C以形成超像素,使得它们的边界与对象轮廓兼容给定输入图像,我们通过采用整体嵌套边缘检测(HED)方案[28]获得其轮廓图。HED采用卷积神经网络,以较低的计算复杂度提取出真实的轮廓.然而,基于原始轮廓图难以因此,我们将每个补丁匹配到2446(a) 输入图像(b)HED轮廓图(一)(b)(c)(d)(d)薄二进制等高线图图3. 轮廓模式匹配的示例:(a)输入等高线图,包括用橙色、绿色和蓝色虚线框描绘的三个区块,以及(b)绘制(d)三个区块的匹配等高线图案。在像素之间,并且被建模为∑(1)(,)×(2)(,)(,)=∈ℳ(六)(f)轮廓模式匹配∑∈ℳ(1)(,)图2.ڄڄڄ轮廓模式集提取与轮廓模式其中二进制函数(1)(,)=1,仅当两个h和如图3(b)和(d)所示,位于贴片内。因此,(6)中的去提名器计算包括博特汉湾 此外,二进制函数(2)(1)=1仅当和属于如图3(b)和(c)中的匹配模式中的不同分量时。因此,(,)是指-匹配.在轮廓模式集中,模式按照从左到右的出现频率排序。将轮廓映射到预提取的轮廓图案。通过检验这些匹配模式,我们可以估计两个像素被轮廓分开的概率。图2显示了轮廓模式集提取和轮廓模式匹配的过程,这些过程用于定义轮廓约束。构建一套符合-确保其匹配模式分离的补丁的比例。在图3的情况下,在三个匹配模式中,有两个是独立的并且成功的。因此,通过考虑包含像素和像素的所有块,,我们可以忠实地获得轮廓概率(,)尽管在图3(a)中轮廓不是闭合的然后,我们确定区域和之间的轮廓概率y(,),通过找到和中像素之间的最大轮廓概率,我们使用BSDS 500数据集中的200个训练图像[17],其中每个训练图像都有地面真实轮廓图,如图2(c)所示。我们使用7 ×7(,)=max∈, ∈(,)。(七)图块,以每个轮廓像素为中心,作为轮廓图案。由于每个块是二进制的,中心像素值为1,因此可以有2个7×7-1轮廓图案。然而,我们只考虑模式,其元素被分为两个相互排斥的区域的轮廓。此外,我们通过仅选择如图2(e)中的等值线图中的前1,000个频繁出现的模式这1,000个模式覆盖了训练等高线图中90.5%的块。在图2(b)中的HED等高线图上,我们执行非最大值抑制[4],然后进行阈值处理以产生薄的二进制等高线图,如图2(d)所示然后,我们采用图2(f)中的模式匹配过程。我们考虑一个7×7的补丁,它以输入图像中的轮廓像素为中心,如图3所示。令R2表示轮廓像素集。对于每个补丁,∈ε,计算其与轮廓模式的汉明距离,并选择距离最短的最佳匹配模式。然后,轮廓概率(,)我们通过下式计算轮廓约束C(,):C(,)=exp(×(,))(8)其中=3。在(8)中使用指数函数,因此当在区域和之间存在对象轮廓时,显著地放大(1)中的余弦函数(,)。通过采用(1)中的轮廓约束,可以使超像素与图像轮廓相容.3.5. 分层超像素细化如图1所示,我们从块到像素级别分层细化超像素。在图1(b)中的粗粒度级别(级别1),每个初始矩形超像素被划分为四个块,然后每个块被视为细化单元,即, 地区我们迭代地更新每个像素的超像素标记以最小化(1)中的cost(,)。然后,我们使用分裂算法[22]来确定图1(c)中更精细级别(级别2)的块结构(c)地面实况等高线图(e)轮廓模式集提取ڄڄڄݒݑݒݑݑݒݑݒ2447∗∗∗算法1轮廓约束的超像素1:在规则网格2:对于级别= 1到4,3:对所有边界简单区域重复4:←argmin(,)andd()←()(1)算法2轮廓约束的时间超像素1:将算法1应用于(1)2:for=2toenddo3:使用(-1)中的结果初始化超像素()5:更新超像素的平均颜色和位置6:更新超像素的内部差异7:直到收敛或预定义的迭代次数8:如果level= 1或2,则9:将区域划分为块100(9)10:else iflevel= 3then11:将所有区域划分为像素12:如果结束13:结束通过计算区域的不均匀性来决定是否进行区域划分4:对所有边界简单像素重复5:=argmin(,,)(10)六:(())←(())7:更新超像素8:更新超像素的内部差异9:直到收敛或预定义的迭代次数10:执行超像素合并、分裂和重新标记11:结束在(-1)至(-1)中,通过使用超像素的平均光学流来实现。 通过用光流信息初始化标签,我们可以连续地标记相同的区域。视觉框架一致。 在初始化过程中,我们() =max,∈,∈c()-c()不将任何超像素标签分配给遮挡或未遮挡的像素。请注意,我们指的是从多个+ exp(×max,∈,∈ (,)),(9)- 将前一帧中的超像素作为被遮挡像素,以及从无超像素映射的像素作为未被遮挡的像素。其中,是4个相邻像素到像素的集合,c()是的CIELAB颜色。在(9)中,第一项测量相邻像素之间的最大色差,第二项类似于(8)计算相邻像素之间的最大轮廓强度当n()高于hresolddiv=100时,我们将级别2划分为四个块。这个划分过程被重复一次,以细化第3级的超像素。请注意,与传统的粗到细方法[24,34]不同,所提出的分层细化仅划分包含复杂纹理和轮廓的不均匀区域因此,均匀区域不被划分,并且对应的超像素可以保持相对规则和紧凑的形状。最后,我们在像素级(第4级)进行超像素标记。在第4级,与第1级到第3级相反,我们将所有块划分为像素以执行最精细尺度的超像素标记。算法1总结了所提出的CCS算法当没有标签更改或执行了最大数量的迭代我们将最大迭代次数设置为20。4. 轮廓约束的时间超像素我们将CCS算法扩展到生成用于视频处理的时间超像素。4.1. 初始化我们执行CCS算法来获得超像素4.2. 时间超像素标记在初始化之后,我们以与第3节类似的方式执行时间超像素标记。然而,仅在像素水平处执行时间超像素标记。因此,用于将帧()中的边界像素()的可伸缩性从(())更新到(())的成本函数(,,)将d定义为(,,)=(10)[D(,,) +L(,,) +I(,,)]×T(,,)其中T(,,)是所述流出轮廓约束。注意,特征距 离 D( , , ) 、 边 界 长度cosL ( , , ) 和 内 部 颜 色 cosI(,,)分别以与(2)、(3)和(5)相同的方式定义。我们采用emporalcontourconstraint tT(,,) in(10) 为了使超像素在时间上一致,与图像轮廓兼容它被制定为T(,)=C(,,)×(,,)(11)其中C(,,)是在等式(8)中计算的,即。e.C(,,)=e×p(×((),().(十二)此外,(,,)是自适应地减小轮廓约束以提高超像素标签的时间一致性的一种松弛因子,其被定义为⎧(1) 如果(())∈(),第一帧的标签(一)在视频序列 中。然后,2448(,,)=1+exp-×(())对于每一个帧(),≥2,我们从(-1)到()估计光学流[26]。我们传送每个超像素的标签否则,(十三)2449(a) ASA ↑(b)BR ↑(c)UE↓图4.超像素算法的定量评价水平轴表示每个图像中的片段(或超像素)的数量CCS和CCS-wo-CC分别表示带和不带轮廓约束的CCS算法。表1.超像素算法的运行时间[10个国家][八]《中国日报》[1]第一章[13个国家][第十一届][24日][16个]提出时间(s)8.0912.780.261.520.340.060.360.97(a)投入(b)SEEDS(c)LSC(d)拟议图5. 超像素结果的视觉比较。每张图像由大约400个超像素组成。第二行和最后一行分别显示了第一行和第三行中图像的放大部分,轴,对应于空间分布的最大特征向量,asdonein[35]。此外,当n()/<$小于nme r时,我们将与接近t的像素el保持一致。我们通过比较与相邻的超像素的那些。Wese tspl=3,在所有实验中mer=1/16我们还通过测量颜色一致性来执行超像素重新标记。通过比较超像素的1:-1()颜色,定义子超像素的颜色一致性从帧(1)到(-1),并且颜色为()对于frame()中的超像素,=c1:-1()-c()2。(十四)活泼地 在(b)和(d)中,每个超像素由平均值表示。颜色.如果大于阈值rel =120,我们重新贴标签当e=2时,k()是从(-1)映射到0()的超像素标签的集合,并且k())是对0()的HEDcontour响应。因此,如果相邻标签(())属于(),我们在一个新的标签。算法2总结了所提出的时间超像素算法5. 实验结果5.1. 超像素算法(十一)、 然而,如果对比反应(())增大。4.3. 合并、拆分和重新标记由于超像素标记是逐帧执行的,因此超像素可以增长或收缩。为了防止超像素大小不规则此外,由于遮挡或照明变化,超像素可能被错误地标记。为了避免这种错误标记,我们将重新标记作为后处理。Let<$=/表示一个平均超像素大小,其中是帧中的像素数。通过将每个超像素帧的大小()与大小()进行比较,我们可以确定是否存在剩余像素或剩余像素。当n()/n()较长时,我们在()中跨主要部分定义了一个字符串我们在BSDS 500数据集中的200张测试图像上评估了所提出的CCS算法[17]。在所有实验中,所有参数都是固定的。我们将所提出的算法与七种传统的超像素算法进行比较:Tur-bopixels [10]、规则性保持超像素(RPS)[8]、SLIC [1]、熵率超像素分割(ERS)[13]、LSC [11]、SEEDS [24]和流形SLIC(MSLIC)[16]。我们使用三个评估指标来量化超像素分割性能,如[13]中所示:可实现的分割准确度(ASA)、边界召回(BR)和欠分割误差(UE)。ASA是当采用所得超像素作为单元时可实现的最高BR是匹配超像素边界的地面实况边界的比例。UE测量泄漏穿过像素的像素2450的比例24510.80.750.70.650.60.55200 400 600800超体素数量(a) BR2D↑10.90.80.70.6200 400 600800超体素数量(b) BR3D↑0.90.850.80.750.70.65200 400 600800超体素数量(c) SA2D↑0.80.750.70.650.60.55200 400 600 800超体素数量(d) SA3D↑20151050200 40060054321800超体素数量(e) UE2D↓(f) UE3D↓(g) EV↑(h) 平均持续时间↑图6.SegTrack数据集上时间超像素算法的定量评估[23]。真实边界注意,更高的ASA和BR对应于更好的性能,而更低的UE更好。图4比较了这些算法,其中CCS和CCS-wo-CC分别表示具有和不具有轮廓约束的建议CCS算法。我们看到,CCS在ASA和UE方面比CCS-wo-CC表现得更好,同时提供相当的BR性能。这表明轮廓约束在该算法中起着至关重要的作用。此外,请注意,建议的CCS优于所有传统的算法在所有三个指标方面的可观的利润。特别是所提出的算法产生2. 1%的BR和3. 7%的UE值比LSC低,LSC是最先进的传统算法,当段数为400时。图5定性地比较了超像素结果。我们看到,所提出的算法成功地将对象从背景区域中分离出来,即使对象和背景区域具有相似的颜色。特别是,该算法成功地描绘了直升机的鸭头和尾桨,而三个传统的算法失败。我们已经测量了建议的算法的运行时间使用PC与2.2 GHz的CPU。表1比较了将481×321图像划分为约200个超像素的超像素算法的运行时间。所提出的算法的运行时间是可比的那些con-carton。传统算法5.2. 时间超像素算法接下来,我们使用LIBSVX 3.0基准[29]评估所提出的时间超像素算法。比较了五种传统算法:Meanshift[19],流式分层视频分割(sGBH)[30],SLIC [1],[2019 - 05 - 15][2019 - 05 - 15][2019 - 05 - 15]注意,Meanshift、sGBH和SLIC是没有拓扑约束的视频分割算法,而不是时间超像素算法。因此,它们会生成具有多个连接组件或形状不规则的线段。因此,我们主要将该算法与TCS和TSP进行了比较。我们使用了[29]中的八个评估指标:2D边界重新调用(BR2D)、3D边界召回(BR3D)、2D分割准确度(SA2D)、3D分割准确度(SA3D)、2D欠分割误差(UE2D)、3D欠分割误差(UE3D)、解释变异(EV)和平均持续时间。BR 2D、SA 2D和UE 2D是通过计算每个帧的BR、ASA和UE并在所有帧上对它们求平均来获得的。BR 3D、SA 3D和UE 3D通过将视频序列视为3D体积并且然后计算BR、ASA和UE来获得。此外,EV量化原始信息可以用超像素的平均颜色表示的程度,并且平均持续时间测量超像素在帧的数量方面持续多久。图6比较了Seg- Track数据集的定量结果[23]。该算法产生最高的SA3D和EV曲线。此外,虽然sGBH没有拓扑和正则性约束,因此在计算BR2D和BR3D时具有优势,但所提出的算法提供了可比的BR2D和BR3D结果。此外,当我们仅与时间超像素算法TCS和TSP进行比较时,所提出的CCS提供了最佳的BR2D、BR3D、SA3D和EV值,同时在其他度量方面提供了可比较的结果。Chen数据集[6]的结果可在补充材料中获得,其显示出与图6相似的趋势。图7示出了时间超像素结果。我们看到,所提出的算法检测和跟踪对象忠实。均值漂移sGBHSLICTCSTSP提出均值漂移sGBHSLIC TCSTSP提出均值漂移sGBHSLICTCSTSP提出均值漂移sGBHSLICTCSTSP提出0.95028260MeanshiftsGBHSLICTCSTSP提出0.90.85000.800.75MeanshiftsGBHSLICTCSTSP提出0200 400 600 8000.7200 400 600 8002422201816200MeanshiftsGBHSLICTCSTSP提出400600 800超体素数量超体素数量超体素数量均值漂移sGBHSLICTCSTSP提出二维边界调用2D欠分割误差3D边界调用3D欠分割误差2D分割精度解释的变化3D分割精度平均持续时间245210.80.60.40.20.2 0.4 0.6图8. 显着性检测技术的查准率-查全率曲线。(a) TCS(b)TSP(c)建议图7. 在'容器'和'猎豹'序列上的时间超像素的比较每帧由大约200个超像素组成. 第一行和第三行中由黑色边界包围的区域描绘了包含第一帧中的对象的超像素的标签第二行和最后一行显示了在后面的帧中仍然包含对象的超像素。表2. 时间超像素算法的运行时间(每帧)。[30][1][20个][五]《中国日报》提出时间(s)5.710.087.832.391.70例如,所提出的算法成功地在“集装箱”序列中对小船进行了此外,请注意,随着时间的推移,所提出的算法比TCS和TSP更有效地维护对象的超像素标签。表2列出了将240×160帧分割成约200个超像素的时间超像素算法的运行时间除SLIC算法外,该算法比传统的其它算法都快.5.3. 应用所提出的CCS算法可以应用于各种图像和视频处理任务。我们证明了所提出的算法对两个示例任务的有效性。首先,我们改进了基于多个随机游走器(MRW)的视频对象分割技术[9]。我们将其修改为使用建议的CCS,而不是SLIC。然后,我们在SegTrack数据集上比 较了 两种 分 割技 术, 即 MRW-SLIC 和MRW-CCS[23]。每种分割技术每帧使用大约400个超像素。我们测量交集对并集(IoU)[27]第二十七话 总IoU分数从0增加。532至0571通过用CCS取代SLIC。其次,我们使用轮廓约束的时间超像,对视频显著性检测结果进行后处理。如果我们将图像显著性检测技术独立地应用于视频序列中的每一帧,地图可能在时间上不一致。因此,我们使用所提出的轮廓约束时间超像素进行后处理。具体来说,我们对构成每个超像素的所有帧中的像素的显著性值进行平均,然后用平均值替换这些显著性值。这种简单的处理提高了显著性检测的性能,如图8中的精确度-召回率曲线所示。我们在NTT数据集[2]上测试了两种显着性检测技术,层次显着性检测(HS)[32]和深度层次显着性网络(DHSNet)[14]。HS-P和DHSNet-P表示HS和DHSNet的后处理结果。后处理显著提高了HS的性能。此外,尽管改进的量相对较小,但是后处理对于现有技术的显著性技术DHSNet仍然有效。原始DHSNet的精度在0.981饱和,而DHSNet-P的精度在0.994饱和。6. 结论我们提出了CCS算法。我们在规则网格中初始化超像素,并从块到像素级进行层次细化.采用轮廓约束使超像素与物体轮廓保持一致.我们还扩展到CCS算法的视频处理。我们使用光流传输超像素标签,并执行时间超像素标记以产生时间一致的超像素。实验结果表明,该算法优于现有的超像素方法,能够有效地应用于目标分割和显著性检测。确认这项工作得到了韩国国家研究基金会(NRF)的部分支持,该基金会由韩国政府(MSIP)资助(编号:NRF-2015 R1 A2 A1 A10055037),和部 分 由 韩 国 科 学 、 信 息 通 信 技 术 和 未 来 规 划 部(MSIP)在ITRC(信息技术研究中心)支持计划(IITP-2017-2016-0- 00464)下进行,该计划由IITP(信息通信技术促进研究所)监督。2453引用[1] R. Achanta、A.Shaji,K.史密斯,A.Lucchi,P.Fua,和S.暂停SLIC超像素与最先进的超像素方法的比较。IEEE Trans. 模式分析马赫内特尔,34(11):2274-2282,2012. 一二六七八[2] K. Akamine,K. Fukuchi,A. Kimura和S.高木几乎实时地从视频中全自动提取显著对象。Comput. J. ,55(1):3-14,2012. 8[3] G.伯特兰立方网格中的单点、拓扑数和测地邻域。模式识别Lett. ,15(10):1003-1011,1994. 2[4] J. 精明边缘检测的计算方法 IEEE传输模式分析马赫内特尔,8(6):679-698,1986. 4[5] J. Chang,D. Wei和J. W.费希尔三世使用时间超像素的视频表示在CVPR,第2051一、二、七、八[6] A. Chen和J. Corso。在整个视频帧中显示多类像素标签。在Proc. of Western NY Image Proc. Workshop,第14-17页,2010年。7[7] P. F. Felzenszwalb和D. P. Huttenlocher。高效的基于图的图像分割。国际计算机目视,59(2):167 3[8] H. Fu,X. Cao,中国粘蝇D.唐,Y。Han和D.徐规则性保持超像素和超体素。IEEE Trans. Multi-media,16(4):1165-1175,2014. 一、二、六[9] W.- D. Jang和C.- S. Kim.使用多个随机游走器的半监督视频对象分割。在BMVC,第1-13页,2016年。1、8[10] A. Levinshtein,A. Stere,K. N. Kutulakos,D. J. Fleet,S. J. Dickinson和K.西迪奇Turbopixels:使用几何流的快速 超 像 素 IEEE Trans. 模 式 分 析 马 赫 内 特 尔 , 31(12):2290-2297,2009. 一、二、六[11] Z. Li和J. Chen。基于线性谱聚类的超像元分割。在CVPR,第1356-1363页,2015年。 一、二、六[12] X. Liang,X. Shen,J. Feng,L. Lin和S.燕.使用图LSTM进行语义对象解析。在ECCV,第125-143页1[13] M. Y. Liu,O. Tuzel,S. Ramalingam和R.切拉帕熵率超像素分割。在CVPR,第2097- 2104页一、二、六[14] N. Liu和J.Han. DHSNet:用于显著对象检测的深度层次显著性网络。在CVPR,第678-686页1、8[15] T. Liu,M.Zhang,M.Javanmarti和N.拉梅什SSHMT:用于电 子显 微镜 图像 分割 的半监 督层 次合 并树 。在ECCV,第144-159页1[16] Y.-- J. Liu,C.- C.余,M. J. Yu和Y.他外歧管SLIC:一种快速计算内容敏感超像素的方法。在CVPR,第651-659页,2016年。一、二、六[17] D.马丁角,澳-地Fowlkes,D. Tal和J.马利克 人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。ICCV,第2卷,第416-423页,2001。 四、六[18] A. P. Moore,S. J. D. Prince,J. Warrell,U.穆罕默德,G.琼斯超像素晶格。在CVPR,第1-8页,2008中。一、二[19] S. Paris和F.杜兰德基于均值漂移的层次分割拓扑方法。在CVPR,第1-8页,2007中。7[20] M. Reso,J. Jachalsky,B. Rosenhahn和J.奥斯特曼时间一致的超像素。在ICCV,第385一、二、七、八[21] Y. Tang和X.吴通过将区域级和像素级预测与CNN相结合进行显着性检测在ECCV,第8091[22] S. Theodorphic和K. Koutroumbas。模式识别,第四版。第13章,第653-700页。中国科学技术出版社,2008年.4[23] D. 蔡,M。Flagg和J.M. 瑞格多标签MRF优化的运动相干在BMVC,第56.1- 56.11页七、八[24] M. Van den Bergh,X. Boix湾罗伊格湾德卡皮塔尼,和L.范古尔SEEDS:通过能量驱动采样提取的超像素。在ECCV,第13-26页,2012年。 一、二、五、六[25] M. 范登伯格 G. Roig,X. Boix,S. Manen,以及L.范古尔在线视频种子的时间窗口对象。在ICCV,第377-384页,2013年。一、二[26] P. Weinzaepfel,J. Revaud ,Z. Harchaoui和C.施密 特DeepFlow:深度匹配的大位移光流。在ICCV,第1385-1392页,2013年。5[27] L. Wen,D.杜,Z.Lei,S.Z. 李和MH. 杨JOTS:联合在线跟踪和细分。在CVPR中,第2226- 2234页8[28] S. Xie和Z.涂。 整体嵌套边缘检测。 在ICCV,第1395-1403页,2015年。一、三、六[29] C. Xu和J.J. 高索早期视频处理的超体素方法的评价在CVPR,第1202-1209页7[30] C. Xu,C. Xiong和J. J·科索流式分层视频分割。在ECCV,第626-639页,2012中。一、七、八[31] K.山口T.哈赞D. McAllester,和R.乌塔松用于鲁棒立体声估计的连续马尔可夫随机场。在ECCV,第45-58页,2012年。1[32] Q. 延湖,澳-地徐,J.Shi和J.贾层次显着性检测。在CVPR,第1155-1162页,2013中。1、8[33] J. 扬湾,澳-地Price,S.科恩,H.李和MH. 杨使用全卷积编码器-解码器网络的对象轮廓检测在CVPR,第193-202页,2016年。1[34] 姚杰,M. Boben,S. Fidler和R.乌塔松实时粗到细拓扑保持分割。在CVPR,第2947-2955页,2015年。一、二、五[35] G. Zeng,P. Wang,J.王河,巴西-地Gan和H.扎。基于测地线距离的结构敏感超像素。在ICCV,第447-454页,2011年。一、二、六
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)