没有合适的资源?快使用搜索试试~ 我知道了~
63844D光场超像素和分割朱浩,张琦,王庆西北工业大学计算机学院,西安中国qwang@nwpu.edu.cn摘要二维图像的超像素分割在计算机视觉中有着广泛的应用。然而,由于高斯成像原理的限制,对于散焦和遮挡边界区域的模糊性,目前还没有一个彻底的分割解决方案。本文考虑图象象素的基本元素,光线在光空间中的位置,并提出了光场超像素(LFSP)分割,以消除歧义。首先对LFSP进行了数学定义,然后提出了一种用于评价分割性能的重聚焦不变度量LFSP自相似通过在光场中建立一个包含80个邻域的团系统,提出了一种鲁棒的重聚焦不变LFSP分割算法在合成光场数据集和真实光场数据集上的实验结果此外,不同光场重聚焦水平下的LFSP自相似性评估表明了该算法的重聚焦不变性。1. 介绍超像素分割是将基于像素的低级视觉转换为基于对象的高级理解的关键基础,其目的是将相似像素分组为更大和更有意义的区域,以提高后处理的准确性和速度[21]。为了实现良好的过分割,以前的作品[22,8,26,12,27,1,15]已经建立了各种分组方法来对proxim进行建模。图1.真实场景数据的光场超像素分割。左侧图像是中心视图中LFSP分割的2D切片。对于右图中的每个区域,第一行显示特写,第二行和第三行分别是水平和垂直EPI上的相应分割。为了克服传统超像素分割中的模糊性光场[13]记录了角度和空间空间中的场景信息,形成了一个名为L(u,v,x,y)的4D函数。光场数据在两个方面有利于超像素分割。首先,由于每条光线都记录在光场中,因此可以很好地分析物体边界的模糊性。其次,光场的多视图性质不仅在颜色和位置上,而且在结构上都可以实现自下而上的分组。然而,4D光场分割仍然是一项艰巨的任务。如[11]所述,光场分割面临两个主要困难。首先,光场中的每个分割都应该相干地传播,以保持[21]第21话,我的好朋友完形理论[9]。然而,在传统的成像系统(理想针孔模型和薄透镜模型)中,物体边界不可避免地存在模糊性,即不同物体发出的光线在物体边界处的叠加,包括渐晕、遮挡等。这些模糊性可能会导致图像退化,从而干扰超像素分割,并进一步降低对象分割和识别的准确性。该工作得到了国家自然科学基金61531014、61401359和61272287的部分资助。4D数据的冗余。第二,虽然深度被嵌入到多视点图像中,但仍然无法分割完整的4D数据,这是不方便的,也是不完善的。在本文中,我们探索4D光场上的超像素分割我们表明LFSP可以更好地表示邻近区域,特别是在对象边界(第3节)。传统的超像素只是通过固定角度尺寸的LFSP的2D切片此外,通过固定LFSP中的空间维度进行的角度分割与[28]中的光场遮挡理论一致。在LFSP定义的基础上,分析了6385并提出了LFSP自相似性来评价分割结果。在第4节中,我们定义了一个在光场中包含80个邻居的团系统,并将2D视差图嵌入能量函数以产生重聚焦不变的LFSP分割。在第5节中,提供了大量的实验结果,包括合成数据和Lytro捕获的真实场景定量和定性的比较表明,该算法的有效性和鲁棒性这项工作的主要贡献包括,1) 光场超像素的定义。2) 4D光场中鲁棒的重聚焦不变超像素分割2. 相关作品2.1. 计算机视觉与传统的成像系统不同,光场相机[17,20]可以在更高的角度维度上记录物体的强度,并且有利于计算机视觉中的许多问题,例如深度和场景的光流估计[30,28,23],显着性检测[14],超分辨率[3]和材料识别[29]。光场可以从多个线索(如极线,散焦和对应)生成深度图[30,24,28]。与传统的基于多视角的立体匹配方法相比,基于光在这项工作中,由王等人开发的算法。[28]用于生成LFSP分割的深度图。对于光场分割,只有少数方法被提出,特别是其中大 多 数 是 交 互 式 的 。 Wanner 等 人 [32]GCMLA(globally consistent multi-label assignment)用于光场分割,其中输入种子的颜色和视差线索用于训练随机森林,该森林用于预测每个像素的标签。然而,该方法只能分割光场的中心视图。Mihara等人[19]通过在4D空间中构建图来改进GCMLA。定义了光场中的Hog等人[10]通过定义自由光线和光线束,充分利用了光线空间中的光场冗余。构造了一个简化的基于图的光场,大大降低了计算复杂度。Xu等[34]自动分割4D通过定义光场的LF线性度和遮挡检测器,提出了一种与颜色和纹理无关的透明物体分割算法。与以前的分割相比,我们的工作集中在一个更小的单元上2.2. 超像素分割二维图像的超像素分割已经被研究了很多年,并提出了许多优秀的算法Shi等人[22]将图像视为使用轮廓和纹理线索的2D图形他们提出了标准化切割来全局优化成本函数。Felzenszwalb等人[8]使用有效图切割方法改进了规范化切割的效率。Liu等[16]在聚类目标函数中引入熵率项和平衡项,以保持锯齿状的目标边界。Achanta等人[1]采用k-均值聚类算法迭代寻找聚类中心。Li等[15]将透射颜色和位置特征映射到更高的光谱空间以产生更紧凑和均匀的超像素。所有这些工作都是建立在传统的二维图像上,不适合4D LFSP分割。虽然4D光场可以被视为一系列2D图像,并且每个图像都可以使用这些算法进行分割,但忽略这些图像之间的连接不仅会切断分割一致性,还会增加运行时间(图7(d))。与以往的独立分割算法不同,本文将4D光场作为一个整体来处理,利用光场的角相干性提高了LFSP的分割精度和运行时间。3. LFSP定义和评价指标在本节中,我们首先介绍了光场超像素(LFSP)的定义。分析了LFSP与传统二维超像素的区别和特点。最后,我们提出了LFSP的评价指标3.1. LFSP定义超像素算法对2D图像中对象的邻近性、相似性和连续性进行建模。我们将超像素中的点从2D图像射线追踪到3D空间(参见图2(a))。在传播中,每个点传播成多个光线并到达现实世界中的对象LFSP包含这里的所有光线。上述逆传播只能模拟全聚焦和无遮挡的情况,而以下两个条件实际上很难实现。首先,当相机聚焦在不同的深度时(图2(b)),传感器上存在散焦模糊,并且原始清晰的边界模糊。 由于边界像素都受到来自不同物体的射线的影响,因此需要对其进行分割。其次,对于遮挡点(图2(c)),当相机聚焦在背景上时,从背景点发出的一部分光线被遮挡物遮挡,因此成像传感器上的会聚点是这些光线的混合物-一部分来自背景,一部分来自遮挡物,这使得分割像素变得困难。光场相机记录下6386XpXp遮挡视图p2P1p1P2p1'p1p3p2'p2物体2p2p2p1P1P1P2传感器主透镜对象传感器主透镜对象物1传感器主透镜封堵器背景(a) 正常情况(b) 散焦情况(c) 闭塞病例图2.(a)从P1、P2发射到p1、p2的所有射线都包含在LFSP中(b)从P1、P2发出的光线会聚到p1、p2,分别形成以p′、p′为中心的两个散焦区P3受到P1和P2发射的射线的影响。(c)之间存在封堵器12背景和主透镜,以及从绿点P1发射的部分光线被模糊遮挡器遮挡。在分割这些混合点时存在歧义。u u限制性案例上述定义描述了一般的4D LFSP,并且可以通过采取适当的限制将其简化为2D空间或角度情况。 首先,考虑到角的大小,mensions(u,v)→(u,v),4D LFSP简化为2D(a) 散焦情况(b) 闭塞病例∗∗超像素分割在视图中(u,v)。图3.顶行示出了在光场的EPI中分别在散焦和遮挡情况下的光线强度分布底部行示出了传统2D图像中的对应像素强度分布。从真实世界发出的所有光线,使得散焦和遮挡情况可以使用LFSP在光线空间中很好地分割。在上述分析的基础上,我们给出了LFSP的定义如下。定义1.LFSP是一个光线集,包含然后,如果空间维度(x,y)固定,则4DLFSP简化为角度分割。 当光场被重新聚焦到相应的深度,该分割是确定遮挡的参考(见图4)。如果sR(u,v,x∈,y∈)中的所有点共享同一标签,则存在这里没有遮挡,并且所有视图都可以用于改进深度估计。 如果sR(u,v,x∈,y∈)被分割为两个或多个区域,视图与中心视图是未遮挡视图,而其它视图是遮挡视图。这与[28]中提出的光场遮挡理论相一致Z从3D空间中的邻近、相似和连续表面发射的所有光线。在数学上,假设R是一个近似的,相似的,X(u0,v0,0)yu封堵器YXp无遮挡视图角度在3D空间中的连续表面,并且记录的光场为L(u,v,x,y),LFSPsR(u,v,x,y)被定义为,微透镜阵列v主透镜(一)背景分割(b)第(1)款sR(u,v,x,y)=|R|L(uPi,vPi,xPi,yPi),(1)图4.固定空间维度时的极限情况。p是遮挡边界点。 (a)光场被重新聚焦,i=1其中L(uPi,vPi,xPi,yPi)是从表面R的第i个点Pi记录的光场。|表示集合中元素的数量。|denotes thenumber of elements in the set.不确定性消除LFSP从根本上消除了散焦和遮挡模糊。在图3中,由于所有光线都累积在同一点上,因此传统2D图像(最下面一行)中的对象边界是模糊的。然而,由于所有光线都记录在光场中,因此物体边界明显位于光线空间中,并且可以很好地分析(顶行)。背景,并且只有少数视图捕获P。绿色光线属于背景LFSP,蓝色光线属于另一个LFSP。(b)通过固定p的空间维度进行角度分割。可以看出,蓝色和绿色区域分别是被遮挡和未被遮挡的视图3.2. 评估指标根据LFSP的定义,注意到LFSP中的每条射线应该是重聚焦不变的,即每条射线的标签在重聚焦操作期间应该是不可改变的,因为3D空间中的点是不可改变的,并且光线在3D空间中是不可改变的。6387ys1,v0y我H 1su0,v0y我1su1,v0我01H1XXXu1u0u1我我我我u0,v0¨我0我0TEc(p,su,v其中K是LFSP的数量。根据定义,LFSP自相似性以像素为单位进行测量,低SS值意味着高重聚焦。v0不变性。除此之外,由于差距随着LFSP自相似性可以衡量u重聚焦不变性的LFSP分割准确。4. 重聚焦不变LFSP算法图5.这是自相似性的一个例证视图(u-1,v0)、(u0,v0)和(u1,v0)中的第i个LFSP的2D切片被标记为蓝色红色绿色 则su−1,v0和su1,v0是亲-重新聚焦的本质是剪切每个视图中的像素[24]。为了使LFSP重聚焦不变,视差i i应该在位置距离测量中被移除。投影到中心视图,μ−1,μ1是投影中心。μ0是su0,v0的中心。场不变。超像素分割的现有评估度量集中在边界粘附性上,诸如欠分割误差(UE)、边界召回(BR)和可实现的分割准确度(ASA)[16]。没有适当的度量的重聚焦不变性。为了衡量重聚焦不变性,我们提出了LFSP自相似性。第i个LFSPSSi的自相似性定义为,由于完整4D光场的视差图难以估计,因此在所提出的算法中,使用[28]获得光场中心视图(u0,v0)的2D视差图du0,v0为了将视差从(u0,v0)传播到其他视图,LFSP被建模为视差空间中的倾斜平面假设π i=(A i,B i,C i)为第i个LFSP s i分配一个平面函数,则每个像素p =(u,v,x,y)∈ s i的视差可以使用下式计算:d∈(p,π)=Aix+Biy +Ci.(五)i1+A(u−u)+B(v−v)1Σ¨详细的证据可以在[6]中找到。¨ ¨SSi=<$μH(su,v,d,u,v,u0,v0)−μsu0,v0<$,(2)然后,4D LFSP分割的能量函数为Nuv−1我u,vI2定义如下,其中Nuv是光场的角度采样数su,v是视图(u,v)中第i个LFSP的2D切片,并且E(s,π,o)ΣΣΣ=Ec(p,su,v)+λpEp(p,su,v)Σ+λdEd(p,πs(p))(u0,v0)是光场的中心视图μs表示超像素s和H(su,v,d,u,v,u,v)的位置中心u,v p Σs(p)s(p)pΣ我0 0投影2D超像素su,v从视图(u,v)到+λsEs(πi,πj,oi,j)+λbEb(s(p),s(q)),(u0,v0),根据地面实况视差图d。为每个像素p=(u,v,x,y)T∈su,v,投影坐标(i,j)∈Nseg(p,q)∈N80(六)我natep=(u0,v0,x,y)定义为(在齐次坐标中)其中,s是全4D光场中的分割,是视图(u,v)中4D LFSP的2D切片。s(p)表示s分配给像素p的标签。 o记录连接⎛⎞⎛u0v0⎞ ⎛ ⎞u0uv0v两个相邻LFSP之间的类型。在等式中(6)术语E、E和E测量颜色,⎜⎟⎜′⎟ ⎜ ⎟c p d阿克斯 =u0d(p)x(三)⎜⎟⎜阿吉耶 ⎝⎟ ⎜ ⎟v0d(p)位置和像素p和像素p超像素中心分别。术语E测量1 1 1联系我们H(su,v,d,u,v,u0,v0)我们也对上述定义给出了直观的解释。 对于具有1×3角分辨率的光场(图5),因此,投影第i个LFSP的切片su-1,v0和su1,v0S视差空间中的两个LFSP之间的连通性最后但最重要的是,项Eb测量2D切片形状和每个2D切片超像素su,v之间的连接性,这是使LFSP重聚焦不变的核心思想。i i颜色、位置和视差能量项被去-根据地面实况差异调整到中心视图。投影su−1,v0和su1,v0的新中心是de-其结果如下。i iu,v¨ ¨2分别记为μ−1和μ1,s的中心为i0 0是μ0。 平均值为<$μ1−μ0<$和μ−1−μ0是¨s(p))=<$L(p)−cs¨¨u,vs(p)22 2¨u,v第i个LFSP的自相似性。对于4D光场中的完整分割,LFSPEp(p,ss(p))=<$p−μsu,v<$s(p)2¨ ¨(七)200000000d(p)0100−d(p)016388)的情况下,自相似性SS被定义为所有SSi的平均值,Ed(p,π¨s(p))=<$d (p)−d(p,π¨2s(p)<$1ΣK2其中csu,v和μsu,v表示颜色中心和位置中心SS=SSi,(4)iu,viKi=1的2D切片si分别。L(p)表示6389一⎪0MΣ像素p(此处使用CIE-Lab颜色空间视差uu2P P P术语仅适用于中央视图图像。平滑度项促使相邻LFSP(N段)的倾斜平面相似。与[35]中的用法一样,它包含三种类型的LFSP边界,即,咬合、铰链和共面,定义为,u1u0u1u22 3 4p1p5p7p6Xx01x0的x01Es(π i,π j,o i,j)⎧i,j=occ1ˆ ˆ2(八)图6.光场中相邻系统的图解在对于像素p =(u0,x0),该EPI表达式(红线是核线),p1,p5是空间相邻像素,p3,p7是角度相邻像素,p2,p4,p6,p8是混合相邻像素。=| Bi,j|<$p∈Bi,j(d(p,πi)−d(p,πj))oi,j=hi⎪⎩1|sisj|p∈si<$sj(d(p,πi)−d(p,πj))2oi,j=co,审查 的 充分 能源 功能,重新聚焦-其中Bi,j是si和sj之间的边界像素的集合。边界项中有两个主要的函数,对应于两种不同类型的相邻系统,光场,即,空间和角度。此外,这两种类型的相邻系统被混合以控制4D LFSP的完整形状对于4D点p=(u,v,x,y),光场,假设其视差为d(p),则有8个像素分别在其空间和角度相邻系统⎧(u,v,x±1, y+1)(u,v,x±1,y− 1)Nspa(p)=n(u,v,x,y±1)⎩(u,v,x±1,y)保证了不变性,因为(1)仅使用局部2D图像信息(Ec,Ep,Ed)独立地分割不同视图中的LFSP的2D切片;以及(2)边界项中的角度惩罚(Epen)促使相似切片根据视差连接在一起初始深度估计总是遵循光场重聚焦的步骤基于这些设计,所提出的LFSP算法是重聚焦不变的。块 坐 标 下 降 ( BCD ) 算 法 [35]用 于 求 解 方 程 。(六)、完整的LFSP算法在Algo.1中描述。首先,使用[28]获得2D深度图du0,v0。然后对4D光(u±1, v+1, x±d(u±1, v −1, x ±d<$(p),y −d<$(p))(九)场得到。最后,通过以下方式优化最终结果:最小化Eqn.(六)、由于BCD算法只能保证收敛到局部最优,因此,Nang(p)=。u,vn(u±1,v,x±d(p),y)需要帮助首先,初始超像素分割s00个⎩ˆ(u,v±1,x,y±d(p))除了Nspa和Nang,还有一个混合的neigh-通过嵌入视差图来获得中心视图du0,v0的方法引入SLIC框架。然后是位置和位置-每个超像素μsu0,v0和d'u0,v0的奇偶中心被计算。钻孔系统N混合包含64个空间和计算并用于投影sui,vSI0 到4D光场,角域同时(见补充材料,里亚尔[6])。图6给出了这些相邻系统的图示。在p的相邻系统中总共有80个点(N80)透射电镜边界项定义为,⎧0s(p)=s(q)等式(3)(第3-9行)。对于其他视图中的每个非标签像素5. 实验结果我们将所提出的LFSP分割与最先进的超像素分割算法进行了比较,包括:Eb(s(p),s(q))=⎪⎨E⎪⎪笔s笔as(p)/=s(q),Npqs(p)/=s(q),Npq是空间是角[15]《礼记·乐记·乐记·乐记·乐记》 请注意,SLIC的结果来自vlfeat [25]库,代码⎩ E笔Ms(p)s(q),Npq混合,(十)来自作者三个算法-在合成数据和真实场景上对算法进行了评价其中惩罚E笔鼓励2D切片su,sv在空间相邻系统中,光场。对于合成数据,使用HCI基准光场数据集[31],其由4个光场组成,s(p)边界罚E笔在角相邻地面实况深度和分割。每个数据包括系统鼓励LFSP的2D切片在对极平面中是连接LFSP的各个二维空间切片是LFSP的核心由于视差在这里被移除,因此该项使得LFSP是重聚焦不变的。混合系统中的第三个惩罚Epen鼓励LFSP在其他视图中的空间2D切片是规则的。9×9(角分辨率)光场。真实场景数据由消费者光场相机Lytro捕获的4D光场数据是使用LFRST [7]提取的。定量评价包括UE、BR、ASA [16]、运行时间和LFSP自相似性。所有评估都是在合成数据上进行的,因为真实视差和分p8⎪⎪E一6390割在真实场景数据中不可用,并且6391百分之九十五百分之九十百分之八十五百分之八十百分之七十五百分之七十百分之六十五百分之六十百分之五十五百分之五十百分之十二百分之十一百分之十百分之九百分之八占7%占6%百分之五百分之四百分之三99.6%百分之九十九点四99.2%百分之九十九百分之九十八点八百分之九十八点六百分之九十八点四98.2%百分之九十八160150140130120110100908070百分之四十五1012141618202224262830超像素尺寸(a) BR百分之二1012141618202224262830超像素尺寸(b) UE百分之九十七点八10121416182022242628 30超像素尺寸(c) ASA6010121416182022242628 30超像素尺寸(d) 时间图7.不同超像素分割算法的定量评价输入:4D光场L(u,v,x,y)输出:4D LFSP分割。1du0,v0=深度估计(L)2su0,v0=SLIC(L(u0,v0,x,y),du0,v0)4μu0,v0=13,i = 1至|s u0,v0|多瓦SId¯||Su,v0 0u0,v0p我Σp∈si5su0,v0=1du0,v0(p)我| 我|isu0,v0p∈su0,v06对于每个视图(u,v)做7端89端部s=H(s,du,vu,v0 0我我是我¯ u,v00 ,u,v,u,v)00每个视图(u,v)为1011对于非标记像素pd01213端部14的端s(p)= argmin <$p−q<$,q∈su,vs(q)215E(s,π,o)=ΣΣΣu,vp(Ec+λp Ep)+λd pEd+λs Es+λbEb16s= arg minsE(s,π,o)算法一:LFSP分割算法。在真实场景数据中没有像经典Berkeley分割数据库那样的光场分割基准[18]。除非另有说明,否则为所有的实验,即,λ p=100,λ d=5,λ s=0。01,λb=5,E笔s=E笔m=1,E笔a=8。 λp平衡位置和颜色距离之间的权重其进一步除以超像素尺寸。较大的λp导致形状更好的超像素。λd衡量初始差异的作用。由于最先进的深度算法[30,24,28]总是过度平滑遮挡边界,因此不建议为λd分配较大的值。λs控制倾斜平面函数,主要由初始视差图决定。由于同样的过平滑原因,建议分配一个小的值来调整平面函数更稳定。对于边界项,我们认为角度一致性比空间一致性更重要,因为同一EPI线中的像素描述相同点而不是不同点,并且(E笔a)应该被指定为一个大值。对于其他人(E笔s,E笔m),小值被分配,试图加强直边界。λb平衡了边界粘附性和形状。随着λb的增大,界面粘附性降低。5.1. 合成场景图7示出了量化结果,其是HCI分割数据集中的平均可以看出,所提出的LFSP算法(图7中的红线)在所有三个传统度量中显示了与最先进算法(图7中的绿线和蓝线定性结果如图10所示(更多结果见[6]),由此可以看出,LFSP分割可以在遮挡边界区域产生更规则的超像素。图7(d)显示了不同算法的运行时间。请注意,所有算法都是在同一台台式计算机上评估的,CPU为3.4GHz i7。每个光场视图包含589824个像素(768×768或576×1024)。SLIC和LSC的时间是算法控制的总和光场的每个视图图像上的管道可以看出,随着超像素尺寸的增加,我们的未优化Matlab/C实现比以前的工作显示出很大的优势,因为在所提出的LFSP算法中,光场被视为一个整体而不是多个独立的图像,并且BCD算法只是迭代优化LFSP分割中的边界像素。此外,为了评估所提出的算法中初始值(没有BCD优化的LFSP分割)的影响,初始分割的BR、UE、ASA也绘制在图7中(黑线),示出了所提出的优化函数的有效性。在图10的第四列中,部分地示出了4D空间中的分割结果。对于每个局部区域,第一行显示初始结果,第二行显示优化结果。实验结果表明,LFSP算法能较好地修正初始值误差,并能较好地保持遮挡边界由于包含了2D视差图,为了评估其在LFSPSLIC初始LFSP纯深度LFSPSLIC初始LFSP纯深度LFSPSLIC初始LFSP纯深度边界回忆LFSPSLIC分割错误分割精度可调时间(秒)6392α因此,我们首先使用视差图(图7(a),7(b),7(c)中的青色线)分割光场的中心视图所提出的LFSP算法优于仅使用视差图的结果,因为遮挡边界中的视差由于角度空间中的欠采样而难以估计[33],并且现有算法倾向于过度平滑遮挡边界[5,28]。因此,不同质量的视差图对LFSP的影响是值得的(a) 相似和非朗伯区域(b) 非朗伯天体在今后的工作中进行研究。除了这些传统的评价指标(BR,UE,ASA),我们还使用LFSP自相似性来评价LFSP。由于之前没有关于光场超像素分割的工作,因此比较它与传统的2D超像素分割。我们对光场重新聚焦4次(重新聚焦级别1-1为0,0。五一一(5)分割。然后在图8中绘制每个分割上的LFSP自相似性。可以看出实验结果表明,LFSP算法具有较好的重聚焦不变性,曲线始终保持在较低的水平,且所有值此外,曲线彼此非常接近,这意味着算法的稳定性。0.90.850.80.750.70.650.60.550.50.451012141618202224262830超像素尺寸图8.在不同的重聚焦水平LFSP算法的LFSP自相似性评价。5.2. 真实场景图1,11显示了由Lytro相机捕获的真实场景光场的实验结果(此处超像素大小设置为20)。由于Lytro相机的低信噪比,SLIC和LSC不能从中心视图的单个图像产生可靠的结果。由于角邻域系统的引入,LFSP算法可以得到更令人信服的结果。可以看出,LFSP的2D空间切片比SLIC和LSC更规则,并且具有更好的边界粘附性除此之外,EPI空间中的遮挡边界也得到了很好的保留。分割边界能够始终紧贴遮挡边界或与EPI线保持同一方向,表明LFSP算法具有良好的LFSP自相似性。在图12中,在图9.局限性。 鞋面镶嵌了蓝/红的矩形,中间插入分割,底部显示地面实况标签。(a)在蓝色矩形中,有两匹马,但由于纹理相似,很难区分它们。在红色矩形中,由于相互反射,螺钉的边界很难(b)部分金属管反射背景,显示出与背景相似的纹理.很难将这个区域与其他区域联系起来。不同的再聚焦水平(-0. 五,零,零。(5)证明。此外,对于不同的重聚焦水平,遮挡边界总是可以很好地保留。5.3. 限制该算法不能处理背景和前景共享相似纹理或非朗伯对象的情况(见图9)。如果背景和前地共享相似的纹理,则很难使用现有线索很好地分割如果物体不满足朗伯假设,则颜色或深度线索不可靠,从而不能很好地分割这些物体的边界这两个困难在传统算法中也没有很好地解决6. 结论和未来工作本文首先提出了光场超像素的定义。LFSP在4D空间中定义,并且可以基本上消除传统2D超像素中的散焦和遮挡模糊。在此基础上,提出了一种重聚焦不变的LFSP图像分割算法.通过将2D视差图嵌入到超像素分割和4D光场中具有80个(空间,角度和混合)邻居的团系统中,所提出的算法在传统评估指标中优于在未来,我们将评估不同质量的视差图对LFSP分割的影响,并在更多的chal,challening非朗伯表面上探索LFSP。确认我们感谢吕贤强先生对实景光场采集的帮助,以及匿名评论者的宝贵意见。差距0差距+0.5差距+1差距+1.5LFSP自相似性(像素)6393图10.分割结果基于合成光场数据Buddha和Papillon(超像素大小为20)。第一列显示输入光场的中心视图。第二至第四列显示SLIC、LSC和拟议LFSP的结果。对于我们结果中的每个区域,第一行显示EPI空间中的初始分割,第二行显示优化的分割结果。图11.分割结果基于真实光场数据(超像素大小为20)。第一列显示输入光场的中心视图。第二至第四列显示SLIC、LSC和拟议LFSP的结果对于我们的结果中的每个区域,第一行和第二行分别显示了水平和垂直EPI中的分割。图12.在不同的重聚焦水平下的分割结果第一列显示输入光场的中心视图 第二至第四列显示不同再聚焦水平下的结果(−0.五,零,零。(五)。6394引用[1] R. Achanta、A.Shaji,K.史密斯,A.Lucchi,P.Fua,和S. 很好切片超像素与最先进的超像素方法的比较IEEETransactionsonPatternAnalysisandMachineIntelligence,34(11):2274[2] L. Baraldi,F.帕西湾塞拉湖Benini和R.库奇亚拉在以自我为中心的视频中使用密集的trajec-tories和手部分割的手势识别在CVPR研讨会,第688-693页[3] T. E. Bishop和P.法瓦罗光场相机:扩展景深、混叠和超分 辨 率 。 IEEE Transactions on Pattern Analysis andMachine Intelligence,34(5):972[4] J. Chang,D. Wei和J. W.费雪。使用时间超像素的视频表示在CVPR,第2051[5] C. Chen,H.林,Z. Yu,S. Bing Kang和J. Yu. 使用表面相机的双边统计的光场立体匹配。在CVPR,第1518-1525页[6] CVPG 。 计 算 机 视 觉 与 计 算 摄 影 组 。http://www.npu-cvpg.org/publication。[7] D. G.丹瑟罗岛Pizarro和S. B.威廉姆斯基于微透镜的全光相机的解码、校准和校正。在CVPR,第1027-1034页[8] P. F. Felzenszwalb和D. P. Huttenlocher。有效的基于图的图像分割. International Journal of Computer Vision,59(2):167[9] 格式塔完形原则。http://facweb.cs。depaul.edu/sgrais/gestalt_principles。htm.[10] M. Hog,N. Sabater,和C.海鸠使用基于光线的图形结构的光场分割。见ECCV,第35-50页。施普林格,2016年。[11] A. Jarabo, B. 玛西娅 A. 布索, F. Pellacini,以及D.古铁雷斯人们如何编辑光场?ACM Trans-actions onGraphics,33(4):146[12] A. Levinshtein,A. Stere,K. N. Kutulakos,D. J. Fleet,S. J. Dickinson和K.西迪奇Turbopixels:快速超像素使用几何 图形。 IEEE Transactions on Pattern Analysis andMachine Intelligence,31(12):2290[13] M. Levoy和P.汉拉汉光场渲染。在SIG- GRAPH中,第31-42页。ACM,1996年。[14] N. Li,J. Ye,Y.吉,H. Ling和J. Yu.光场显著性检测在CVPR中,第2806-2813页。IEEE,2014。[15] Z. Li和J. Chen。基于线性谱聚类的超像元分割。见CVPR,第1356IEEE,2015年。[16] M. Y. Liu,O. Tuzel,S. Ramalingam和R.切拉帕熵率超像素分割。见CVPR,第2097- 2104页。IEEE,2011年。[17] Lytro Lytro用光场相机重新定义了摄影http://www.lytro.com,2011年。[18] D.马丁角,澳-地Fowlkes,D. Tal和J.马利克 人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。在ICCV,第2卷,第416-423页中。IEEE,2001年。[19] H. Mihara , T.Funatomi , K. 田 中 , H.Kubo ,Y.Mukaigawa和H.长原4D光场分割,具有空间和角度分辨率。在ICCP,第1-8页[20] 雷特里克斯∞射线。http://www.raytrix.de,2012年。[21] X. Ren 和 J. Malik 学 习 用 于 分 割 的 分 类 模 型 。 载 于ICCV,第10-17页。IEEE,2003年。[22] Shi 和 J. 马 利 克 标 准 化 切 割 和 图 像 分 割 。 IEEETransactionsonPatternAnalysisandMachineIntelligence,22(8):888[23] P. P. Srinivasan , M. W. 陶 河 , 巴 西 - 地 Ng 和 R.Ramamoorthi用于场景显示的定向光场窗口。在ICCV,第3496-3504页[24] M. W. Tao,S. Hadap,J. Malik,and R. Ramamoorthi 使用光场相机结合散焦和对应的深度。在ICCV,第673-680页[25] A. Vedaldi和B.富尔克森Vlfeat:一个开放的、可移植的计算机视觉算法库。ACM Multimedia,第1469-1472页。ACM,2010年。[26] A. Vedaldi和S.索阿托模式搜索的快速移位和核方法见ECCV,第705-718页。Springer,2008.[27] O. Veksler,Y.Boykov,和P.梅赫拉尼能量优化框架中的超像素和见ECCV,第211-224页。施普林格,2010年。[28] T. C. Wang,中国山核桃A. A. Efros和R. Ramamoorthi使用 光 场 相 机 进 行 遮 挡 建 模 的 深 度 估 计 。 IEEETransactionsonPatternAnalysisandMachineIntelligence,第2170-2181页[29] T.- C.王建- Y. Zhu,E. Hiroaki,M. Chandraker,A. A.Efros和R. Ramamoorthi用于材料识别的4D光场数据集和在《欧洲共同体刑法典》第121- 129138.施普林格,2016年。[30] S. Wanner和B.戈德卢克用于视差估计和超分辨率的变分光场分析。IEEE Transactions on Pattern Analysis andMachine Intelligence,36(3):606[31] S. Wanner,S. Meister和B.戈德卢克密集采样4d光场的数据集和基准。在VMV中,第225-226页。Citeseer,2013.[32] S.万纳角Straehle,and B.戈德卢克在4D光场的光线空间上进行全局一致的多标签分配。在CVPR中,第1011-1018页[33] Z. 肖,加-地Wang,G.Zhou和J.Yu. 全光成像中的混叠检测和减少在CVPR,第3326[34] Y. Xu,H.Nagahara、A.岛田和R.I. 谷口透明物体分割:从光场图像中分割出透明物体.在ICCV,第3442-3450页。IEEE,2015年。[35] K. Yamaguchi、D.McAllester,和R.乌塔松有效的关节分割、遮挡标记、立体声和光流估计。见ECCV,第756-771页。Springer,2014.[36] J.Yang和H.李使用分段参数模型进行密集、准确的光流估计。在CVPR中,第1019- 1027页
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功