4D光场超像素分割中视点一致性的实现方法发现及评估

1视点一致的4D光场超像素分割努米尔汗·钱·张卢卡斯·卡瑟·亨利·斯通·闵。布朗大学JamesTompkinBrownUniversity摘要许多4D光场处理方法和应用依赖于超像素分割，其中遮挡感知视图一致性是重要的。然而，现有的方法通常通过仅从中心视图传播聚类来实施一致性，这可能导致非中心视图的不一致超像素。我们所提出的方法结合了水平和垂直核平面图像（EPI）空间中的遮挡感知角度分割，并在所有视图中进行聚类和传播。 定性视频演示表明，与最先进的光场超像素方法（LFSP [25]）相比，这有助于消除闪烁和不一致的边界形状，定量指标反映了这些发现，具有更大的自相似性和每个视图相关像素的标签数量更少。1. 介绍超像素分割试图将2D图像简化为小区域以减少未来的计算，用于交互式对象选择中的后续图形推理期望的超像素质量在应用之间变化[18]，但通常我们希望它们是准确的，即，粘附到图像边缘;否则形状紧凑，并且计算效率高（参见Stutz et al. [17]评论。光 场 表 示 场 景 上 小 视 图 变 化 ， 9×92D 图 像 视 图（“4D”）的阵列由于像素数量的增加，处理光场在计算上更难，但是这些像素中的许多像素是相似的，因为视图改变是小了因此，我们可以将光场图像简化为超像素。这为我们的光场超像素引入了一个新的理想属性：我们希望它们是视图一致的，例如，它们不会随着视图改变而漂移、游动或闪烁，并且我们希望超像素包括跨视图的所有类似像素，使得它们考虑遮挡。 这对于将使用每个光场视图的应用尤其重要，例如编辑光场照片以输出到光场显示器。要达到准确性、完整性、效率和视图一致性这四个属性是很困难的。现有的方法通过中心视图视差图将超像素标签传播到其他视图中。然而，这可能导致中心视图中被遮挡的区域的不一致性，最近的光场超像素（LFSP）方法[25]并不总是保持视图一致性。图1：中央视图的光场超像素比较左上：输入场景。右上方：我们的方法。左下角：（x，y，d，L，a，b）上的k均值，视差图由Wang等人计算。[20、21]。右下角LFSP [25]，使用Wang etal. 视差图 请参阅我们的补充材料，通过所有光场视图动画高品质的视频结果。我们可以尝试估计每个视图的视差图，但这对于偏离中心视图中的小遮挡区域可能是困难的我们提出了一种用于4D光场上的精确和视图一致的超像素分割的方法，该方法隐式地计算每个视图的视差并显式地处理遮挡（图13）。2）的情况。首先，我们鲁棒地分割4D光场的水平和垂直对极平面图像（EPI）。这通过显式线估计、深度排序和二分图匹配以遮挡感知的方式提供视图一致性然后，我们通过视图一致性聚类步骤将水平和垂直EPI中的角度分割相定性结果（Fig. 1）表明，与最先进的LFSP方法[25]相比，这减少了不一致边界形状的闪烁，定量指标反映了这些发现，并提高了视图一致性得分。代码：https://github.com/brownvc/lightfieldsuperpixels。78117812图2：我们的算法概述步骤1：我们在从4D光场的中心水平和垂直视图提取的EPI中找到线步骤2：然后，我们使用遮挡感知二分修补将这些线配对到具有显式深度排序的区域第3步：我们将这些片段进行聚类，并将标签传播到视图一致的超像素分割中。2. 相关工作光场深度估计Tos Zeroic '和Berkner [19]使用射线高斯滤波器的定向尺度空间来计算深度;我们采取相关的滤波方法。鉴于这一想法，Wanget al. [20，21]提出了一种考虑遮挡的照片一致性度量。该方法计算在遮挡边缘处具有尖锐过渡的深度图，但仅产生中心光场视图的深度Chuchwara等人 [5]提出了一种快速准确的深度估计方法，用于宽基线相机阵列捕获的光场，并显示了用于更高级别视觉任务的过分割。他们的方法依赖于每个视图的超像素分割。Huang等人.[9]为多视图深度重建问题提供了一种基于学习的解决方案。这适用于任意数量的非结构化相机视图，并产生单个参考视图的视差图。类似地，Jiang等人 [10]学习融合密集和稀疏光场的个体立体视差估计。最后，Chenet al. 使用中心视图2D超像素来正则化光场深度估计，以获得准确的遮挡边界[4]。光场分割一个应用程序需要用户提供标记要分割的对象的标签注释Wanner等人[23]使用马尔可夫随机场（MRF）为光场的中心视图分配每像素标签 Mihara等人 [13]通过使用基于MRF的图切割算法进行分割来扩展Wanner的工作，该算法为光场的所有视图产生标签。Hog等人的工作[6]通过根据深度捆绑射线来改进朴素MRF图切割的运行时间。Campbell等 [2]提出了一种无需用户输入的多视点图像前景-背景自动分割方法。这使用基于颜色的外观模型和轮廓相干性;因此，他们的方法对于对象轮廓变化较大的较大基线更有效。 所有这些方法都试图计算对象级别的标签;然而，我们希望自动生成超像素分割作为其他任务的预处理。光场超像素分割给定用于超像素分割的熟悉的2D简单线性迭代聚类算法（SLIC）[1]，Hoget al.[12]提出了一种针对光场的方法，该方法专注于速度，在HCI数据集上在CPU上计算80秒，在GPU上计算4秒 [22]。然后，作者将这项工作扩展到处理视频处理[7]。然而，由于他们专注于快速处理，结果并不一致。给定中心视图的视差图，Zhu等人。[25]在变分框架中提出了过分割问题，并使用块坐标下降算法有效地解决了这个问题。虽然他们的方法生成紧凑的超像素，但这些超像素有时会随着视图中形状的变化而闪烁（图1）。①的人。我们的方法具体执行视图一致性，这是许多光场应用程序所期望的3. 视点一致的超像素分割给定4D光场LF（x，y，u，v），我们定义视图的中心水平行H= LF（x，y，u，vc）和视图的中心垂直列V= LF（x，y，uc，v）。每个视图I ∈H包含一组EPIEi（x，u）=I（x，yi，u），对应的I∈V包含gEj（y，v）=I（xj，y，v）.利用朗伯反射率假设，3D场景点对应于EPI中的直线l，其中点的深度通过扩展，具有相似深度和视觉外观的相邻3D表面点的区域在每个EPI中由R的边界上的两条线（l1，l2）的集合L拓扑地界定。 一个或在任何特定的Ei中，l1和l2都可以被遮挡。我们目标是以准确、遮挡感知和空间角度一致的方式并且尽可能高效地识别所有EPI上的所有可见区域{R}的边界L ={（l 1，l 2）}。概述我们的算法有三个主要步骤（图。2）的情况。第1步：线路检测（第3.1）：提供视图一致性并且遮挡感知分割关键地依赖于精确的边缘线检测（即，边缘处的视差估计 因此，我们首先创建光场的两个切片作为EPI，一个用于中心水平方向，一个用于中心垂直方向。然后，我们鲁棒地拟合线，具体目标是稍后处理遮挡情况。第2步：遮挡感知EPI分割（第3.2）：接下来，我们必须推理检测到的线的场景顺序，以将它们配对成片段。这是通过二分图匹配过程解决的，这允许我们严格执行遮挡感知。它在水平和垂直维度上产生每个EPI视图一致的区域，这些区域必须在空间上合并步骤3：通过聚类进行空间-角度分割（第3.3）：最后，我们通过分段聚类将EPI区域合并为一致的分割，该分割使用我们估计的视差来正则化该过程。剩余的未标记的偏离中心方向被遮挡的像素通过一个简单的传播步骤进行标记7813算法1：EPI边缘检测FindEdgesEPI（E，F）输入：E：Aw×h EPIF：一组60个2h×2h方向滤波器。输出：具有置信度C的边缘斜率图Z。对于每个fi∈Fdori←Efi;端对于每个像素位置（u，v）∈IdoZ（u，v）←argmaxri（u，v）;我C（u，v）←maxri（u，v）;我对于邻域，V（u，v）←StdDev（I（N（u，v）N（u，v）围绕（u，v）;端端C←NonMaxSuppress（C）;返回Z，C图3：我们的方法可以检测边缘交点更准确地比Canny或指南针方法。 这些交点提供了有价值的遮挡信息。3.1. 线检测对于鲁棒的遮挡处理，我们必须准确地检测EPI中的线的交叉点（图1）。（3）第三章。然而，像Canny [3]和Compass [15]这样的经典边缘检测器通常在线交叉点处生成弯曲或噪声响应，这使得后续的线拟合和遮挡定位变得困难。相反，我们提出了一种EPI特定的方法。注意：我们描述了中心水平视图的线检测;中心垂直视图类似地遵循。EPI边缘检测我们从水平中心视图图像I∈ H中提取所有EPIEi（x，u）（大小为w×h）。 我们将它们与一组60个定向Prewitt边缘滤波器进行卷积，每个滤波器代表一个特定的视差。我们只过滤中心视图为了效率，并且稍后将在所有光场视图上传播它们的边缘。 为了检测小的遮挡线，我们使用2h×2h滤波器并卷积整个（x，u）空间。这有效地扩展了遮挡边缘响应以跨越EPI的高度由此，我们挑选每个像素具有最大响应的滤波器其是边缘处的视差图Z，并且我们将滤波器响应的值作为边缘置信度图C。然后，我们对每个EPI执行非最大抑制为了抑制均匀颜色区域中的假响应，我们通过每个像素周围的3×3窗口的标准差来在原始的EPI中 [11]。我们最终的C地图有干净的交叉点（图（3）第三章。算法1总结了我们的方法。为了创建参数线集L，我们形成线li来自C中的每个像素，以置信度顺序，其中线斜率来自Z. 当我们添加线时，丢弃C中位于线11的λ像素垂直距离内的任何像素。 λ决定了我们的算法可以检测到的最小特征尺寸。 在所有的实验中，我们设定λ = 0。2小时我们继续，直到我们考虑了C中的所有像素。为了提高效率，我们检测边缘，并形成线集在每个EPI的并行计算我们希望利用来自整个空间-角度光场的信息。因此，我们推迟离群值拒绝，直到我们在每个水平视图中发现每个EPI的L之后，然后将所有发现的线投影到中心视图中。考虑到这一点，我们希望保留（a）高置信度线和（b）具有相似空间-角度邻居的低置信度线，并拒绝由噪声引起的模糊线给定具有置信度ci和视差zi的线li∈L，我们计算p×q像素空间邻域N（li）内的线的数量，并通过置信度ci对该数量进行加权：A （ li ） ={lk∈N （ li ） |zk=zi} 。（1）然后，我们丢弃一条直线li∈ L，如果：Ci| A（li）|τ<，（2）PQ其中p和q是光场宽度和高度的1/15，τ=8×10−5。这类似于Canny必须具有大于τpq的置信度，并且弱线必须具有相同视差的τpq/ci邻居空间多尺度处理为了检测更宽的线条并提高相邻EPI之间的一致性，我们仅在空间维度上使用2倍缩放来计算多尺度金字塔上的粗到细边缘置信度。 在每个尺度上，在离群值去除过程之后，我们将检测到的线截距的x位置加倍，并沿着u重复每条线两次。 我们替换任何在一个粗略的规模接近线，更精细的尺度也就是说，只有当粗线的两个端点都在细线的λ像素内时，我们才替换粗线因此，仍然保留了在更精细尺度下未检测到的更宽的空间线有了这个，我们现在已经发现了我们光场的中心水平和垂直视图的每个EPI的线集L7814(a) 两条相交的线段表示光场中的遮挡以颜色显示的遮挡线与x轴形成较大的角度 箭头表示与发生阻塞的方向相反的方向。(b) 可以通过考虑交叉点周围的边缘图像的小区域来找到遮挡的方向。背景线可见的前景线的一侧定义了遮挡的方向。算法2：EPI线段匹配。段EPI（L）输入：L：由EPII的顶部和底部边缘界定的线段的有序列表。输出：一组M∈L×L的线耦合。建立完全二部图G=（L，L，Ef），用于匹配所有遮挡线;S←OccludingLines（L）;foreache=（li，lj）∈Efdoifli∈/Sanddlj∈/Sthenw（e）<$−∞;否则，如果lj不在li的左边，则w（e）<$−∞;否则，如果k ∈ S到li的左边，|Distance（li，k）Distance（li，lj）tenw（e）<$−∞;(c) 遮挡线只能与匹配方向上的其他线匹配。但是，它不能与位于其他遮挡线之外的任何线匹配(d) 背景线可以匹配两次：向左和向右各匹配一次。图4：说明控制线路耦合的规则其他w（e）←Distance（li，lj）;端端A←MaxBipartiteMatching（G）;U←{l ∈ L|（k ∈L <$（l，k）∈A]};V←{k ∈ L|（<$l）[l ∈ L<$（l，k）∈A]};建立完全二部图H=（L\U，L\V，E），用于匹配所有其他线路;foreache=（lj，lk）∈Edo如果lk不位于lj的左边，则w（e）<$−∞;其他w（e）←Distance（lj，lk）端3.2. 遮挡感知EPI分割给定一组线L，我们希望将线配对以定义EPI分割。一个简单的方法是匹配每一行两次：每一个都向其左右邻居发送一次。然而，如插图所示，当线相交时，端端int n= maxBipartiteMatching（H）;返回A和B在闭塞，因为它产生了一个欠约束的问题，其中段顺序不能唯一地确定。我们通过考虑边缘图像E中交叉点周围的一个小区域来解决它，这允许我们约束遮挡方向并确定正确的匹配（图2）。第4b段）。遮挡方向由背景线可见的前景线的一侧给出。前景线由两条线的相对斜率图4显示了缩小每行潜在匹配的步骤序列。 一旦我们忽略了任何违反遮挡顺序的线对，我们将线匹配问题视为完全二部图G（L，L，E）上的两步最大值二部匹配问题，并使用Dulmag-Mendelsohn分解来解决它。在第一步中，我们只匹配相交线来解决遮挡。第二步，所有其余的线匹配。我们计算直线距离为：Distance（li，lk）=（ωd|ti−tk−bi+bk|+（1−ωd）|ti+bi−tk−bk|）−1，（3）其中，将线截取到EPI图像的上下左右。 ωd是确定视差相似性相对于线的空间接近度的相对重要性的常数。最后，为了防止在均匀区域中形成大的超像素，我们通过添加新的线条递归地分割宽度大于15像素的任何片段为了使垂直和水平EPI方向上的片段规则化-特别是在无纹理区域中-新线的斜率总是设置为与覆盖该空间区域的垂直片段该过程在算法2中给出。 图5显示了第3.1节和第3.2节7815计算后的EPI结果示例。7816（一）（b）第（1）款（c）第（1）款（d）其他事项(e)(f)图5：从上到下：（a）输入EPI。（b）来自第12节的边缘置信度图C。第3.1条（c）参数线L拟合C。像我们一样3.3.1标签传播在这一点上，我们唯一未标记的像素是那些在垂直和水平方向上被中心视图集遮挡或不一致的像素。 我们注意到，1）未标记像素的集合U即使在局部邻域内也是稀疏的;并且2）在这个阶段，我们知道光场中每个标记像素的视差。 因此，我们使用颜色、空间和视差项来最小化标记剩余像素的成本。给定光场视图Iu，v中的未标记像素（x，y）∈U，令L（x，y）定义（x，y）周围的空间邻域中的标记像素的集合。 对于每个像素（p，q）∈L（x，y），设d（p，q）表示它的s标号，d（p，q）表示它的s标号y。更进一步地，lets，r（·，·）表示光场视图中任何像素（标记或未标记）的颜色伊斯河我们将分配（x，y）标签的代价定义为：不是阈值，模糊的边缘线与一些异常值一起可见E（n（p，q））=ω（I（x，y）−I（p，q））2（d）经由空间相邻统计稳健地去除离群值深度和边缘置信度权重。注：保持重叠（x，y）.C u，v2 2Σu，v线表示遮挡。（e）（f）线对在一个+ωs（x−p）+（y−q）.中国（4）遮挡感知方式来形成角段。注：本+ωd ΣΣIu，v（x，y）−Is，r（x + d（p，q），y + d（p，q））.EPI已被垂直拉伸以供查看;输入为9个视图。S R3.3. 基于聚类的空间角度分割我们根据经验对s进行加权：wc=1，ws=1，wd=1e−5。标签分配总成本为E=（x，y）∈UE（x，y）. 我们我们的每个EPI的遮挡感知分割现在必须符合因为目前我们在水平和垂直EPI段之间没有对应性（除了在前一步骤中添加的大区域分割线）。我们通过在（x，y，d，L*，a*，b*）空间中使用k-均值联合聚类光场的中心视图中的片段来解决这个问题（图13）。（六）。这种具有视差d的聚类方法似乎类似于利用中心深度图进行传播的方法，如LFSP [25]。然而，我们的方法是视图一致的：我们的EPI基于段的计算允许我们估计每个光场视图的d，包括从中心视图被遮挡的那些段。所有这些都在聚类中考虑对于每个片段，我们计算CIELAB颜色空间中的平均像素值：L，a，b。我们根据两条线段的较大（较深）斜率定义视差d对于水平EPI中的线段，y等于EPI索引，我们将x确定为中心线段线的中点风景对于垂直EPI，我们颠倒了这种关系。簇的数量是用户指定的，并确定超像素大小。我们在均匀分布的空间位置[1]上播种集群，并从图像空间中最接近的片段中心分配x，y，d，L，a，b。在特征向量内，x、y具有权重1，并且L是，a是，b是，重量3。我们根据当前的场景估计，然后乘以120 这个较大的权重有助于该方法不跨遮挡聚类，遮挡通常具有不同的差异。中心视图内的聚类允许我们对应并联合标记水平和垂直EPI段，并提供空间一致性。然而，这两个EPI分割的边界并不总是对齐的。因此，在将这些分段投影到所有光场视图中之后，我们丢弃两个分段不一致的像素的标签。7817通过最小化每个像素的E（x，y）来有效地计算这个沿着通过找到f（x，y），我们设置d（x，y）等于d（argminE（x，y）），这允许我们将新分配的标签投影到其他视图中的任何未标记像素在实践中，该策略仅需要在光场视图的中心行和列上进行最小化，其中投影后偏离中心视图中的少数剩余像素由最近邻分配标记4. 实验4.1. 设置数据集我们使用合成光场与地面真实视差图和语义分割图。从HCI光场基准数据集[22]中，我们使用了四个具有地面真实性的场景：papillon，buddha，horses和stilllife。每个光场图像都有9×9个768×768像素的视图，马除外1024×576像素对于真实场景，我们使用EPFLMMSPG光场图像数据集[26]。 这些图像是用LytroIllum相机（15×15，434×625）拍摄的。 请参阅我们的补充材料了解更多结果。基线我们比较国家的最先进的LFSP（光场超像素分割）的方法，朱等人。[25 ]第20段。该方法将中心光场视图的视差图作为输入 我们将他们的方法应用于Wang等人的差异估计。[20，21]如最初在Zhuet al.纸上和地面上的真实差异。 比较这两个结果，显示了不准确的视差估计所引入的误差。我们还计算了一个k均值聚类基线，这在精神上类似于RGBD超像素方法，如DASP [24]方法。给定中心光场视图的视差图，我们将输入图像转换到CIELAB颜色空间并形成7818从视图的中心行和列线段中心作为点标记的垂直和水平角度段图6：垂直和水平视图一致的片段在中心光场视图中聚类，以获得空间角度一致的标签。在标签传播步骤中重新计算在垂直和水平分割上不一致的像素标签对于在光场的中心方向上的每个像素，矢量r f=（x，y，d，L，a，b）。然后，从均匀分布的种子位置，我们使用期望数量的输出超像素进行聚类，并将这些标签投影到其他视图中。 对于非中心视图中未标记的任何像素，我们将最近的邻接或基d的标签分配给f=（x，y，L，a，b）。对于每个特征，我们使用与我们的方法中相同的权重参数至于LFSP，我们使用地面真实视差图和Wang等人的估计方法[20、21]。4.2. 度量我们使用两个视图一致性特定度量：自相似性误差[25]和每个像素的标签数量;下面解释我们还使用三个熟悉的2D边界指标：可实现的准确性，边界召回和欠分割错误;我们在补充材料中解释这些。可重复的准确性、自相似性和每个像素的标签数量描述了视图之间的整体准确性和一致性。边界召回和欠分割错误描述了过分割的特征[14]。作为超像素形状的度量，我们使用Schick等人的紧凑性度量。[16 ]第10段。 我们在15-40平方（每个225-1600像素）的平均超像素大小上计算每个度量。自相似性误差如Zhu et al. [25]中，我们将来自每个视图的超像素的中心投影到中心视图中，并计算平均偏差与地面真实差异。较小的错误表明视图之间具有更好的一致性。每个视图依赖像素的标签数我们计算中心视图中每个像素的平均标签数，通过地面真实视差图投影到所有其他视图中。 这给出了平均不一致视图的数量的意义（参见。具有81个输入视图的HCI数据集 为了便于计算，我们丢弃在中心视图中被遮挡的像素。4.3. 结果图7显示了所有四个场景的平均指标;我们的补充材料包括每个场景的指标。有关定性结果，请参阅我们的补充视频。视图一致性我们的方法使用估计的视差图优于LFSP和k均值基线（图1）。（见第7（a）段）。这些发现反映在定性评估中，我们减少了视图的不一致性，例如视图上超像素形状变化的闪烁（图1）。（八）。使用地面真实视差图，我们的方法在两个指标上都优于LFPS，但仅在自相似性误差上优于k均值：具有地面真实视差的k均值产生的每个像素的标签数量较少比我们的方法。作为解释的参考，小基线导致103-5%的光场像素的遮挡我们的方法在所有超像素大小的估计视差和地面真实视差方面都优于LFSP。7（c））。对于较小的超像素尺寸（15-我们的方法比k-means方法调用更少的边界：我们在第1步中偶尔会错过边缘部分，这将这些区域推迟到我们针对未标记像素的不太鲁棒的最终传播步骤。然而，k-means可以创建非常小的区域（图1）。（8）广泛不受欢迎。紧凑性我们的方法在较小的超像素尺寸（15 -25）上与LFSP竞争，并且在较大的尺寸上更好（图2）。7（b））。k-means基线生成测试方法中最不紧凑的超像素，即使具有地面真实差异。 正如我们刚刚看到的，这种形状自由有助于它回忆更多的边界。计算时间我们使用Intel i7-5930 6核CPU和MATLAB进行实现。我们报告了9×9视图光场的时间，图像为768×768像素。Wang等人的视差图计算。需要108分钟，这是k均值基线和LFSP的预处理。LFSP本身需要2.2分钟，k表示需要2.5分钟。 我们的方法隐式地计算视差图，总共需要3.3分钟。5. 讨论和限制我们的方法试图计算视图一致的超像素分割并产生有竞争力的结果;然而，投影到所有视联合k均值聚类常见的分段标签标签传播...视图-1查看0浏览次数+1...7819(a)视图一致性：自相似性误差和每个像素的标签数（b）形状质量：超像素紧凑性。(c)边界精度：可比较的分割精度、边界召回率和欠分割错误。图7：光场过度分割的定量评估指标。由于不是光场中的每个像素都是视图一致的，因此仍然存在一些问题。首先，我们的闭塞感知EPI分割明确执行匹配规则;然而，3.3节中的聚类步骤没有明确地处理遮挡--这仅在聚类中通过高视差权重被柔和地考虑。此外，为了提高效率，我们仅依赖于中央水平和垂直视图。 当片段边界估计在这两个源之间不对齐时，或者当像素从这两组视图中被遮挡时，我们依赖于不太鲁棒的标签传播（第3.3.1节），其不具有遮挡意识并且不使用显式空间平滑，例如，通过更昂贵的成对优化方案。这两个问题都可能导致超像素边界处的轻微标签 我们希望在未来的工作中改进我们的方法的这些方面。虽然它的标签是一个有价值的资源，但HCI数据集[22]在其地面真实差异中有轻微的伪影，例如“佛陀”场景中木板上的锯齿状伪影。它不再受支持，并且存在替代品[8];然而，这不包括非中心视图的对象分割标签，这使得评估视图一致性变得困难。我们的朗伯假设使得处理特殊对象变得困难：视相关效果打破了3D场景点映射到EPI空间中的线的假设，例如， 在HCI数据集“马”场景中，所有方法都有问题。此外，作为面积与周长的归一化比率，紧凑性只是超像素的平均形状的度量，有时我们的超像素边界具有比LFSP更高的曲率。6. 结论提出了一种视点一致的4D光场超像素分割方法。 它继续与闭塞感知EPI分割方法，提供了明确的线估计，深度排序约束，和二分图匹配的一致性。然后，我们聚类和传播标签，以产生每像素的4D标签。 该方法在视图一致性和边界准确性度量上优于LFSP方法，即使当LFSP被提供地面实况视差图时，仍然提供类似的形状紧凑性。 我们的方法在视图一致性和紧凑性指标上也优于基于深度的k均值聚类基线，并且在边界精度测量方面具有竞争力。 我们在补充视频中的定性结果显示了光场超像素分割的视图一致性的整体优势。确认我 们 感 谢 Kai Wang 的 校 对 ， 以 及 Brown OVPRSalomon学院研究奖和NVIDIA GPU奖对本研究的资助。敏H.Kim感谢韩国NRF赠款的支持（2019R1A2C3007229，2013M3A6A6073718）和跨部门Giga KOREA项目（GK17P0200）。7820图8：k均值基线，LFSP [25]和我们的方法的超像素分割边界和视图一致性使用Wang等人的算法计算LFSP和k均值的视差图。[20、21]。上两行：HCI数据集[22];我们突出显示了在视图中改变形状或完全消失的底部两行：EPFL Lytro数据集[26]。我们的超像素往往在视图空间上保持更一致，这可以很容易地被视为补充视频中的闪烁减少注意：当超像素被边界渲染宽度包围时，会出现小的实心白色/黑色区域 k-means倾向于具有更多的这些区域，这有助于它增加边界召回，但是这种行为对于超像素分割方法是无用的。7821引用[1] 拉达克里希纳·阿昌塔，阿普·沙吉，凯文·史密斯，奥雷利安·卢基，帕·卡·福阿，和萨宾·苏·鲁伊斯。 SLIC的超像素方 法 与 最 先 进 的 超 像 素 方 法 进 行 了 比 较 。IEEETransactionsonPatternAnalysisandMachineIntelligence ， 34 （ 11 ） ： 2274 -2282，2012. 二、五[2] 尼尔·D F. Campbell，George Vogiatzis，Carlos Hernandez，and Roberto Cipolla.从校准图像中自动分割目标。 在视觉媒体制作会议论文集，CVMP，第126-137页。IEEE计算机学会，2011年。2[3] 坎尼边缘检测的计算方法。IEEE Trans.模式分析马赫内特尔，8（6）：679-698，June 1986. 3[4] Jie Chen，Junhui Hou，Yun Ni，and Lap-Pui Chau.部分遮 挡 区 域 超 像 素 正 则 化 的 光 场 深 度 精确估 计 。IEEETransactions on Image Processing，27（10）：4889-4900，2018。2[5] 亚历山德拉·丘奇瓦拉，阿提拉·巴西，和阿塔纳斯·戈切夫.从 稀 疏 光 场 快 速 准 确 地 估 计 arXiv 预 印 本 arXiv ：1812.06856，2018。2[6] 马蒂厄·霍格，纽斯·萨巴特，克里斯汀·吉列莫。使用基于光线的图形结构的光场分割在ECCV，2016年。2[7] 马蒂厄·霍格，纽斯·萨巴特，克里斯汀·吉列莫。 动态超光线，用于高效的光场视频处理。在BMVC，2018年。2[8] KatrinHonauer ， OleJohannsen ， DanielKondermann ， andBastianGoldluecke.4d光场深度估计的数据集和评估方法亚洲计算机视觉会议，第19-34页。施普林格，2016年。7[9] Po-Han Huang ， Kevin Matzen ， JohannesKopf ， NarendraAhuja，and Jia-Bin Huang. DeepMVS：学习多视图立体视觉。在IEEE计算机视觉和模式识别会议论文集，第2821-2830页，2018年。2[10] 姜晓然，施静蕾，克里斯汀·吉列莫。用于4d密集和稀疏采样光场的基于学习的深度估计框架第44届声学、语音和信号处理国际会议（ICASSP）论文集，2019年。2[11] ChangilKim，HenningZimmer，YaelPritch，AlexanderSorkine-Hornung，and Markus H Gross. 高空间角分辨率光场的场景重建。ACM事务处理图表，32（4）：733[12] 克莉丝汀·吉耶莫·马修·霍格，新萨巴特。用于高效光场处理 的 超 级 射 线 IEEE Journal of Selected Topics inSignalProcessing，PP（99）：1-1，2017。2[13] Hajime Mihara ， Takuya Funatomi ， Kenichiro Tanaka ，HiroyukiKubo，Yasuhiro Mukaigawa，and Hajime Nagahara.具有空间和角度一致性的4D光场分割。在计算摄影国际会议（ICCP）的会议记录，2016年。2[14] Peer Neubert和Peter Protzel超像素基准测试和组件。 在proc2012年，《图片论坛》，第6卷。6[15] 马克·鲁松和卡洛·托马西。 使用Compass算子进行彩色边缘检测。计算机视觉和模式识别，1999年。IEEE计算机协会会议。第2卷，第160-166页IEEE，1999年。3[16] Alexander Schick，MikaFischer，and Rainer Stiefelders. 测量和评价超像素的紧凑性 第21届国际模式识别会议（ICPR2012）论文集，第930-934页。IEEE，2012。6[17] 大卫·斯图茨。Superpixel Segmentation：An Evaluation. 在Juergen Gall、PeterGehler和BastianLeibe 编辑的《模式识别》，《计算机科学讲义》第9358卷，第555 - 559页中，562. Springer International Publishing，2015. 1[18] DavidStutz ， AlexanderHermans ， and Bastian Leibe. 超像素：对最先进技术的评估。 计算机视觉和图像理解，166：1-27，2018。1[19] 我是托斯·阿齐奇和凯瑟琳·伯克纳。用于密集深度估计的光场尺度-深度空间变换。 在IEEE计算机视觉和模式识别研讨会论文集，第435-442页，2014年。2[20] Ting-ChunWang ， AlexeiAEfros ， andRaviRamamoorthi. 使用光场相机的遮挡感知深度估计。在IEEE计算机视觉国际会议论文集，第3487-3495页，2015年。一、二、五、六、八[21] Ting-Chun Wang，Alexei A Efros，and Ravi Ramamoorthi.使 用 光 场 相 机 进 行 遮 挡 建 模 的 深 度 估 计 。 IEEEtransactions on pattern analysis and machineintelligence ，38（11）：2170-2181，2016。一、二、五、六、八[22] SvenWanner，StephanMeister ，andBastianGoldluecke. 密集采样4d光场的数据集和基准测试。在VMV中，第225-226页。Citeseer，2013. 二、五、七、八[23] Sven Wanner，Christoph Straehle，andBastian Goldluecke.在4d光场的光线空间上全局一致的多标签分配。在IEEE CVPR，2013年。2[24] 大卫·维克斯多夫，大卫·戈索，迈克尔·比茨。深度自适应超像素.在第21届国际模式识别会议（ICPR）的会议记录中，第2087IEEE，2012。5[25] 朱昊，张琦，王青。 4D 光场超像素和分割。在IEEECVPR，2017年。一、二、五、六、八[26] 马丁·雷贝拉和图拉德·伊卜拉希米。新的光场图像数据集 。 2016 年 第 八 届 多 媒 体 体 验 质 量 国 际 会 议（QoMEX）论文集五、八