没有合适的资源?快使用搜索试试~ 我知道了~
481大位移光流对应的鲁棒插值银林湖1李云松Rui Song1,2,宋锐huyinlin@gmail.comysli@mail.xidian.edu.cnrsong@xidian.edu.cn摘要对应插值(EpicFlow)在最近的工作中被广泛用于光流估计。它具有边缘保持性好、效率高的优点。然而,它容易受到输入匹配噪声的影响,这在现代匹配技术中是不可避免的。 在本文中,我们提出了一个鲁棒插值方法的对应(称为RicFlow),以克服弱。首先,场景被过度分割成超像素,以恢复分段流模型的早期想法。然后,每个模型的支持邻居的基础上构建的超像素图鲁棒估计我们提出了一个传播机制之间的估计模型。模型的传播比每个模型的独立估计明显更有效,但仍保持准确性。在三个公开数据集上的大量实验表明,RicFlow比EpicFlow更鲁棒,并且它优于最先进的方法。1. 介绍光流估计是计算机视觉中最基本的问题之一。这些应用包括运动分割[28]、视频显著性检测[32]、动作识别[38]、驾驶员辅助[15,25]等。虽然存在大量关于该主题的文献,但是获得帧之间的可靠光流仍然是一个开放的问题,特别是在大位移的情况下,这在现实世界的视频中是常见的。由于光流问题本质上是不适定的,因此通常涉及能量优化来解决它。基于Horn和Schunck的开创性工作,提出了许多有效的方法[7,6,41,35[18] 他们将光流问题转换为能量最小化框架。虽然这些方法在小位移的情况下表现良好,但它们通常无法估计大位移。主要原因是能量最小化的精确初始化失败,*通讯作者。1西安电子科技大学综合业务网络国家重点实验室。2中国科学院红外系统探测与成像技术重点实验室。(a) 图像(b)CPM的匹配结果[20](c) CPM+Epic [31](d)CPM+Ric(e)CPM+Epic的误差图(f)CPM+Ric图1. 证明所提出的Ric方法的稳健性。给定相同的噪声匹配(CPM [20]),与从Epic [31]插值的流相比,从Ric插值的流对匹配噪声的容忍度更高(参见角色肩部上方的平坦区域)。(e)和(f)是(c)的误差图,(d) 分别匹配的对应关系显示为[20]中的小彩色斑块,错误映射的可视化遵循[25](越暗越好)。避免局部最小值。最近,一种称为EpicFlow [31]的方法以密集的方式插入稀疏的匹配集以启动光流估计,该方法比传统的粗到细最小化方案具有很大的优势然而,流量结果易受输入匹配噪声的影响,这是不可避免的,尽管匹配技术的研究已经取得了很大的进步[39,20,3,21](见图1(b))。在本文中,我们提出了一个强大的对应关系插值方法,这是更宽容的匹配噪声。在将场景过分割成超像素[1]并假设每个超像素中的流满足分段仿射模型之后,我们使用类似RANSAC的技术(随机样本共识)来估计每个超像素的模型482′S像素鲁棒。每个超像素中的仿射模型仅依赖于其局部相邻匹配。这个简单的策略非常有效,图1显示了它与EpicFlow相比的鲁棒性,EpicFlow只是使用直观的阈值来删除一些有噪声的匹配。此外,考虑到流的空间连续性,我们提出了一种超像素之间的传播机制,在模型的估计模型的传播比每个模型的独立估计显著更有效,但保持了准确性。考虑到与CPM- Flow [20]相同的匹配对应关系,我们的方法RicFlow(对应关系的鲁棒插值)优于原始CPM-Flow(使用Epic插值),并且在具有挑战性的MPI-Sintel数据集[8]上表现最佳,并且在KITTI-2012上具有竞争力[15]和KITTI-2015 [25]。我们做出以下贡献:1)提出了基于分段模型估计的对应关系稳健插值方法RicFlow。2)在分段模型的估计中,我们提出了一种超像素间的模型传播机制此外,模型传播可以通过利用相邻超像素之间的空间关系来实现更准确的结果。3)我们通过在具有挑战性的数据集MPI-Sintel,KITTI- 2012和KITTI-2015上实现最先进的精度来证明所提出的方法的有效性。2. 相关工作用于光流估计的经典变分最小化框架已经在小位移的情况下显示出其成功[18,4]。尽管使用了从粗到精的方案[6],但最小化仍然经常陷入局部最小值,并在大位移的情况下导致失败[35]。为了处理这个问题,一些方法[7,41]将描述符匹配引入最小化框架。然而,它们的准确性在现实世界的视频中仍然不令人满意。我们使用的插值方案类似于稀疏到密集插值框架[22,31,24]。与[22]中通过匹配能量的最小化获得初始匹配相比,我们直接使用最先进的匹配方法作为输入。与我们的RicFlow密切相关,Revaudet al. [31]介绍了一种基于测地距离的保边插值方法(EpicFlow)。EpicFlow在oc-基于加权最小二乘快速求解器的插值方法的效率。然而,它的准确性是不令人满意的MPI-Sintel。我们的方法与分段参数流估计有关。Xu等[40]使用全变分作为其正则化在分割区域上拟合仿射模型。Ren[30]提出使用基于边缘的亲和度基于分组像素来估计分段流。然而,这些工作往往在大位移的情况下失败。Sun等人[36,34]使用仿射运动来正则化分层模型估计中的流。Sevilla-Lara等人[33]将语义分割的信息集成到局部化层的模型估计中。 Hor na'c Schiweek等.[19]定义用于流估计的每与这种逐点参数模型不同,Yang等。[42]使用基于能量的优化在自适应段上拟合分段全息模型。与昂贵的能量优化相比,我们的方法基于其相邻匹配为每个超像素[1]拟合分段仿射模型。我们使用的模型估计方案与RANSAC [ 13 ]相关,RANSAC [13]由于其简单的实现和鲁棒性而广泛应用于从数据中对模型进行鲁棒估计。Choi等人[10]对从RANSAC衍生出来的众多方法进行了深入的Raguram等人[29]提出了一种基于RANSAC的鲁棒估计的统一框架。最近,Niet al.[27]提出了一种基于数据分组假设的二项混合模型,该模型具有较好的效率。相比之下,我们实现了一个显着的效率增益,通过引入传播计划时,估计许多空间相关的模型同时。3. 对应的鲁棒插值在本节中,我们将介绍我们的插值方法,RicFlow,并讨论其主要特点。两个连续的-′图I1,I2和匹配集M={(p1,p1)}(稀疏或稠密)其中像素p1∈I1和p1∈I2定义对应,我们的目标是估计图像I1和I2之间的稠密对应场F:I1→I2。3.1. 分段仿射模型如在[37]中,我们假设感兴趣的大多数场景由具有恒定运动模式的区域我们首先使用SLIC算法[1]将输入图像I1过分割为K个非重叠超像素Sk,其中平均超像素S k是K个非重叠超像素K夹杂物、运动边界和大位移,以及pi x el的大小为σ。 这是一个分段S={sk|k=1sk=许多有效的方法将其用作后细化步骤I1和I 2m,s ks m=}。对于每个超级-[3、20、9、26、14]。 然而,流量从EpicFlow容易受到输入匹配噪声的影响,这在现代匹配技术中是不可避免的。为了解决这个问题,我们建议使用类似RANSAC的技术来估计分段模型鲁棒。Li等[24]显示像素sk,我们假设它们满足常数仿射模型Ak,这是非常适合大多数感兴趣的场景[34,36,37]。在对预分割区域制定分段仿射模型之后,现在的目标是基于输入噪声匹配来估计模型集{Ak}4833.2. 稳健模型估计图构造我们将过分割图像表示为无向图G=(V,E),其中V是表示所有超像素的顶点,并且E是连接具有共享边界的超像素的对于相邻的超像素sa和sb,即(sa,sb)∈E,它们之间的边长定义为连接sa和sb的代价。本文将代价定义为相邻超像素中心之间的近似测地线距离,即最短距离,图为一张成本图。与EpicFlow [31]中一样,我们使用“结构化边缘检测器”(SED)[ 12 ]的结果基于边长,我们定义了距离-图G中任意顶点间的距离函数D:V×V→R+,是图G中连接这些顶点的最短路,可以使用Dijkstra算法有效地计算超像素流初始化。我们不直接使用原始匹配,而是从输入匹配生成超像素流作为初始化,这可以提高模型估计的效率基于定义的超像素- els{sk},我们为每个超像素sk生成仅一个匹配,我们称之为超像素流。我们使用的是Sk内的所有有效匹配作为超像素流。对于无效超像素(其中没有任何匹配),超像素流被设置为最近的有效超像素的流。图3(d)示出了所生成的超像素流的示例。模型估计 我们使用每个超像素的相邻超像素流来估计其模型。Nn(k)表示图上超像素sk的n个最近邻的集合(a) 图像和地面实况(b) 支持邻居(c) 在内点提取图2. 鲁棒模型估计自适应内点提取。支持邻居(n= 100)根据图G上距超像素种子(填充有白色)的距离由颜色(蓝色到红色意味着更近到更远)表示。右侧的支持我们的方法可以有效地处理这个案件优化问题:H=argmin{C(H)},(1)H其中C(H)是模型假设的评估成本H.本文将评估成本定义为:G,我们也称之为sk的支持邻居。图2(b)示出了支持邻居的两个示例。目标是估计每个超像素的模型C(H)=Σs∈Nn(k)W(s)·L.(s;H)Σ、(二)问题在于,初始超像素流是有噪声的,并且支持相邻像素经常“渗出”到具有不同运动模式的不同对象的表面 , 这 显 著 为 了 处 理 这 个 问 题 , 我 们 使 用 类 似RANSAC的方法来估计每个超像素的模型。作为RANSAC家族[13,10],我们的模型估计对于每个超像素以迭代方式运行对于每个iter-其中,Nn(k)是超像素sk的支持邻居,W(s)是权重函数,L是损失函数,并且N(s;H)是当针对s应用模型H时的拟合误差,其被定义为拟合结果的端点偏差从原始的超像素流。权重被定义为从sk到邻居s的距离的函数:W(s)=exp(−D(s,sk)/α)。最小二乘法的损失函数可以表示为L(λ)=λ2,其对噪声敏感。 相反,我们使用以下损失在该方法中,我们随机地从其支持邻居中选取一个子集,并从支持邻居的超像素流中生成一个模型假设在这里,子集的大小是作用:L()=.|ǫ||ǫ|<ττ否则、(3)固定为3,这是确定仿射变换的最小对数。在生成模型假设之后,我们使用假设评估标准来更新当前最可能的模型。更确切地说,该过程可以被制定为484其中τ是阈值(在我们的实验中,我们固定τ=5),并且具有拟合误差的邻居|ǫ|<τ被认为是当前超像素的内点。在一些迭代之后,可以提取内点,图2(c)显示了一些示例。而且485采用加权最小二乘法(WLS)对最终仿射模型进行这里,WLS仅应用于内点,并且权重与等式2中的W(s)相同。3.3. 快速逼近如第3.2节所述,独立估计分段模型具有很高的计算复杂性。考虑到流的空间连续性,我们提出了一种传播方案,同时估计多个空间相关的模型。模型传播。受PatchMatch [5]的启发,我们以空间迭代的方式改进了分段模型。在奇数迭代上以扫描顺序检查超像素,并且在偶数迭代上以反向扫描顺序检查超像素。每个迭代都经历假设传播,然后基于超像素的空间相邻性进行随机采样随机初始化通常用于密集对应[5,20]。考虑到超像素流是我们可以利用的强先验信息,我们使用它作为初始化而不是随机初始化。也就是说,每个超像素的模型被初始化为从超像素流导出的平移模型,这是仿射模型的退化情况。假设传播是我们快速逼近所依赖的核心方案。对于在迭代中具有模型h k的超像素s k,我们将在当前迭代中已经检查的相邻邻居的模型表示为集合{Hk}。模型从邻居传播到自身:h∈{hk}<${Hk},(4)H其中,h(h)k表示改进的模型,并且C(h)是根据等式2的假设的评估成本。在前传播步骤之后执行随机采样过程我们从n个最近的邻居中随机挑选3个匹配,并通过拟合匹配来生成模型假设。目前最好的模型将通过测试这个新的假设得到改进。算法1:对应关系的鲁棒插值输入:一对图像I1、I2、匹配集合M输出:密集对应字段F:I1→I21过分段I1到K个超像素{sk}2来自M的超像素流初始化3构造超像素图G=(V,E)4对于每个超像素skdo5基于超像素流的6得到sk的支持邻居Nn(k)7基于模型传播的8内点加权最小二乘优化9变分细化(a) (b)地面实况(c)输入匹配[20](d)超像素流初始化(e)3/4迭代(f)1迭代图3. 模型传播的图示。请注意,在仅1次迭代之后,匹配噪声的大部分是如何被去除的。终止标准。尽管可以使用RANSAC族[10,27,11]中的自适应判定标准,但在实践中,我们发现它可以很好地工作以重复固定次数。在本文中,迭代次数γ表示按扫描顺序(或逆扫描顺序)对每个超像素进行的整个检查的次数RicFlow仅在几次迭代后迅速收敛 图3显示了一个示例,说明了模型传播的过程,并演示了其收敛速度。在获得每个超像素的最佳模型之后,基于每个模型的内点提取和WLS优化与第3.2节相同。3.4. 变分加细变分最小化作为我们的最终细化步骤,使用插值的输出作为初始化。如[31,21]所述,能量函数仅在原始图像尺度上优化,而没有粗到细方案。我们使用的数据项和平滑项与EpicFlow [31]相同,后者基于经典的变分框架[43]。所提出的RicFlow的总体过程在算法1中总结。4. 实验我们在三个具有挑战性的光流估计数据集上评估RicFlow:MPI-Sintel [8]是基于动画电影的合成基准,其中许多场景包含大动作。包含运动、散焦模糊、大气效果在它的“最终”版本中,我们只使用这个具有挑战性的版本来评估我们的方法。 ·KITTI-2012[15]是cre-486从驾驶平台上拍摄,包含复杂照明条件和大位移的逼真图像。·KITTI-2015[25]还包含从驾驶平台拍摄的城市街道照片。与KITTI-2012数据集相比,它包含动态场景,对于光流估计与[31,39]一样,我们在MPI-Sintel的20%训练集上优化了我们方法的参数。然后,我们使用相同的常量参数来插入所有评估的输入匹配:{σ,n,α,γ}={20,150,0. 7,4},并报告训练集MPI-Sintel、KITTI-2012和KITTI-2015的。 我们直接使用来自EpicFlow的变分最小化代码进行流细化1。我们用C++语言实现了RicFlow,并使其在Intel i73.6GHz CPU 上 运 行 。 对 于 MPI- Sintel 图 像 对(1024×436),它仅需要5秒具体地说,从粗到细的PatchMatch(CPM)计算时间为1.4s,构建超像素图(包括过分割和提取近像素),最大邻值)1.1s,分段模型估计1.5s,变分细化1s。在第4.1节中,我们分析了我们的方法的插值性能,并将其与EpicFlow进行了比较。部分4.2 然后研究了RicFlow的不同参数对模型传播的影响。最后,我们在第4.3节中展示了RicFlow在查询数据集上的4.1. 插值比较输入匹配。为了评估插值方法的性能,我们使用三种最先进的方法生成输入匹配:[17],DM [39]和CPM[20]。对于KPM2和DM3,我们使用在线代码来提取对应关系,对于CPM,使用其作者提供的二进制文件。DM和CPM都包括一个相互验证,以消除遮挡区域中的模糊匹配类似地,我们对KPM执行前向-后向一致性检查,以删除不正确的匹配。图4中的第二列显示了输入匹配的示例。RicFlow与EpicFlow。我们将我们的RicFlow与最广泛使用的插值方法EpicFlow进行比较[31]。 图4显示了比较结果使用不同的输入匹配。请注意RicFlow如何解析匹配噪声。表1全面报告了不同数据集的比较结果我们可以看到,在大多数情况下,RicFlow的性能优于EpicFlow。唯一的例外是,在平均端点误差(EPE)方面,当使用KPM作为输入时,RicFlow的表现不太好,这主要是由输入的低密度引起的1http://lear.inrialpes.fr/src/epicflow/2http://j0sh.github.io/thesis/kdtree/3http://lear.inrialpes.fr/src/deepmatching/图像和GT输入匹配Epic插值Ric 插值图4. Epic [31]与不同匹配输入的Ric方法之间的比较示例。第一列显示了两个图像和地面实况。最后三列显示输入匹配(KPM [17]、DM [39]和CPM[20]从上到下),以及分别使用Epic和Ric插值的结果。请注意,我们的Ric方法是如何在字符腿部附近解决匹配噪声的。4.第一章44.第一章243 .第三章。83 .第三章。60的情况。10的情况。20的情况。30的情况。40的情况。50 的情况。6匹配噪声GT匹配EpicRic图5.Epic [31]和我们的Ric方法在不同输入匹配噪声水平下的比较请注意,与Epic相比,Ric对输入匹配噪声的容忍度更高。由KPM生成的匹配。作为一种插值方法,RicFlow依赖于输入匹配的精度和密度。我们可以观察到CPM始终优于DM和KPM。我们在剩下的实验中使用为了证明RicFlow的鲁棒性,我们已经评估了其性能的不同水平的输入匹配噪声。我们将合成噪声添加到CPM [20]的匹配结果中,并使用相同的噪声匹配作为其 输 入 , 在 MPI-Sintel 训 练 子 集 上 评 估 RicFlow 和EpicFlow [31]的性能图5显示了RicFlow相对于EpicFlow的明显鲁棒性。史诗RicEPE487EPE误差百分比(%)MPI-SintelKITTI-2012KITTI-2015MPI-SintelKITTI-2012KITTI-2015- 瓦尔+变量- 瓦尔+变量- 瓦尔+变量- 瓦尔+变量- 瓦尔+变量- 瓦尔+变量KPM史诗7.166.7417.5817.0426.3526.0119.5216.6457.8451.6556.9853.53Ric7.566.9316.5215.8527.8825.3518.2615.8652.9446.3053.0349.45DM史诗3.873.523.573.329.068.8812.2911.0419.0016.6331.5328.03Ric3.703.373.173.038.088.029.569.2513.7813.8225.1523.56CPM史诗3.723.543.213.177.747.7110.5110.0813.3214.0924.6623.52Ric3.693.522.802.817.117.128.858.9510.1511.9720.3120.34表1.Epic [31]和针对不同匹配输入(KPM [17]、DM [39]和CPM [20])提出的Ric方法在平均终点误差(EPE)和误差百分比(EPE≥3像素)方面的比较对三个具有挑战性的数据集进行了比较:MPI-Sintel[8],KITTI-2012 [15]和KITTI-2015[25]。 为了公平的比较,结果与变分细化(+Var。)和没有它(-Var。)也有报道。在大多数情况下,所提出的Ric插值方法优于Epic43 .第三章。93 .第三章。83 .第三章。720406080 100 120 140 160σ3 .第三章。783 .第三章。763 .第三章。743 .第三章。723 .第三章。73 .第三章。6880 100 120 140 160 180 200nσ=20给出了一个很好的平衡。图6(b)说明了支持邻居太少对模型估计不鲁棒,而支持邻居太多也会导致精度损失。如图6(c)所示,我们的方法仅在几次迭代后快速收敛。在我们的实验中,迭代次数γ固定为4,之后我们的方法几乎收敛。模型传播的影响。为了证明效果-(a) 平均超像素尺寸54.第一章540123456γ(c)迭代次数(b) 支持邻居43 .第三章。93 .第三章。83 .第三章。72 3 4 5运行时间(秒)(d)模型传播模型传播的有效性,并将其与不带模型传播的独立估计分段模型的版本进行了比较。独立模型估计通常需要几十次迭代才能收敛。然而,考虑到模型传播的一次迭代需要更多的时间,为了公平起见,我们在同一台计算机上使用运行时间上的EPE来比较图6(d)显示了比较结果。我们可以看到,模型传播收敛得更快。此外,模型传播甚至可以达到更精确的图6.参数分析及模型传播的影响。(a)、(b)和(c)研究不同参数的流量精度(d)显示了模型传播(w/MP)与模型独立估计(w/o MP)相比的效果采用模型传播的方法收敛速度更快,收敛后甚至可以得到更精确的结果。比赛时间不包括在内。4.2. 性能分析为了更好地了解RicFlow的性能,我们评估了不同参数的影响以及模型传播的效果为了更好地了解插值本身,本节中的实验在没有变分细化的情况下进行,所有结果都在MPI-Sintel上报告。参数分析图6(a)研究了具有不同超像素大小的RicFlow的效果。我们可以看到,随着超像素尺寸σ的增加,结果显示出明显的质量恶化趋势。然而,大型超像素大小通常意味着低计算复杂度。我们发现收敛后的结果 这一现象的主要原因现象是模型传播利用相邻超像素之间的空间关系。4.3. 数据集结果与MPI-Sintel上的其他方法相比,RicFlow的结果可参见表2,表2显示了提交日期发布的最佳光流算法我们显然优于CPM流以及所有其他方法。原始的CPM流使用Epic [31]作为其插值方法。使用与CPM-Flow相同的匹配输入,我们将EPE降低了近0。4像素与之相比。请注意,RicFlow在遮挡区域中表现得特别好,这证明了其鲁棒性。表中还包括了顶级方法的近似运行时间(由其作者声明)。RicFlow是最快的方法之一,仅比原始的CPM-Flow稍慢。图7显示了定性比较的一些结果。表3和表4显示了KITTI上的顶部流量结果不含MP,EPEEPEEPEEPE488图7. MPI-Sintel结果示例。每列从上到下显示:两个连续图像的平 均值,地 面实况, 输入匹配 (CPM ),提 出的RicFlow 和 2 种 最 先 进 的 方 法 ( CPMFlow [20] 和 EpicFlow[31])。RicFlow使用与CPMFlow相同的匹配输入注意到图8. KITTI上的结果示例。请注意RicFlow如何减少纹理较少区域中的流量误差。具有低显著性的平坦区域(参见第一由于提交日期,百分比低于5%。在更具挑战性的数据集KITTI-2015上,RicFlow的性能也尽管RicFlow的表现不如依赖于语义分割的SOF [33],但它在前景区域中表现最好。此外,RicFlow比SOF快一个数量级。图8显示了KITTI的一些结果。表2. MPI-Sintel测试集上的顶级算法(最终)。EPE-Noc(分别为EPE-Occ)是非闭塞区域(分别为闭塞区)。局限性。作为一种插值方法,RicFlow的精度依赖于输入匹配。虽然RicFlow比EpicFlow更能容忍匹配噪声,但它仍然EpicFlow [31]CPMFlow [20]输入匹配图像RicFlow地面实况CPMFlow [20]EpicFlow [31]RicFlow输入匹配地面实况图像列)和运动不连续性(见第三列中字符的分支)由我们的RicFlow正确处理。方法EPE所有EPENOCEPEOCC时间第二秒。RicFlow5.6202.76528.9075DDF[16]5.7282.62331.042602012和KITTI-2015测试集,用于不流场[3]5.8102.62131.79918分别使用对极几何或立体视觉对SPM-BP 2 [23]5.8122.75430.74342KITTI-2012年,RicFlow在EPE方面表现最好,FullFlow[9]5.8952.83830.793240非封闭区域。 然而,许多顶级方法可以实现[20]第二十话5.9602.99030.1774相同的EPE。在错误图像的百分比方面-EpicFlow[31]6.2853.06032.56417els,这是更有区别的评估大FGI[24]6.6073.10135.15815位移光流,RicFlow实现4.96%,在非PH-流量[42]7.4233.79536.960800这是唯一一个错误的方法,[41]第四十一话8.4454.15043.430700489方法输出Noc3全部3EPENOCEPE所有时间第二秒。RicFlow4.96%百分之十三点零四1.33.25[第14话]5.29%14.17% 1.33.350DDF[16]5.73%14.18% 1.43.460PH-流量[42]5.76%10.57% 1.32.9800流场[3]5.77%百分之十四点零一1.43.523[20]第二十话五点七九13.70% 1.33.24[26]第二十六话6.23%16.63% 1.33.6180EpicFlow[31]7.88%17.08% 1.53.815表3. KITTI-2012测试集上的顶级算法。Out-Noc 3(分别Out-All 3)是在非遮挡区域(分别为所有像素)。方法全部3输出Bg3输出Fg3时间第二秒。SOF[33]16.81%14.63%27.73%360RicFlow百分之十九点五二18.73%23.49%5[第14话]21.69%19.98%30.24%50DDF[16]21.92%20.36%29.69%60[26]第二十六话22.38%21.53%26.68%180[20]第二十话23.23%22.32%27.79%4FullFlow[9]24.26%百分之二十三点零九30.11%240EpicFlow[31]27.10%25.81%33.56%15表4. KITTI-2015测试集上的顶级算法。Out-Bg 3(分别Out-Fg 3)是仅在背景区域(分别为前景区域)。使用低密度匹配作为输入时失败(参见图4中的KPM匹配)。另一方面,分段模型估计依赖于基于过分割构造的图的邻居系统图7中的第三列显示了这种失败情况的一个示例(靠近角色的脚)。在此基础上,还需要进一步的改进,引入语义分割等信息,这也是我们今后的工作方向。5. 结论本文提出了一种用于光流估计的相关函数插值方法它使用超像素技术来过度分割场景,假设大多数感兴趣的场景由具有一致运动模式的区域组成。我们专注于分段模型的估计,使用一个类似于RANSAC的方法进行鲁棒估计。我们引入了一种新的模型传播估计多个模型,同时基于相邻超像素的模型是空间相关的洞察。在MPI-Sintel、KITTI-2012和KITTI-2015上进行的大量实验表明,该方法优于其他竞争方法。490这项工作证实了分段模型的优点,为光学流量估计。使用语义分割的信息可以实现更好的结果[33,2]。在GPU上实现该方法进行实时光流估计也是一个有趣的研究方向。鸣谢。本研究得到了国家自然科学基金资助项目(No. 61401337号61222101),111陕西省创新研究团队项目(B08038和B08028),中央高校基础研究基金,中国科学院上海技术物理研究所红外系统探测与成像技术这项工作也得到了西电研究生创新项目的支持。引用[1] R. Achanta、A.Shaji,K.史密斯,A.Lucchi,P.Fua,和S. 很好SLIC超像素与最先进的超像素方法的比较IEEETrans. on Pattern Analysis and Machine Intelligence(PAMI),2012. 一、二[2] M. Bai,W. Luo,K. Kundu和R.乌塔松光流场的语义信 息 挖 掘 与 深 度 匹 配 . 欧 洲 计 算 机 视 觉 会 议(ECCV),2016。8[3] C.贝勒湾Taetz和D.斯特里克流场:用于高精度大位移光流估计的密集对应场。IEEEInternational Conferenceon Computer Vision(ICCV),2015年。一、二、七、八[4] S. Baker、D.Scharstein,J.P. 刘易斯,S。罗斯,M。J.黑色和R.塞利 斯基 光流数 据库 和评价 方法 。 InternationalJournal of Computer Vision(IJCV),2011年。2[5] C. Barnes,E. Shechtman,A. Finkelstein和D. B.黄金人。补丁匹配:一种用于结构化图像编辑的随机对应算法。ACM SIGGRAGH,2009年。4[6] T. Brox,A. Bruhn,N. Papenberg和J. Weickert基于变形 理 论 的 高 精 度 光 流 估 计 欧 洲 计 算 机 视 觉 会 议(ECCV),2004年。一、二[7] T.布洛克斯和J·马利克大位移光流:变分运动估计中的描 述 器 匹 配 。 IEEE Trans. 模 式 分 析 和 机 器 智 能(PAMI),2011年。一、二[8] D. J. Butler,J. Wulff,G. B. Stanley和M. J.布莱克。一个用于光流评估的自然主义开源电影。2012年欧洲计算机视觉会议(ECCV)二、四、六[9] Q. Chen和V. Koltun.全流:通过规则网格上的全局优化进行光流估计。在IEEE计算机视觉和模式识别会议(CVPR),2016年。二七八[10] S.崔,T. Kim和W. Yu. RANSAC家族的性能评估。英国机器视觉会议(BMVC),2009年。二、三、四491[11] O. Chum和J.马塔斯与PROSAC渐进式样本共识匹配IEEE计算机视觉与模式识别会议(CVPR),2005年。4[12] P. Dol la'r和C. L. 齐特尼克使用结构森林的快速边缘检测 IEEETrans.onPatternAnalysisandMachineIntelligence(PAMI),2015. 3[13] M. A. Fischler和R. C.波尔斯随机样本一致性:模型拟合的范例,应用于图像分析和自动制图。ACM通讯,1981年。二、三[14] D. Gadot和L.狼PatchBatch:光流的批次增强损失。在IEEE计算机视觉和模式识别会议(CVPR),2016年。二、八[15] A. Geiger,P. Lenz,和R.盖革,等.乌塔松我们准备好了吗?Kitti Vision基准套件。在IEEE计算机视觉和模式识别会议(CVPR),2012年。一、二、四、六[16] F. Guéne y和A. 盖格河 深离散流。2016年亚洲计算机视觉会议(ACCV)七、八[17] K.他和J. Sun。利用传播辅助kd树计算最近邻场。在IEEE计算机视觉和模式识别会议(CVPR),2012年。五、六[18] B. K. Horn和B. G. Schunck确定光流。人工智能,1981年。一、二[19] M. Horn a'cpasterek,F. Besse,J. Kautz,A. Fitzgills,以及C.罗瑟使用补丁匹配置信传播的高度过参数化光流。欧洲计算机视觉会议(ECCV),2014。2[20] Y.胡河,巴西-地Song和Y.李有效的粗到细补丁匹配大位 移 光 流 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议(CVPR),2016年。一、二、四、五、六、七、八[21] T.克罗格河Alffte,D. Dai和L. V.Gool使用密集逆搜索的快速光流欧洲计算机视觉会议,2016。1、4[22] M. Leordeanu,A. Zanfir和C.斯明奇塞斯库用于运动和遮挡估计的局部仿射稀疏到密集匹配IEEEInternationalConference on Computer Vision(ICCV),2013年。2[23] Y. Li,D. Min,M. S.布朗,M. N.做,和J。卢。SPM-BP : 加 速 连 续 MRF 的 补 丁 匹 配 置 信 传 播 。IEEEInternationalConferenceonComputerVision(ICCV),2015年。7[24] Y. Li,D. Min,M. N.做,和J。卢。用于深度和运动的快速引导全局插值欧洲计算机视觉会议(ECCV),2016。二、七[25] M. Menze和A.盖革自动驾驶车辆的对象场景流在IEEE计算机视觉和模式识别会议(CVPR)中,2015年。一、二、五、六[26] M.门策角Heipke和A.盖革光流离散优化在德国模式识别会议(GCPR),2015年。二、八[27] K. Ni,H. Jin和F.德拉特GroupSAC:存在分组时的有效共识。IEEEInternational Conference on Computer Vision(ICCV),2009年。二、四[28] P. Ochs,J. Malik,and T.布洛克斯通过长时间视频分析分 割 运 动 对 象 。 IEEE Trans. on Pattern Analysis andMachine Intelligence(PAMI),2014. 1[29] R.拉古兰岛Chum,M. Pollefeys,J. Matas和J. - M.弗拉姆USAC:随机样本共识的通用框架。IEEE Trans. onPattern Analysis and Machine Intelligence ( PAMI ) ,2013. 2[30] X. 仁光流的局部分组IEEE计算机视觉与模式识别会议(CVPR),2008年。2[31] J. Revaud ,P. Weinzaepfel ,Z. Harchaoui和C.施密 特EpicFlow:光流对应的边缘保持插值。在IEEE计算机视觉和模式识别会议(CVPR),2015年。一二三四五六七八[32] D. Rudoy,D. B. Goldman,E. Shechtman和L.泽尔尼克庄园使用候选选择从人类注视中学习视频显著性在IEEE计算机视觉和模式识别会议(CVPR),2013年。1[33] L. Sevilla-Lara ,D. Sun,V. Jampani,and M. J. 布莱克。具有语义分割和局部化层的优化流在IEEE计算机视觉和模式识别会议(CVPR),2016年。二七八[34] D. 孙角,澳-地Liu和H.菲斯特用于关节运动估计和遮挡检测的局部分层在IEEE计算机视觉和模式识别会议(CVPR),2014年。2[35] D.孙习Roth和M. J.布莱克。光流估计的当前实践及其背后的International Journal of Computer Vision(IJCV),2014。一、二[36] D. Sun,E. B. Sudderth和M. J.布莱克。分层分割和光流估计随时间的变化。在IEEE计算机视觉和模式识别会议(CVPR),2012年。2[37] C. Vogel,K. Schindler和S.罗斯基于分段刚性场景模型的三维场景流估计。International Journal of ComputerVision(IJCV),2015年。2[38] H. Wang 和 C. 施 密 特 具 有 改 进 轨 迹 的 动 作 识 别 。IEEEInternationalConferenceonComputerVision(ICCV),2013年。1[39] P. Weinzaepfel,J. Revaud ,Z. Harchaoui和C.施密 特DeepFlow:深度匹配的大位移光流。IEEEInternationalConference on Computer Vision ( ICCV ) , 2013 年 。一、五、六[40] L. Xu,J. Chen,and J.贾一种基于分割的变分模型用于精确的光流估计。欧洲计算机视觉会议(ECCV),2008年。2[41] L. Xu,J. Jia,and Y.松下。保持运动细节的光流估计。IEEE Trans. 模式分析和机器智能(PAMI
下载后可阅读完整内容,剩余1页未读,立即下载
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 利用迪杰斯特拉算法的全国交通咨询系统设计与实现
- 全国交通咨询系统C++实现源码解析
- DFT与FFT应用:信号频谱分析实验
- MATLAB图论算法实现:最小费用最大流
- MATLAB常用命令完全指南
- 共创智慧灯杆数据运营公司——抢占5G市场
- 中山农情统计分析系统项目实施与管理策略
- XX省中小学智慧校园建设实施方案
- 中山农情统计分析系统项目实施方案
- MATLAB函数详解:从Text到Size的实用指南
- 考虑速度与加速度限制的工业机器人轨迹规划与实时补偿算法
- Matlab进行统计回归分析:从单因素到双因素方差分析
- 智慧灯杆数据运营公司策划书:抢占5G市场,打造智慧城市新载体
- Photoshop基础与色彩知识:信息时代的PS认证考试全攻略
- Photoshop技能测试:核心概念与操作
- Photoshop试题与答案详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)