![](https://csdnimg.cn/release/download_crawler_static/88424130/bg4.jpg)
D. 毛雷尔N.马尼奥克湾Goldluecke和A.Bruhn
并不明确依赖于过度参数化。反之亦然,当计算SfM匹配时,它通过
将搜索空间限制为1D来获得鲁棒性。此外,它以像素方式而不是分
段方式估计流量。因此,它更适合于具有非刚性运动和精细运动细节
的一般场景。
语义信息。提高估计的准确性和鲁棒性的另一种方式是考虑语义。例
如,Bai
et al. [
1]提出使用实例级分割来在计算背景和参与者两者的单
独刚性运动之前识别独立移动的交通参与者。类似地,Hur和Roth [16]
利用CNN将语义信息集成到联合方法中,用于估计流量和时间一致的
语义分割。此外,Sevilla-Lara
等人
[33]提出了一种分层方法,该方法
在不同运动模型之间切换时依赖于语义信息最后,还有Wulff
等人的
方法。
[41](主要参见刚性运动)。虽然语义信息通常会改善结果,但它必
须特别适应给定的领域。因此,相应的方法通常不能很好地跨不同的
应用程序或基准进行推广。因此,我们不依赖这些信息。
补丁匹配在无约束匹配(光流)的背景下,Patch-Match最初由Barnes
等人
提出 [4]。最近的发展包括Bao等人的工作
。
[3]引入了边缘保留加
权方案以及Hu
等人的方法。
[
15]这通过分层匹配策略提高了准确性和速
度。此外,Gadot和Wolf [9]和Bailer
et al. [
2],最近表明特征学习是有
益的。然而,尽管取得了所有进展,上述光流方法中没有一个包括结
构信息。相比之下,我们的SfM感知的方法利用这样的信息,明确地
使用从一个专门定制的三视图立体/SfM PatchMatch方法的特征匹配在
那里,PatchMatch已经由Bleyer等人首先引入。[6]谁提出了一个平面拟
合的变种纠正的最近的发展包括沈[34]和加利亚尼等人的方法
。
[
10]
分别将PatchMatch扩展到未校正的两视图和多视图情况;见[32]。与所
有这些方法相比,我们的SfM感知PatchMatch方法不仅提取纯立体信
息。相反,它结合了来自光流和立体声的信息,因此也适用于具有独
立对象运动的非刚性场景。此外,它依赖于分层优化[15],到目前为
止尚未在PatchMatch立体声的上下文中使用。最后,我们的算法的
SfM部分使用直接的深度参数化。这反过来又使得这两种估计都非常
稳健。
2
方法概述
让我们首先简要概述所提出的方法。与许多最近的光流技术一样,它
依赖于多阶段方法,该方法包括用于计算和细化初始流场的步骤;参
见例如,[14、17、22、33、41]。但在