基于双主成分追踪的鲁棒点对应单应性估计

6080O基于双主成分追踪的丁天骄1杨云晨1朱志辉2丹尼尔·罗宾逊3雷内·维达尔4劳伦特·克奈普1马诺利斯·C.Tsakiris1摘要我们重新审视两个或三个视图之间的点对应的单应性的鲁棒估计分析作为一个平台，以支持严格的调查双Prin-UNRComponent Pursuit（DPCP）作为一个有效的和强大的替代RANSAC的强大的模型拟合在多视图几何。单应性拟合被转换为单应性或对极/三焦点嵌入上的鲁棒零空间估计问题。我们证明了在二维和三维单应性空间中，对极或三焦点嵌入的零空间是由唯一的、可计算的单应性定义的实验表明，DPCP在局部优化方面与USAC表现相当，同时需要更少的计算时间，并且它在单应性估计方面也优于最近的深度学习实现。1. 介绍齐次空间中的线性图像到图像映射-通常称为平面中的单应性或投影变换-是摄影测量和计算机视觉中许多上下文中的基本模型。假设成像设备遵循针孔或透视相机模型，单应性的概念提供了如果相机在平面场景前面旋转和平移或经历纯旋转时发生的图像扭曲的简单模型。因此，它在摄像机校准[1，2]、度量校正[3，4]、全景成像[5]、增强现实[6，7]、基于分段平面场景建模的光流[8]和视频稳定化[9，10]中发挥了重要作用。本文主要研究从两个或三个视图之间的图像对应关系中进行鲁棒的同态估计，每个视图中的点从局部1上海科技大学信息科学与技术学院2美国丹佛大学电气与计算机工程系3工业与系统工程系 工程、 利哈伊 大学 美国4数学研究所不变的关键点检测器[11]，以及通过外观描述符匹配技术建立的对应关系。对应关系的质量取决于许多因素，例如所使用的特征检测器的不变性、运动模糊、匹配算法的效率与准确度的权衡。因此，常见的是，所识别的交叉视图对应中只有一部分具有足够高的质量以产生准确的单应性估计。因此，模型拟合算法需要相对于对应集合中的离群值具有鲁棒性，并且计算机视觉中解决该问题的主要方案是RANSAC [12]及其在过去几十年中开发的更复杂的衍生物见[13，14，15，16，17]和其中的参考文献。典型地，这些方案可能由于离群值的大比率、内点模型的高维度、自适应阈值确定或局部模型细化（也称为局部优化）而表现出高计算另一方面，在过去的十年中，出现了各种鲁棒子空间学习方法，承认有效的实现和强有力的理论保证[18，19]。其中，双主成分追踪（DPCP）[20，21，22，23，24]是少数能够处理高相对维数或相当低相对余维的子空间的方法之一。这正是单应性估计中的情况，因为在单应性嵌入下，它可以分别针对两个和三个视图在R9和R27DPCP将超平面学习问题公式化为球面上的一个非凸优化问题，然后可以通过各种方法来解决，例如递归线性规划[20，22]，交替最小化[25，22]，迭代重新加权最小二乘（DPCP）。IRLS）[21，22，26]，投影次梯度（DPCP-PSGM）[23，24]和黎曼次梯度（DPCP-RSGM）[27，28]方法，或测地线梯度下降[29]。特别是，DPCP-PSGM已被证明可以容忍M<（N2）个离群值（这里N，M是内点和离群值的数量），这是一个显著的结果，与替代方法的典型保证M，Manolis C. 察基里斯1对这种类型的子空间学习的非凸优化问题的统计分析已经揭示了一个任意大的外-6081我ק§§§我×VVV V我在表面法线[23，24]和三焦点张量[21]估计中，DPCP-PSGM和DPCP-IRLS已经被证明能够在相同的运行时间预算和最佳阈值下优于RANSAC在本文中，我们适用于一组版本的DPCP的鲁棒单应性估计的问题，铸造后者作为一个强大的零空间估计问题。这里的分组指的是每个对应给出一组嵌入的事实在传统的单应嵌入选择下，嵌入矩阵的零空间是一维的另一方面，也很好地理解，例如在平面3D点分布的情况下，对极或三焦点嵌入贡献了3维或6维零空间，位于9维和27维环境空间反射内。我们在这里贡献的一个基本性质是，这个零空间的结构由底层单应性2（2）唯一定义。 这些高维零空间的计算仍然可以通过将上述方法从单位球面扩展到Stiefel流形来完成，这里的工作选择是DPCP-IRLS，并且给出了群DPCP问题的全局最优性定理（3）。严格的实验表明，DPCP的性能与USAC的全面实现[14]具有竞争力，同时运行速度快了一个数量级（4）。当USAC中的局部优化被禁用时，DPCP不仅保持更快，而且也更加准确。最后，DPCP的性能大大优于[32]的深度学习方法。2. 几何学：单应性和新的见解我们首先简要回顾一下两种视图（2.1）的极线和全息约束。讨论了从单应嵌入矩阵的一维零空间中提取单应矩阵的传统方法。然后，我们表明，单应性也是唯一编码的3维零空间与核线嵌入。然后，我们讨论了类似的三个视图，即单应性和三焦约束，并证明了唯一 的 恢 复 单 应 性 从 6 维 零 空 间 矩 阵 的 三 焦 嵌 入（§2.2）。从单应性估计的重要性就是所谓的基本矩阵。这是众所周知的对极约束，我们将其重写为φ（xi，x′i）φvec（F）=0，（1）其中φ（xi，x′）∈R9是对应对xi，x′i的双线性函数，称为核线嵌入.如果两个视图V、V′之间的位移是非退化的，并且3D点V1处于一般位置，则八个对应唯一地确定了F。也就是说，下面的9 × 8矩阵具有由vec（F）张成的1维左零空间：[φ（x1，x′1）···φ（x8，x′8）]单应嵌入。考虑三维空间中的平面π其法向量为（h∈ R，1）∈R4。设πi是π上的点，xi参与它们在V和V′上的投影。则x′i<$Hxi，其中H ：=A−ah<$是单应矩阵。 这里x′<$Hx意味着x′和Hx共线，这意味着[x′i]×Hxi=0。3由于矩阵[x′i]×的秩为2，因此H中的这三个线性方程中，至多有两个线性无关。四是要考虑前两个我们写为<$j（xi，x′i）<$vec（H）= 0，j = 1，2.R9中的n_j（xi，x′）是对应对xi，x′i的双线性函数.假设平面π上的3D点πi的非退化配置，4个对应足以唯一地确定H，即，单应嵌入的9 × 8矩阵的左零空间具有维度1。基于核线嵌入的单应性估计。 现在我们讨论如何从由极线嵌入产生的维度高于1的零空间中提取单应性。我们在文献中找不到这些论点，特别是关于单应性唯一性的论点设H是平面π诱导的和′之间的单应性。众所周知，，′容许一个因子化F=[a]×H. 同样众所周知的是，如果 在 R9 中 构 造 通 常 的 对 极 嵌 入 ， 对 于 8 个 对 应xiParticix′=Hxi，如在更高维的零空间在§3中讨论。2.1. 双视图几何图形对极嵌入。设P=[I0]，P′=[A a]为两个透视视图V，V′的摄像机矩阵。公8点算法，人们将找到一个三维零空间。也许不太为人所知的是，单应性H唯一地定义了这个空空间的结构。3这里对于a=（a1，a2，a3）<$∈R30a3−a2已知，如果xiParticix′i是3-空间到V和V′上，则x′i<$F xi=0，其中F：=[a]A如果存在足够多的内点，则可以容忍线比[30，31]，这一观点后来被[22]中的确定性论证所证实。[a]×=−a30a1a2−a10是表示线性映射b<$→a×b的反对称矩阵，该线性映射将向量b取为a×b与a的叉积。注意，[a]×a= 0。4由于（x′）3=/0和x′<$[x′]×=0<$，可以证明第三个我我我2一个单应性对应两个视图，两个对应三个视图。方程依赖于前两个。6082↔↔不W↔W ∈ W不TT↔↔H×NUH∈31.提案 由H表示的单应性诱导对应于Φ的前6个左奇异向量。关注-相容基本矩阵的三维向量空间FH={[v] ×H：v∈R}.此外，如果FH′ <$FHing[35，A5.6]，[36]H在封闭形式中获得，奇异值分解求解对某些5H′/= 0，则FH′=FH和H′→H。证据 FH是一个向量空间，因为[v1]×+[v2]×=minH′Σ⊤ ′ 2 ′[ej]HFs.t.（[e1]×[e2]×[e3]×）Hi、j[v1+v2]×对于任何v1，v2。现在FH被[e1]×H，[e2]×H，[e3]×H生成，其中e1由于H是可逆的，它们是线性无关的，因此dimFH=3。设F∈FH.则F=[v]×H∈FH，其中v为0.因为H是可逆的[v]×H是一个基元，2.2. 三视图几何三焦点嵌入。 三个视图中基本矩阵的类似物是（未校准的）三焦点张量[35，37，38]。考虑三个视图V，V′，V′′，对话矩阵。此外，它与H表示的单应性相容，因为H<$[v]×H是斜对称的。对于最后一个语句，我们分两步进行。首先我们考虑H′可逆的情况。设x∈ V，射矩阵[I0]，[A a]，[B b].设xx′x′′be在三维空间中点的三个视图上的投影。与捕获两个视图的几何的对极约束类似，对应的三元组满足设x′∈V′且x′<$Hx.设F′= [v]×H′∈FH′.如果FH′<$FH则F′是与单应性H相容的基本矩阵。 即x′ n[v]×H′x=0。这[x′]. Σ3i=1xiTiΣ[x′′]=0，Ti：=aib−abi，（4）也就是说，对于任意v/= 0，H′x∈Span（x′，v），使得其中a，b是A，B和x的第i列是第i个H′x∈Span（x′）. 因为H′是可逆的，所以H′x≠ x′，ii3 3i因此H′x<$Hx。 这对任何x都是真的，因此H′H。x的坐标。矩阵Ti∈R×是现在我们考虑对任何H′的一般陈述。H ′的集合，使得FH ′ <$FH是R 3×3的线性子空间W。 可逆3 × 3矩阵的集合U是R3×3的Zeromski拓扑中的开集[33，34]。 则W：=W<$U是W的子空间拓扑中的开集。我们知道U是非空的，因为HU。由于非-线性子空间的空Zeromki开子集是稠密的，WU的Zeromki闭包是W本身。但是我们在上面证明了U恰好是H除零矩阵外所张成的直线把零矩阵加回去，我们得到W的一个一维线性子空间，它是一个闭集。即W=WU<${03×3}={λH：λ∈ R}。命题1的向量空间FH是6点对应xiHxi的epipolar嵌入的9×6矩阵Φ的三维左零空间N。命题1断言H在任何ba中是唯一编码的三焦点张量相反，任何张量（T1′，T2′，T3′）是一个三焦点张量，如果它允许分解，如（4）。作为P26的元素，三焦张量在18维的不可约射影簇中形成稠密集。系统（4）由9个三线性方程组成，x、x′、x′′和线性输入 作为方程，系数是对应x的三焦点嵌入x′x′′。 在这9个三焦点嵌入中，只有4个是线性无关的。然后7个一般对应足以唯一地解决到规模。这是通过计算一个27×28的三焦点嵌入矩阵的1维左单应嵌入。现在假设从一个平面π上的点i被投影到三个视图V，V′，V′′上 ，得到对应xiParticix'iParticix'i'。则存在单应映射H，G使得Hx′i<$xi，Gx′i′ <$xi. 因此，rank（[xiHx′iGx′i′]）=1。因此，在本发明中，SisF1，F2，F3的强形式。考虑[xi] Hx′=[x]Gx′=[Hx′]Gx′′= 0。（五）齐次线性方程组在cij×ii×ii×iΣ3j=1cijFj=[ei]×H′，i=1，2，3.（二）其中ijk：=（hjgk）i是H的第j列与G的第k列的叉积的第i个坐标（5）可以写成[39]说H′是一个解就是说FH′<$FH。命题1给出H′H。换句话说，（2）承认Σ3i，j=1xix′jHijk= Σ3i，j=1xix′j′Hikj= Σ3i，j=1x′i′x′jHkji=0，H′中唯一的尺度解，即单应性H。即使当对应是轻微的噪音，不需要有F H的结构。然后计算一个H，使得FH在欧几里得意义上最接近N，如下所示。设Bj∈R3×3，j=1，. . .，6是矩阵，5H′不需要先验地可逆。对于k=1，2，3。这是在全息张量中的9个线性方程R3×3×3，它是H，G的双线性函数，取值于P26的余维10不可约代数簇[40，41]6。系数是成对对应的双线性函数，如[6]一个简单的论证是通过计算H，G的自由度。6083V −→ V V −→ V↔↔S五、参与五、参与↔↔S−×↔↔∈∈∈∈/↔两个视图的情况可以被认为是单应嵌入R27。每个三元组产生的9个单应嵌入中，有7个是线性无关的。因此，假设非退化点配置，4个这样的三元组足以唯一地确定单应嵌入的27×28矩阵，单应张量H根据该矩阵按比例计算H，G是表1：两视图和三视图运动模型、每个对应的嵌入的数量K、嵌入类型、用于单应性估计的子空间类型以及要在（7）中使用的余维参数c运动模型K嵌入估计C2-视刚体1对极R9中的超平面13-视刚体4三焦点R27中的超平面19随后，他又进行了工作[39]。通过三焦点嵌入的单应性估计。不-R3中的一个6维子空间2- 新单应性2单应性R91中的超平面274三焦点在R6中的值得注意的是，两个单应性也可以被唯一地计算，从由三焦点嵌入产生的6维零空间。设π是三维空间中的一个平面。我们拥有：3- 新单应性7单应性R271中的超平面第二个提案。 单应性H′，G 由平面π引入的“”诱导出一个由三焦点张量构成的6维向量空间TH，G.每个T∈TH，G是相容的低相对余维c/D，c=D−dimS的子空间S <$R D，被M个任意离群群O =[O1，. - 是的- 是的 ，OM] ∈ RD×MK，Oj∈ R D×K，并且我们希望找到S。设X<$=[XO]<$∈RD×LK，与点对应x x′x′′通过pro-从π中引出点。此外，TH，G由H，G唯一确定，并且唯一确定H，G。证据根据命题1，H导出基本矩阵的三维向量空间FH这些矩阵-一个未知的群置换，表明X的内群和外群的分割不是先验的。当X∈i是X∈i的第i组点（可以是内点或外点），且当y=0时1（y）=1，否则1（y）=0时，在X∈ i的一般位置假设下，3ces具有[v]×H的形式，其中v在R中变化。他们在-是的范围空间的正交补最优化问题导出一个3参数投影矩阵族[Hv]，'，所有相容对应x x'获得通过从π投影点。一个类似的论点表明存在一个3参数族的投影矩阵，minB∈RD×cΣLi=1.Σ1名X名B名F名S.T.rank（B）= c.（六）ces[G d] for"与对应x x“兼容通过从π投影点获得。由于H、G是由同一平面引入的，所以我们有一个6参数族[I0]，[Hv]，[Gw]的摄像机投影都与对应的x x′x′′由π投影点得到兼容。 该家族的每一个成员都有一个三焦点因为（6）在计算上是难以处理的，并且在实践中，内围群并不完全位于 ，我们将其替换为 下面是Stiefel流形上的鲁棒优化问题（正交矩阵集）ΣL张量T，其中Ti=hiw其中hi，gi是H，G的第i列. 它们形成一个6维向量minB∈RD×ci=1XBB=Ic.（七）空间TH，G.最后一句话又是从Propo开始的。位置1，因为H唯一地确定FH，并且由它唯一地确定，直到尺度，并且对于G，FG也是类似的。（7）的最优解B_∞的值域空间包含c个最小范数的正交方向，设xix′ix′i是从π投影6个一般点所得到的对应。命题2的一个结果是，24三焦点嵌入矩阵（每个对应4个嵌入）将具有6维左零空间。单应性H、G可以通过类似于对极嵌入的方法从零空间中唯一地恢复，并且类似地对于稍微不完美的对应的情况。3. 优化：group-DPCP假设我们给定一组N个内点群X=[X1，. . .，XN]R D×NK，其中每个群XiR D×K在其列中包含K个内点，这些内点位于线性投影数据集，因此我们将其称为双与经典的主成分类似的主成分。在这项工作中，我们采用组DPCP公式（7）来解决存在大量失配7的鲁棒单应性估计。例如，假设我们有一个2视图单应性估计问题与第Lgiv en对应xi参与者x′i，其中N其中的M个是高质量的xParticix′，M个是不匹配的oParticio′。回想一下§2.1，每个对应关系xx′i包含两个单应嵌入XiR9×2，即， K=2。嵌入X高质量对应的R9×2N接近于超平面7在最近的工作[42]中，问题（7）被提出用于RANSAC中的可选局部优化步骤，但是用Huber损失代替了Huber1范数，以处理Huber1范数的不可微性。6084∈§····联系我们联系我们我其正常载体直接编码同源性。另一方面，在OR9×2M的错配嵌入中不存在线性结构.然后，我们可以通过求解c=1的（7）来鲁棒地估计单应性。或者，我们可以使用对极嵌入-RD中的Oi导致ρO和δO值较小。让i=1，.，然而，我们的结果如下：3号提案（7）的任何整体解B∈ R D×c，c=D−d是S的标准正交基，只要dings，其中的任务是从3-维零空间（§2.1）。在这种情况下，我们求解（7）..MρO公司简介沃欧克min .mdΣΣ2 +δ2对于c=3（no wXi是对极嵌入），这个零空间的标准正交基，然后M KO<1.一、（八）πX通过求解（3）来跟踪单应性。类似地，对于3视图对应的单应嵌入，需要选择c=1，或者对于三焦点对应的单应嵌入，需要选择c=6（表1）。对极或三焦点EM工作的重要性-在这种情况下，beddings是计算性的：注意，对极/三焦点嵌入的尺寸比单应嵌入的尺寸小。例如，每个correspondence给1 epipolar嵌入，而不是2单应性的，在R9或4对7在R27的3视图的情况下。这将导致更快的计算和更轻的内存使用，这也证明了在4。另一个潜在的优势来自鲁棒子空间学习理论[18]：众所周知，当内点数据的内在维度d与环境维度D相比很小时，检测离群值是一项简单得多的任务。在这种情况下，可以使用具有有效实现的基于低秩和稀疏表示的方法的最新工具箱[43，44，45，46，47，48，49]。相比之下，当d/D较大时，任务明显更具挑战性[22，50]。3.1. 全局最优性（7）我们提出了一个新的条件的全局最优性（7）在无噪声的情况下，否则，这是很普遍的。这个条件是通过扩展[23]对BTB形式约束的分析而得出的=Ic 以及点的分组。什么提出任何 i1，. . . ，i为1 ， . - 是 的 - 是的，M，我们有秩（[Oi1Ois] ） =minD ，Ks。任何随机Oi以概率1满足这一点，随机失配的单应嵌入也是如此。我们定义三个量取决于内点X或外点O：为了解释（8），让我们将M/N之比固定为常数值那么（8）左边的其余部分是一个分数，其分母仅取决于内点，其分子仅取决于外点。X、O分布越均匀，分母越大，分子越小，即，（8）更容易满足。当X，O是单应嵌入时，（8）如何表现的研究将留给本手稿的更长版本。4. 实验评价我们使用DPCP8进行了单应性估计的实验研究。用于求解（7）的算法是DPCP-IRLS，此后称为DPCP（c），其中c是目标零空间的维数。例如，对于2视图单应嵌入，c=1，而对于对极嵌入，c=3。类似地，对于3视图单应或三焦点嵌入，我们分别具有c=1，6。我们employ一个C++实现的DPCP的2视图的问题，以及一个MATLAB实现的3视图。我们使用三种RANSAC变化作为替代方案。的第一个是USAC [14]，它是最先进的一个代表。USAC使用来自4个采样对应的均相嵌入生成模型假设，并通过重投影误差确定对应与均相模型的接近度。在所有实验中，阈值设定为2个还提供其他选项，如局部优化、渐进式采样和模型验证。我们总是使用后者，而（L）或（P）表示前两个是否已被激活。使用USAC的现成集成C++实现9，但仅适用于2视图问题。因此我们πX：=1minNb∈S<$SD−1ΣNXi=1我将比较这个USAC实现与DPCP的C++实现（仅用于2视图）ρ：=1OMax¨（一）ΣM-BB）¨O标志（OB）？对于3视图实验，我们使用我们自己的优化MAT-两种普通RANSAC算法的实验室实现�DMBTB=Ic1ΣM我爱你i=1FΣM称为RP-RANSAC和SD-RANSAC。这些使用reprojection和子空间距离误差分别。的δO：=（最大O −min（美国）MBTB=Ic我i=1BTB=Ic我i=1RP-RANSAC的阈值始终设置为2个像素。这用于最佳地设置SD-RANSAC的阈值。这里S D−1表示单位球面，而对于矩阵A，我们定义Sign（A）为A/A F，如果A = 0，否则为0。这些量是X，O均匀性的度量。例如，Xi在S中分布得越均匀，πX就越大。类似地，更均匀分布的离群值两者的运行时间都设置为等于MATLAB实现DPCP的运行时间。8实验在标准MacBook Pro 15上运行，配备6核2.2GHz处理器和总共32GB内存。9http://www.cs.unc.edu/6085×קV V V表2：来自MS-COCO数据集的339个合成扭曲图像的单应性估计。角点误差以像素为单位，运行时间以毫秒为单位。方法AUC转角误差时间DPCP（1） 0.892.531.13DPCP（3） 0.885.080.88USAC0.843.345.38平均USAC（L）0.921.1816.6USAC（P）0.7112.621.4USAC（PL）0.846.7522.7DPCP（1） 0.940.810.98DPCP（3） 0.930.960.74中位USAC0.882.373.28USAC（L）0.950.4813.0USAC（P）0.768.581.43USAC（PL）0.930.8311.3图1：原始图像上的一个随机补丁作为参考（红色），其角被扰动以获得第二个补丁（蓝色）。这定义了单应性扭曲（右）。4.1. 单应性变形我们遵循[51，32]的协议从MS-COCO数据集[52]生成扭曲图像，如图所示1.一、我们将每个图像的灰度调整为640 - 480像素，并在随机位置提取256 - 256参考补丁（红色）。然后通过取参考补丁的角并添加均匀噪声到64个像素来生成扰动补丁（蓝色）。通过建立两个补丁的角之间的对应关系来计算地面实况单应性（2.1）。通过用地面实况单应性扭曲扰动的补丁，第二补丁被带回到与参考补丁相同的大小和格式任务是估计给定两个正方形贴片的单应性通过使用匹配阈值0提取和匹配两个补丁之间的ORB特征[ 53 ]来获得对应关系。3和比率测试阈值0。7 .第一次会议。这与[32，图2]中报道的一致。值得注意的是，DPCP优于USAC（PL）和深度学习方法[32，图2]：后者具有大约5和1的平均和中值角误差。2个像素，而DPCP（1）具有2个。53比0 81例复发。另一方面，DPCP（3）似乎不如DPCP（1）稳健，其平均角误差是后者的两倍。我们推测这是由于DPCP（3）的同质性估计流水线，其涉及两个连续的优化问题，即，（7）后接（3）。这是目前研究的主题，将这些合并成一个单一的优化问题，这有望提高鲁棒性。进一步注意，USAC的渐进采样策略似乎产生更高的平均角误差，例如，USAC（PL）的平均误差为6。75，下降到1。18对于USAC（L），其渐进采样被关闭。根据我们的调查，原因似乎是匹配的ORB特征之间的亲和度得分-用于确定采样的优先级[14，54]-不能很好地区分真匹配和假匹配。10总体而言，USAC（L）给出约1个像素的最小平均角误差和0的最高平均AUC值。92. 这并不奇怪，因为已知局部优化会导致高精度[13，14，42]。但是，请注意，DPCP（1）的运行速度平均比USAC（L）快15倍，并且性能仅略低于USAC（L）。4.2. 运动恢复结构我们通过来自KITTI 里程计[55]和TUM RGB-D[56]数据集的序列上的这些镜头涵盖了室外驾驶场景，以及室内人造环境，这些场景被证明是很好的全息模型。我们匹配假定的2视图或3视图对应的每对/三重图像。[11]我们丢弃三个视图中对应关系少于30的对于每种方法，估计视图对（，′）和（，′′）的单应性为了评估的目的，我们进一步使用提供的相机校准信息将估计的单应性转换为校准的单应性，然后执行单应性分解[57，58]以获得旋转和平移矩阵。对于单应性，最多有四对可能的旋转和平移，并且相对于地面真实值具有最小误差的一对用于评估。12最后，对于每个估计的单应性模型，具有最小重投影误差的20个对应关系用于通过光束法平差来细化姿态[59]。表2报告了精密度下的平均/中位面积查全率曲线（AUC），[51]中定义的像素角点误差和来自MS-COCO数据集的339个随机采样图像的运行时间。首先，USAC（PL）的平均和中值角误差为6。75和0。83像素重新-[10]我们还探索了其他类型的特征，如SURF，结论是相同的。[11]我们对KITTI数据集使用SURF，对TUM数据集使用ORB。[12]在实践中，例如，cheirality约束来消除歧义。这使评估步骤复杂化，因此此处不采用。6086--(a) 单应内点（红色）靠近壁平面。(b) 单应性内点（红色）是非平面的，但具有较大的深度，并且接近运动方向。图2：将单应性拟合到KITTI数据集序列0的帧101和105（见图2a）以及序列8的帧3301和3305（见图2b）。与对极几何（蓝色和红色）和单应性模型（红色）兼容的点显示在第一个视图中。KITTI里程计。这是一个自动驾驶数据集，包括从固定在汽车顶部的摄像头拍摄的图像。如图由于存在正确匹配的点，可以成功地使用单应性，这些点1）位于场景的平面部分（图2a）或2）具有大的深度并且接近运动的方向（图2b）。第2b段）。对于每个序列13，帧1、101、201.. 被采样为第一视图，然后选择间隙4以生成视图的三元组，例如，帧（100，105，109）将是用于评估14的三元组。我们通过使用视图三元组来比较2视图和3视图嵌入的使用：在前一种情况下，我们将视图三元组视为两个视图的对。表 3 （ 顶 部 ） 报 告 了 KITTI序 列 8 的 光 束 法 平 差（BA）前后最低的旋转误差之间的2-视图方法为0。USAC（L）实现了42英里，十三岁1毫秒完成。值得注意的是，DPCP（1）收敛于0。64 ms，旋转误差仅为0。比USAC（L）高1倍此外，DPCP（1）具有最低的翻译误差和BA之前和之后的最低重投影误差：1 .一、46个像素，而不是2个。USAC（L）为26像素。有趣的是，较低的错误是通过3-视图方法实现的，在BA之前。特别是，DPCP（1）给出了最低的ro-在BA之前，13我们测试了序列0-10，这些序列带有地面真实姿态，而在本文中，我们仅对序列8进行了详细研究。14手动选择固定帧间隙以确保足够的基线和足够的特征对应性。所有方法。此外，DPCP（6）似乎比DPCP（3）更鲁棒，给出第二低的误差。值得注意的是，DPCP（6）收敛于2。8ms，并且对于两个视图具有比USAC（L）更小的误差。这是有趣的，因为即使已知对于相同数量的对应，在三个视图上联合优化比在两个视图对上独立地优化给出更准确的姿态[37，60]，但实际上在3个视图上存在更少的对应。该实验表明，使用3视图嵌入可能是有利的。最后，即使为了单应性估计的目的，惩罚重投影误差比惩罚子空间距离更合适，给定相同的时间预算，SD-RANSAC似乎比RP-RANSAC更准确这是因为RP-RANSAC包含额外的矩阵乘法和矩阵求逆，以便计算对称传递误差。例如，在4. 76 ms SD-RANSAC（1）完 成 17 次 迭 代 ， 而 在 4 中 完 成 8 次 迭 代 。 对 于 RP-RANSAC（1）为92TUM RGB-D。该数据集包括从手持式RGB-D相机拍摄的不同室内环境的序列。我们在两个有趣的序列上测试这些方法：“fr 3/nostructuretexturenearwithloop”，其中场景是其上具有海报的平面墙壁，使得可以检测和匹配丰富的特征，以及“fr 2/360半球”，其中运动几乎没有平移。为了方便起见，我们将它们分别称为“近”和“半球”。我们为“近”选择20的帧间隙，为“半球”选择10的帧间隙如表3的中间部分所示，USAC（L）在所有2视图和3视图方法中一致地实现了序列“附近”的最佳性能旋转、平移和重投影误差均为0。42分，3分。16分，0分。66个像素。注意USAC（L）需要30。6毫秒结束。值得注意的是，两个视图的DPCP（1）仅收敛于0。84ms，并具有几乎相同的perfor-曼斯0。46分，3分。3分和0分。67像素。如果我们关闭局部优化，USAC可能比DPCP（1）稍快终止，但代价是准确性显著降低：它的旋转误差和平移误差分别比DPCP（1）高出1倍和9倍以上。还请注意，DPCP（3）的性能几乎与DPCP（1）一样好最后，这些方法的3特别地，DPCP（1）的角平移误差为3。而RANSAC方法给出了至少3倍以上的误差。表3的底部表示序列“半球”的结果。注意，所有方法都给出非常大的平移误差，这是由于运动在该序列中几乎是纯旋转的，这导致在平移方向上的低信噪比[61，62]。请注意，在三个视图上，三焦嵌入显然比单应性嵌入产生更好的结果6087§§表3：使用2视图或3视图嵌入的来自三个视图的单应性估计数据集/序列以粗体显示。旋转和平移误差以度为单位，重投影误差以像素为单位，运行时间以毫秒为单位。BA代表捆绑式调整。BA后BA前KITTI-82视图方法时间腐交易。生殖毒性生殖毒性DPCP（1）0.640.524.022.021.46DPCP（3）0.551.124.858.212.30USAC5.800.6910.53.432.86USAC（L）13.10.426.042.392.26在BA之前，在BA之后三视图方法时间腐交易。生殖毒性生殖毒性DPCP（1）4.630.353.961.681.73DPCP（6）2.800.424.111.811.71SD-RANSAC（1） 4.760.505.772.332.19SD-RANSAC（6） 2.890.557.322.352.15RP-RANSAC（1）4.920.807.825.6411.3RP-RANSAC（6）3.411.6910.736.59.75BA后BA前TUM附近2视图方法时间腐交易。生殖毒性生殖毒性DPCP（1）0.840.463.300.670.67DPCP（3）0.650.463.360.680.68USAC0.661.6312.91.450.99USAC（L）30.60.423.160.660.66在BA之前，在BA之后三视图方法时间腐交易。生殖毒性生殖毒性DPCP（1）7.640.503.900.690.69DPCP（6）4.770.513.960.690.69SD-RANSAC（1） 7.970.946.930.970.82SD-RANSAC（6） 5.070.887.571.200.86RP-RANSAC（1）8.334.4523.036.47.91RP-RANSAC（6）6.866.0129.548.037.1BA后BA前TUM-半球2视图方法时间腐交易。生殖毒性生殖毒性DPCP（1）0.890.9535.91.000.84DPCP（3）0.601.1334.71.040.81USAC0.901.3849.91.300.95USAC（L）27.80.7237.60.990.79在BA之前，在BA之后三视图方法时间腐交易。生殖毒性生殖毒性DPCP（1）4.122.4636.52.691.01DPCP（6）2.701.3235.71.060.86SD-RANSAC（1） 4.281.8547.11.671.82SD-RANSAC（6） 2.821.4747.61.170.97RP-RANSAC（1）4.445.0953.536.937.4RP-RANSAC（6）3.415.3154.512.94.63事实上，DPCP（6）在所有3视图方法中给出了最佳性能，旋转和重投影误差大于1μ m，比DPCP（1）低1个此外，DPCP（6）的收敛时间约为DPCP（1）的一半.事实上，在所有的实验中，DPCP一致地收敛更快，与同形嵌入相反，使用对极或三焦点嵌入这是因为，正如已经在2和3中提到的，前者比后者更经济：对于三个视图，三焦点嵌入的数据矩阵具有单应嵌入矩阵的大小的4 / 7倍，而对于两个视图，该大小比为1/2。另一个潜在的因素是对极/三焦点嵌入的较低固有维度的影响;实际上，按照[ 22 ]中的定理615，已知DPCP对于更高的余维收敛更快。5. 讨论我们已经表明，现代强大的子空间拟合技术是服从几何视觉问题的解决方案。DPCP产生的结果是有竞争力的国家的最先进的方法在可实现的准确性方面我们还证明了在极线或三焦点嵌入上工作可以导致计算效率方面的另一个优点，特别是对于三视图场景，其代价是仅略微降低精度。 我们认为，降低的准确性不是我们的方法所固有的，而是我们解决两个连续优化问题的计算管道的人工产物（正在努力将其减少到一个问题）。从理论的角度来看，我们的贡献依赖于一个新的全局最优性条件的DPCP算法。此外，在单应性拟合的上下文中，我们证明了核线或三焦点嵌入上的零空间由底层单应性唯一定义，从而能够降低固有维数，从而提高计算效率。通过严格和详尽的实验评估，我们非常重视将我们提出的方法与非常成功的RANSAC算法进行比较。我们将所有算法应用到两个和三个视图配置的多个场景中，同时仔细考虑实际影响，如减少在三个视图上的对应关系的数量。进行了比较，以国家的最先进的实现的RANSAC的变种为常规的CPU架构从实际的角度来看，我们认为可用的时间预算是最重要的关注在鲁棒 估 计 ， 在 这 方 面 ， 我 们 证 明 了 DPCP 是 优 于RANSAC。6088[15]在[22]的定理6中给出的迭代次数k的上界是余维的递减函数。6089引用[1] Z. Zhang ， “A Flexible New Technique for CameraCalibra- tion”，IEEE transactions on pattern analysis andmachine intelligence，vol.22，no.第11页。1330-1334，2000。1[2] Z. Chuan，T. D.朗，Z. Feng和D. Z.李，“一个计划-用于摄像机校准的NAR单应性估计方法”，424-429，2003.1[3] R. T. Collins和J. R. Beveridge，240-245，1993年。1[4] D. Liebowitz和A.Zisserman，482-488，1998. 1[5] M. Brown和D. G. Lowe，1218-1225，2003。1[6] G. Simon，A. W. Fitzgienic和A. Zisserman，120-128，2000年。1[7] Z. Zhou， H. Jin和Y.马，1482-1489，2012。1[8] J.Yang和H. Li，1019-1027，2015。1[9] M. Grundmann，V. Kwatra，D.卡斯特罗和我。Essa，1[10] Z. Zhou， H. Jin和Y. Ma，第1页。2299-2306，2013。1[11] T. Tuytelaars和K. Mikolajczyk，“Local Invariant FeatureDetectors ： A Survey ， ”Foundations and Trends inComputer Graphics and Vision，vol. 3，no.第3页。177-280，2007年。1[12] M. A. Fischler 和 R. C. Bolles ， “ 随 机 样 本 共 识 ： aparadigm for model fitting with applications to imageanalysis and automated cartography，”Communications ofthe ACM，vol.24，no.第