大规模三维重建的摄像机参数不确定性估计方法

大规模三维重建MichalPolic1、WolfganggForürstner2和TomasPajdla1[0000−0003−3993−337X][0000−0003−1049−8140][0000−0001−6325−0072]1CIIRC，捷克共和国{michal.polic，pajdla}@ cvut.cz，www.ciirc.cvut.cz2德国波恩大学wfoerstn@uni-bonn.de，www.ipb.uni-bonn.de抽象。运动恢复结构（SfM）中摄像机参数的不确定性估计是评价重建质量和指导重建过程的重要工具。然而，由于计算的挑战，大型重建的估计参数的质量很少被评估。我们提出了一种新的算法，它采用的不确定性传播的稀疏性和速度的计算约10倍w.r. t。以前的方法。我们的计算是准确的，没有使用任何近似值。我们可以在一台标准PC上在几十秒内计算数千台摄像机的不确定度我们还证明，我们的方法可以有效地用于任何大小的重建，通过将其应用到较小的子重建。关键词：不确定性，协方差传播，运动恢复结构，三维重建1介绍三维重建具有广泛的应用范围（例如：虚拟现实、机器人导航或自动驾 驶 汽车 ） ， 并 且因 此 是许多算法的 输 出， 诸 如 运动 恢 复 结构（SfM）、同时定位和映射（SLAM）或多视图立体（MVS）。最近在SfM和SLAM中的工作已经证明，可以从大量图像中获得三维场景的几何形状[1]，[14]，[16]。已经开发了摄像机和点参数的有效非线性细化在SLAM [16]、[28]的情况下，由于固定第一相机姿态和比例，图像中检测到的点的不确定性可以有效地传播到三维场景参数的不确定性中然而，在SfM框架中，我们通常允许规范自由度[18]，因此在现有技术的流水线[23]，[30]，[32]中，不确定度[9]的实际计算大多缺失在SfM中，通常获得直到未知相似性变换的重建，即，旋转、平移和缩放。向后的不确定性2MichalPolic，WolfgangForrtnerandTomasPajdla传播[13]（从检测到的特征点到算法的参数的传播）解决了在自然地，我们想要计算内部几何的不确定性[9]，而忽略相似变换的自由选择的无限不确定性。这可以通过Fisher信息矩阵的Moore-Penrose（M-P）求逆[9]、[13]、[18]来完成。然而，M-P反演是计算上具有挑战性的过程。它在信息矩阵的列数方面具有三次时间和二次存储器复杂度，即，参数的数量快速且数值稳定的不确定性传播有许多应用[26]。我们可以使用它来从大量图像[1]，[14]中选择下一个最佳视图[10]，用于检测错误添加到现有部分重建的相机，用于改善对控制点的拟合[21]，以及用于过滤重建中大多数不受约束的相机，以通过减小重建的大小来加速束调整[2]。它还将有助于通过使用相机姿态的精度来提高迭代最近点（ICP）算法[5]的精度，并提供3D中的点的不确定性[27]。2贡献我们提出了第一个算法的不确定性传播从输入特征点的相机参数，没有任何近似的自然形式的协方差矩阵上千台相机。它比最先进的算法[19]，[26]快大约十倍。我们的方法建立在具有Rao [29]约束的Gauss-Markov估计之上新颖之处在于SfM中的零空间计算的新方法。我们introdice一个快速稀疏的方法，这是独立的旋转参数化。此外，我们还讨论了基于空间的无规度的固定，来自于ForürstnerandWrobel [9]和应用于SLAM的方法，即，块矩阵求逆[6]和Woodbury矩阵恒等式[12]。我们的主要贡献是一个明确的零空间结构，这是基于参数之间的相似性变换的重建制定。使用[9]中的零空间和正规方程，我们正确地应用了块矩阵求逆，这在[26]之前仅近似地完成。这带来了精度以及速度的改进。我们还表明，我们的方法可以有效地用于任何大小的重建，将其应用到较小的子重建。我们的经验表明，我们的方法是有效的和实用的。我们的算法比以前的任何方法都更快，更准确，更稳定[19]，[26]，[27]。我们工作的输出作为源代码公开提供代码，数据集和详细的实验将在网上https：//michalpolic提供。github.io/usfm.github.io.快速准确的摄像机协方差计算33相关工作不确定性传播是一个众所周知的过程[9]，[13]，[18]，[26]。 我们的目标是传播输入测量的不确定性，即。将图像中的特征点转换为重建的参数，例如通过使用投影函数[13]，确定相机的姿态和3D中点的位置。为了不确定性传播的目的，非线性投影函数在实践中通常被使用其雅可比矩阵的一阶近似所代替[8]，[13]。对于使用投影函数的高阶近似的传播，如F？rstnerandWrobel[9]中所述，需要特征点的不确定性的高阶近似。很难准确估计[9，25]。在SfM的情况下，不确定性传播被称为过参数化情况下非线性函数的向后传播[13]，因为投影函数没有完全约束重建参数。[22]，即，可以在不改变图像投影的情况下对重建进行移位、旋转和缩放。我们主要感兴趣的是估计内部几何，例如。[10]《易经》云：“君子之道，焉可诬也？有始有卒者，其惟 内精度不随规格的变化而变化，即到相机和场景的相似性变换[18]。规范固定的一个自然选择是将由投影函数不变性引起的七个自由度固定到空间的相似变换[9]，[13]，[18]，这导致了内部几何一种方法是使用Fisher信息矩阵[9]的Moore-Penrose（M-P）求逆[24]。最近，一些工作，加快M-P反演的信息矩阵的SfM框架已经出现。Lhuillier和Perriollat [19]使用Fisher信息矩阵的块矩阵求逆。他们对与点参数相关的块的Schur补矩阵[34]进行M-P求逆，然后将结果投影到与相似性变换约束正交的空间。这种方法允许处理大得多的场景，因为平方舒尔补矩阵的维数等于相机参数的数量，其至少是该数量的六倍相比之下，平方Fisher信息矩阵的维数仅为摄像机的点数的三倍。然而，不清楚Fisher信息矩阵的分解是否适用于M-P反演而不满足秩可加性条件[33]，并且在[26]中表明，方法[19]并不总是足够准确。Polic等人[26]评估了现有技术的解决方案与高精度算法计算的更准确的结果，即使用100个数字而不是15个双精度有效数字他们比较了几个固定的规范对输出不确定性的影响，发现固定三个彼此远离的点，加上巧妙的反演近似，可以很好地近似不确定性。4MichalPolic，WolfgangForrtnerandTomasPajdla2θ¨= arg min¨f（θ¨）−u¨（4）最相关的工作是[29]，其中包含带约束的Gauss-Markov模型的不确定性公式。我们结合我们的零空间计算的新方法，以固定规范的自由这一结果。最后，让我们提到在SLAM中的快速不确定性传播的工作。SfM和SLAM之间的区别在于，在SLAM中，我们知道并确定第一相机姿态和场景的比例，这使得信息矩阵满秩。因此，可以使用快速Cholesky分解来反转Schur补矩阵以及用于快速协方差计算的其他技术[16，17]。Polok，Ila等人[15]，[28]声称解决SfM中的不确定性计算，但实际上假设满秩Fisher信息矩阵，因此不处理规范自由度。相反，我们在这里解决了完整的SfM问题，需要处理规范的自由。4问题公式化在本节中，我们描述了SfM中不确定性传播的基本概念，并提供了问题公式。三维场景的参数集合θ ={P，X}由n个相机P ={P1，P2，…Pn}和m个点X ={X1，X2，…X m}。第i个摄像机是一个向量P∈R8，它由内部参数（即，焦距ci∈R和径向畸变ki∈R）和外部参数（即旋转ri∈SO（3）和摄像机中心Ci∈R3）。估计参数用帽子标记。我们将确定参数θ（由一个约束点确定使用t个观测值的向量u∈R2t。每个观测值是图像i中的一个2D点ui，j∈R2，检测到一定的不确定性，该不确定性由其协方差矩阵Σui，j=Σi，j描述。它表征了为确定u i而假设的高斯分布，并且可以根据ui的局部分布的结构或[7]来计算。 v∈u（i，j）=p（X（j，P（i））是p∈X（j）到由一个参数P（i）表示的图像平面的一个投影。所有索引对（i，j）都在索引集合S中，该索引集合S确定哪个点被哪个相机i，j=i，j−i，j（一）ui，j=p（Xj，Pi）n（i，j）∈S（二）接下来，我们将函数f（θ（））和向量定义为sp（X（j，P（i））上的所有投影函数i和在err或si，j上的一个独立的向量的合成。u=u+=f（θ）+（3）该函数用于非线性最小二乘优化（束调整[2]）θ¨ ¨快速准确的摄像机协方差计算5uθˆuθˆu其最小化所测量的特征点与所重建的3D点的投影之间的平方差的和我们假设Σu是由Σui，j块组成的块对角矩阵最小化Mahalanobis范数的最优估计θ为θ=argminr（θ）Σ−1r（θ）（5）θ为了找到不确定性传播的公式，非线性投影函数f可以通过其Taylor展开f（θ）<$f（θ<$）+Jθ<$（θ< $−θ）（6）f（θ）≈u（7）这导致参数θ=θ+argmin（J∆θ+u−u）Σ−1（J∆θ+u−u）（8）联系我们∆θ目标函数的偏导数必须在最优1（r（θ）Σ−1r（θ））中为零u−1⊤ −12θ=JθΣu（Jθ∆^θ+u−u）=JθΣu r（θ）=0（9）它定义了法方程组M^θ=m（10）M=J−1Jθˆ ， m=JΣ−1（u−u）（11）法方程系统有七个自由度，因此需要固定七个参数，称为规范[18]，即尺度，平移和旋转。任何固定这些参数的选择都会导致有效的解决方案。协方差的自然选择是唯一的，在所有相机和场景点的缩放、平移和旋转中具有零它可以通过Fisher信息矩阵M的M-P逆或带约束的Gauss-Markov模型[9]得到如果我们假设一个约束h（θ）= 0，其中固定场景的缩放、平移和旋转，我们可以写出它们的导数，即零空间H，如HT∆θ=0H=h（θ）∂θˆ使用拉格朗日乘子λ，我们最小化函数（十二）g（<$θ，λ）=1（J<$θ+u<$−u）<$$>−1（J<$θ+u<$−u）+λ<$（H<$<$θ）（13）2θˆuθ其在最优值中关于λ的偏导数等于零（如在等式1中）。九、g（∆θ，λ）=HT ∆θ= 0（14）∂λ6MichalPolic，WolfgangForrtnerandTomasPajdlaθˆu这种约束导致了扩展的法方程ΣM HΣΣθΣH0λΣJΣ−1（u−u）Σ0并允许我们计算反演而不是M-P反演ΣΣθˆKΣ=ΣMHΣ−1（十六）KTH05求解方法我们接下来描述如何计算零空间H并分解原始等式（1）。16通过块矩阵求逆。所提出的方法假设的投影函数的雅可比矩阵提供数值，并提供零空间独立的相机旋转的表示。5.1雅可比矩阵的零空间可以通过相似性变换3来sθ=sθ（θ，q）（17）取决于七个参数q=[T，s，µ]，用于平移、旋转和缩放，而投影函数f（θ）−f（sθ（θ，q））=0没有任何变化。如果我们假设一个差分相似变换，我们就得到了全导数Jθ ∆θ−（Jθ ∆θ+Jθ Jq ∆q）=Jθ Jq ∆q= 0（18）由于它需要对任何∆q成立，因此矩阵sθH=q=Jq（19）是Jθ的零空间。接下来，考虑参数的顺序，使得3D点参数跟随相机参数θ={P，X}={P1，. . . Pn，X1，. . . X m}（20）相机具有按Pi={ri，Ci，Ci，ki}排序的参数，并且投影函数等于p（Xj，Pi）=Φi（ciR（ri）（Xj−Ci））（i，j）∈S（21）其中，Φ i通过以下方式将向量从R3投影到R2：（i）首先除以第三坐标，以及（ii）将图像数据i应用于第二个参数PΦi。不是那个3变量sθ是θ和q的函数⊤=（十五）快速准确的摄像机协方差计算7HZHH=T.∂µ.（s）.∆X1联系我们∆X1∂µHTHSHµ=（二十八）...可以相当自由地选择函数Φ i，例如增加切向失真或遇到滚动快门投影模型[3]。使用等式17，我们得到，对于（i，j）∈Sp（Xj，Pi）=p（sXj（q），sPi（q））（22）p（Xj，Pi）=Φi（cisR（ri，s）（sXj（q）−sCi（q）（23）p（X？，P？）=Φ（c（R（r？）R（s）−1）（（µR（s）X？+T）−（µR（s）C？+T）（24）ii i i i注意，对于任何参数q，投影保持不变。它可以通过扩展上面的等式来检查。等式24在T和μ中是线性的。XjandCi的差如下∆Xj（Xj，q）=Xj−sXj（q）=Xj−（µR（s）Xj+T）（25）∆Ci（Ci，q）=Ci−sCi（q）=Ci−（µR（s）Ci+T）（26）JacobianJθandthenulspaceHcanbewrittenenas不第1页S第1页联系我们第1章 . . . p1p1. . . p1。..f（θθˆˆ简体中文=.P.简体中文.X.HTHsHµJ=.... ...， H =. ..PPP（二十七）θ∂ptX1X1X1不XmSXm公司简介其中p t是第t个观测值，即对（i，j）∈S。H的列与变换参数q有关。行与参数θ有关。空间参数ΔPi=[Δri，ΔCi，Δci，Δki]和ΔXj的差分的定义将直接应用于i上参数q=[T，s，μ]的变换形式，实际上是零空间的块∂∆r1∆r1∆r1T∆C1T伊什∆C1（s）∂µ∆C1∂µ03×3Hr1 03×1∆c1∆c1∆c1I3×3 [C1]xC1T01×301×30∆k1∆k1∆k101×301×30I3×3 [X1]xX1。.I3×3[Xm]xXm.∆ XmT∆Xm∂µHHHH简体PX简体......∆X1（s）...8MichalPolic，WolfgangForrtnerandTomasPajdlaθrn（1）nn(a) TheJacobianJθn（b）NulspaceHF ig. 1：计算区域Jθ的结构（HforCubedataset， for clarity ， using6个参数foreCAMERAPi（不包括所有分支和分支））。 矩阵J r和H r由J和H的红色子矩阵组成。绿色子矩阵的乘法等于−B，参见等式31岁其中[v]x是斜对称矩阵，使得对于所有v，y∈R3，[v]xy=v×y。等式24在旋转s上不是线性的。为了处理任何旋转表示，我们可以计算出赫里的价值对于所有使用的Eqn。十 八 岁 这些列（其中，C0n不包含块Hri）是对该子空间的剩余部分以及对JacobianJθ的方向。方程Jθ（H=0）的结构可以表示为JrHr=B（29）其中，Jr∈R3n×3n由红色子矩阵构成块对角矩阵矩阵（见图1）1）的J？矩阵Hr∈R3n×3由红子矩阵H鲁伊θ∈R3n×3asH =100000. . 简体中文（zh_cn）矩阵B ∈ R3n ×3由绿色子矩阵组成（见图2）。（1）J？乘以H的负绿色子矩阵。这个系统的解决方案是Hr =J−1B（31）其中B是通过稀疏乘法计算的，参见图2。1.一、J r的反演是对角线上有n个块R3×3的稀疏矩阵的逆5.2不确定性传播到摄像机参数不确定性的传播是基于Eqn。16.扩展的Fisher信息矩阵的逆首先以更好的数值精度为条件，如下r快速准确的摄像机协方差计算9K T˜ ˜˜pK TpQ−1=pppppppppB Dp−Z−1BA −1Z−1F ig. 2：对于Cubedat和P∈R6，矩阵i x Q p的结构。ΣΣθKΣ=ΣSa0Σ。ΣSa0Σ ΣM HΣΣSa0ΣS0Σ−1一（三十二）KT0Sb0Sb H 0 0Sb0SbΣΣθKΣ=ΣSa 0Σ ΣMsHΣ ΣS 0Σ−1S一HS0（三十三）KT0Sb0SbΣΣθKΣ=SQ−1S（34）由对角矩阵Sa，Sb，其条件矩阵J，H的列。其次，我们将Q的列置换为点参数后跟相机参数ΣΣθKΣ=SP~（P~QP~）−1P~S=SP~Q−1P~S（35）其中P是适当的置换矩阵。矩阵Qp=PQP是满秩矩阵，其可以使用块矩阵求逆来分解和求逆ΣAB−1p<$A−1+A−1BZ−1B<$A−1−A−1BZ−1<$啪啪啪啪其中Zp是点参数块Ap的对称Schur补矩阵Z−1=（D−BA−1B）−1（37）啪啪啪啪矩阵Ap∈R3m ×3m是一个稀疏对称块对角矩阵，对角线上有R3×3个块，见图2。二、摄像机参数的协方差是使用Z p的本征值来计算的，对于我们的摄像机模型，Zp具有大小R（ 8n+7）×（ 8n+7）（即，P i∈R8）ΣP=SPZsSP（38）其中Zs∈R8n×8n是Z−1的左上子矩阵，SP是对应缩放矩阵S的子=（三十六）10MichalPolic，WolfgangForrtnerandTomasPajdla6子重建的不确定性第5节中描述的基于具有约束的高斯-马尔可夫估计的算法原则上适用于数千个相机。然而，具有数千个摄像机的大规模重建将需要大的空间，例如。Rome数据集[20]的131GB，用于存储我们的相机模型Pi∈R8的矩阵Z p，并将inversionmig hteinacuretena c u r e ter因此，它有助于评估相机Pfrom的可靠性- 仅部分子重建，其包括摄像机和C ^附近的点。使用子重建结构，我们可以应用从完整重建中计算出的uncertaintyy我们的近似的误差随着子重建的大小的增加而减小。如果我们在重建过程中加上摄像头，我们添加至少四个影响Fisher信息矩阵MiasMi+1=Mi+M∆（39）其中矩阵M是添加的观测的Fisher信息矩阵。我们可以使用第5节中的等式将此更新传播到Schur补矩阵Zi+1=Zi+Z∆（40）其具有全秩。利用伍德伯里矩阵恒等式（Z+JΣJ）−1=Z−1−Z−1J（I+JZJ）−1J Z−1（四十一）伊塔∆∆我我∆ i∆∆i我们可以看到，正定协方差矩阵在添加一些观测之后被减去，即不确定性降低。我们凭经验表明，误差随着重建尺寸的增加而减小（见图1）。（3）第三章。我们已经发现，对于100-150个相邻相机，误差通常小到足以在实践中使用。子重建的每个评估产生子重建中涉及的相机的不确定性的上限。上限的准确性取决于完整重建到子重建的特定分解。为了得到可靠的结果，将重建分解几次并选择具有最小迹的协方差矩阵是有用的这种近似的质量和选择的最佳分解的理论证明是一个开放的问题，为今后的研究。7实验评价我们使用合成以及真实数据集（表1）来测试和比较算法（表2）的准确性（图1）。（3）速度（图）4）.对子重建的评估示于图1A和1B中。5、6a、6b。所有实验都在具有一个2.6GHz Intel Core i7-6700HQ的单个计算机上进行，该计算机具有32 GB RAM，运行64位Windows 10操作系统。快速准确的摄像机协方差计算11表1：数据集总结：NP是相机的数量，NX是3D中的点的数量，并且Nu是观测的数量。数据集1和3是合成的，2、9来自COLMAP [30]，4-8来自Bundler [31]# 数据集NPNXNu1立方体615602玩具10602003平坦3010010334达利博尔卡6420052055马里安斯卡11880 873248 5116多尔诺斯拉斯基 360529 829226 00267伦敦塔53065 768508 5798圣母院715127 431748 0039塞舌尔1400407 1932 098 201#算法表2：所用算法1.使用Maple进行M的M-P反演（Kanatani [18]）（地面实况）2.使用Ceres对M进行M-P反演（Kanatani[18]）3.使用Matlab对M进行M-P反演（Kanatani[18]）4.带修正项的Schur补矩阵的M-P逆（Lhuillier [19]）5.三点固定的Schur补矩阵的TE逆（Polic [27]）6.零空间边界不确定性传播比较的算法列于表2中。计算rixΣP的协方差的标准方法是使用奇异值分解（SVD），将最后七个奇异值设置为零，并将其余奇异值反转，使用矩阵的M-Pinv该过程有许多实现，它们在数值稳定性和速度方面不同。我们比较了其中的三个。Alg. 1使用Maple中的高精度数字表示（在Daliborka数据集上运行22小时），Alg. 2表示Ceres [2]中的实现，其内部使用Eigen库[11]（在Daliborka数据集上运行25.9分钟3是我们的Matlab实现，内部调用LAPACK库[4]（在Daliborka数据集上运行0.45秒）。此外，我们比较了Lhuilier [19]和Polic [26]方法，它们近似于不确 定 性 传 播 ， 我 们 的 算 法 表 示 为 零 空 间 边 界 不 确 定 性 传 播（NBUP）。所有算法的准确性与图中的地面实况（GT）进行比较。3.在前四个数据集上进行评价，这些数据集具有合理的少量3D点。第四代GT的计算12MichalPolic，WolfgangForrtnerandTomasPajdlaΣ1err=˜我我我8数据集大约需要22个小时，由于时间和内存要求，较大的数据集是不可计算的。我们使用奇异值分解的信息矩阵我们还使用了100位有效数字，而不是双数表示所使用的15位数字GT计算遵循[26]的方法。我们的相机模型的协方差矩阵（包括旋转、相机中心、焦距和径向失真）包含大范围的值。一些参数，例如由欧拉矢量表示的旋转的单位是单位，而其他参数如焦距是千单位。此外，在所有测试的示例中，旋转比焦距更好地受到约束。这一事实导致协方差矩阵的旋转部分的平均绝对值约为6×10−5，焦距方差的平均值约为3×104。数据集1-4和的标准偏差对于旋转约为8×10−3，对于焦距约为2×10 −3。为了获得不同参数的可比标准偏差，我们可以将旋转的平均值除以π，并将焦距除以2×103。我们使用相同的方法来比较测量误差P64Σ|O（l，m）|⊘O(l,m)（四十二）l=1m=1TheerrrorerrrPi 如何通过GTcvarimatricesΣPi来计算差值andtheecommputtedonesΣP. 在rixO=.E（|P|）E（|P|）（43）具有维数O∈R8×8，并将误差归一化为原始单位绝对大小的百分比。符号表示元素级划分matrices（i. e. C¯=A¯B¯equalsC¯¯（i，j）/B¯（i，j）对于（i，j））。图3示出了图1中的所有相机的误差的平均值的比较。数据集。我们看到，我们的新方法NBUP在所有数据集上提供了最准确算法的速度如图所示。4.注意，M-P反转（即，Alg. 1-3)不能在中等和较大的数据集5-9上评估，因为存储密集矩阵M需要存储器。我们看到我们的新方法NBUP比所有其他方法都快。在数据集7-9上获得了相当大的加速，其中我们的NBUP方法大约快8倍。在数据集5-9上测试子重建的不确定性近似。 我们使用不同数量的相机将重建分解多次，如k′={5，10，20，40，80，160，320}，并测量相机参数的近似协方差的相对和绝对误差。图图6示出了较大子重建的误差的减小我们使用视图图随机选择的néig hbouringcamera的集合，为a chké i创建了25个子区域结构。注意图6a示出了平均值8 ..（i，j）=AΣ快速准确的摄像机协方差计算13101100十比一10-21 2 3 4ˆFig. 3：ThemeanerrrorerrPi 所有的C都是Pi和Alg。2-6在dasts1-4上。注意，Alg. 3.得到协方差矩阵的标准形，在数值上更加敏感。它有时会产生完全错误的结果，即使是小的重建。的相对误差由Eqn给出。42.图6b示出了绝对协方差误差随着子重建中的相机数量的增加而显著减小。图5示出了在实践中使用的协方差的最简单近似的误差。对于每台摄像机，使用视图图的100个邻居来获得子重建，以评估不确定性。它为每个相机的协方差产生上界估计，我们从中选择最小的一个，即。具有最小迹线的协方差矩阵，并评估relativerr或errPi的平均值。8结论当前用于评估SfM中的不确定性的方法[19]、[26]依赖于1）通过使用几个参数作为观测值来施加规范约束，这不会导致协方差矩阵的自然形式，或者2）依赖于Moore-Penrose反演[2]，由于立方时间和二次存储器复杂性，Moore-Penrose反演不能用于中型和大型数据集的我们提出了一种用于SfM中的零空间计算的新方法，并将其与具有约束的高斯马尔可夫估计[29]相结合，以获得允许鲁棒求逆的满秩矩阵[9]。这使我们能够使用SLAM的有效方法，如块矩阵求逆或伍德伯里矩阵恒等式。我们的方法是第一个允许在具有超过数千个相机的场景上计算协方差矩阵的自然形式的方法，例如。1400个摄像头，计算时间可承受，例如60秒，在标准PC上此外，我们表明，使用大约100-300相机的子重建提供了可靠的估计任意大的场景的不确定性。2) 谷神星（金谷县[11]）3) MATLAB（Kanatani [11]）4) Z（Lhuillier [17]）5) TE反演（Polic [16]）6) NBUP14MichalPolic，WolfgangForrtnerandTomasPajdlaP图4：速度比较。与Alg进行全面比较。2，3是不可能的，因为内存的复杂性。Alg. 3失败，见图。3.第三章。图5：从视图图中近似一百个相邻摄像机协方差的相对误差。9确认这项工作得到了欧洲区域发展基金在IMPACT项目下的支持。编号CZ.02.1.01/0.0/0.0/15 003/0000468），EU-H2020LADIO项目编号731970，以及布拉格CTU资助机构的项目SGS16/230/OHK 3/3 T/13，SGS 18/104/OHK 3/1 T/37。(a) 相对误差的平均值errr 我(b) 绝对误差中位数图6：使用子重建的不确定性近似的误差作为子重建中的相机的数量的函数。快速准确的摄像机协方差计算15引用1. Agarwal ， S.， Furukawa ， Y.， Snavely ， N. 西 蒙 岛 Curless ， B.， Seitz ，S.M.，塞利斯基河：每天都有来自我的晚餐。ACM54（10），105- 112（2011）的通用性2. Agarwal，S.，Mierle，K.，其他：谷神星解算器。http://ceres-solver.org3. Albl，C.，Kukelova，Z.，Pajdla，T.：卷帘快门绝对相机姿势。IEEE计算机视觉和模式识别会议论文集。pp. 22924. Anderson，E.，Bai，Z.，Dongarra，J.，Greenbaum，A. McKenney，A.，Du Croz，J.，Hammarling，S.，Demmel，J.，比肖夫角，Sorensen，D. ： Lapack ： 一 个 用 于 高 性 能 计 算 机 的 便 携 式 线 性 代 数 库 In：Proceedings of the 1990ACM/IEEEconnferenceonSupercomputinging. pp.2-11 03 TheFamousFamous（1990）5. Besl，P.J.，McKay，N.D.：三维形状配准方法。在：传感器融合IV：ControlPar adi gms和数据结构中。 vol. 1611，pp. 586-607 国际光学与光子学会（1992年）6. Eves，H.W.：基本矩阵理论03 The Dog（1966）7. Forstner，W. ：ImageMatching，vol. II，chap. 16，pp. 289-379 03TheDog（1993）8. Forstner，W. ：不确定性和预防性。 In：Hand bookofGeometricComuting，pp.493-534 02TheDog（2005）9. Forstner，W.， 我是B. P. ：Photo grametricComute r Visin。02TheDog（2016）10. Frahm，J.M.，Fite-Georgel，P.，Gallup，D.，Johnson，T.，Raguram河吴，C.，Jen，Y.H.，Dunn，E.，Clipp，B.，Lazebnik，S.，等：在万里无云的日子里建造罗马。In：Er opeanConfer enceonCom up uterVison。pp. 368-38102TheDog（2010）11. Guennebaud，G.，雅各布湾等：Eigen v3.3.http://eigen.tuxfamily.org（2010）12. Hager，W. W. ：更新了一个矩阵的投资。S1AMreview31（2），22113. 哈特利河齐瑟曼，A.：计算机视觉中的多视图几何。剑桥大学出版社（2003）14. 嗨，J.， S cho¨nberger，J. L.， Dunn，E.， Frahm，J. M. ：在六天内重新开始拍摄世界 *（由雅虎一亿图像数据集拍摄）。计算机视觉和模式识别（CVPR）（2015）15. Ila，V.，波罗克湖Solony，M.Istenic，K.：协方差恢复的快速增量光束法平差在：3D视觉国际会议（3DV）（2017年10月）16. Ila，V.，波罗克湖Solony，M. Svoboda，P.：Slam++--一个高效的、可伸缩的增量Slam框架。The International Journal of RoboticsResearch36（2），21017. Kaess，M.，Dellaert，F.：从数据的平方根信息矩阵的协方差恢复。R〇b〇ticsandaut〇n〇m〇ssystems57（12），119818. Kanatani，K.I.，Morris，D.D.：不确定性几何结构不确定性描述的规范和规范变换。IEEE Transactions on In-formamonton Théry47（5），201719. Lhuillier，M.，Perriollat，M.：复杂三维重建的不确定性椭球计算。在：2006年IEEE机器人与自动化国际会议论文集，2006年。ICRA2006年。pp. 306202The Dog（2006）20. 李，Y.，Snavely，N.Huttenlocher，D.P.：使用优先化特征的位置识别。In：Europea nco nfere nceo ncomm puttervisio n.pp. 79102TheDog（2010）16MichalPolic，WolfgangForrtnerandTomasPajdla21. Maurer，M.Rumpler，M.，Wendel，A.，霍普角Irschara，A.Bischof，H.：地理参考三维重建：融合公共地理数据和航空影像。机器人与自动化（ICRA），2012年IEEE国际会议。pp. 3557IEEE（2012）22. Morris，D.D.：3 D计算机视觉的量规自由度和不确定性建模。博士02 TheDog（2001）23. Moulon，P. Monasse，P.马莱河其他：Openmvg。一个开放的多视图几何图形库。https://github.com/openMVG/openMVG24. Nashed，M.Z.：广义逆及其应用：威斯康星大学麦迪逊分校数学研究中心主办的高级研讨会论文集，1973年10月8日至10日.第32号，爱思唯尔（2014年）25. Polic，M.：三维场景分析http://cmp.felk.cvut.cz/www.example.com26. Polic，M.，Pajdla，T.：大型三维重建中的摄像机不确定度计算在：3D视觉国际会议（2017）27. Polic，M.，Pajdla，T.：大型三维重建中的不确定度计算在：扫描- dinavi anCo nfere nceo nImageA nalysis。pp. 110第201章：一个人的世界28. 波罗克湖Ila，V.，Smrz，P.：三维重建质量分析及其在gpu集群上的2016 年 第 24 届 欧 洲 信 号 处 理 会 议 （ EUSIPCO ） pp. 1108http ：//doi.org/10。1109/EUSIPCO. 2016年。776042029. Rao，C.R.，Rao，C.R.，统计员，M. Rao，C.R.，Rao，C.R.：线性统计推断及其应用。2. 03 The Dog（1973）30. S cho¨nberger，J. L.， Frahm，J. M. ：从m-mot ionrevited开始执行。在：IEEE计算机视觉和模式识别会议（CVPR）（2016）31. Snavely，N. Seitz，S.M.，Szeliski，R.：摄影旅游：探索3D照片集。 在：ACMtransacti onsongraphics （ TOG ） 。vol. 第 25 页 。835-846 ACM（2006）32. Sweeney，C.：Theia多视图几何库：教程&参考。网址theia-sfm.org33. 田某：m × n分块矩阵的Moore-Penrose逆及其应用Linearalgebraanditsapplicat〇ns283（1），3534. Zhang，F.：Schur补及其应用。03 The Dog（2005）