基于多视图的本质矩阵平均算法及其在SfM中的应用

12----联系我们--2ik2222本质矩阵的代数特征及其在多视图中Yoni Kasten* Amnon Geifman* Meirav Galun Ronen Basri Weizmann科学{yoni.kasten，amnon.geifman，meirav.galun，ronen.basri}@ weizmann.ac.il摘要基本矩阵平均，即，在校准的多视图设置中恢复摄像机位置和方向的任务是从运动到欧几里得结构的全局方法中的第一步。基本矩阵平均的常见方法是分别求解相机取向并随后求解相机位置。本文提出了一种新的方法，同时解决了两个摄像头的方向和位置。我们提供了一个完整的charac- terization的代数条件，使一个独特的欧几里德重建n个摄像机从一个集合（n）的基本矩阵。接下来，我们使用这些条件来制定基本矩阵平均作为一个约束的优化问题，使我们能够恢复一组一致的基本矩阵给定的（可能部分）一组测量的基本矩阵独立计算的图像对。我们最后使用恢复的基本矩阵来确定n个摄像机的全局位置和方向。我们在常见的SfM数据集上测试了我们的方法，与现有的方法相比，在保持效率和鲁棒性的同时表现出较高的准确性。这是不充分的，并且可以与反例相矛盾，参见补充材料中的一个这样的构造。建立本质矩阵的一致性约束是产生本质矩阵平均算法的重要一步。 给定n个图像I1，…在图1n中，用于从运动恢复全局结构（SfM）的常见方法开始于鲁棒地估计视图对之间的基本矩阵Eij，从该基本矩阵提取相对成对旋转Rij和平移tij的估计。然后，通常在两个步骤中执行运动平均：首先，通过平均相对旋转来求解绝对相机取向Ri。然后，使用相对平移和恢复的绝对取向，恢复绝对相机位置ti。最后用光束法平差对解进行精化本文的目标是建立一套完整的必要和充分条件的一致性的本质矩阵，并使用这些条件来制定一个一步算法的平均本质矩阵。到这是一个被称为“n”的物体。-vΣiews基本矩阵，其通过堆叠n es-1. 介绍其中一 个 重 要 的 基 础 条 件 是。n个基本矩阵一致，在这个意义上说，存在n个欧几里德相机矩阵，产生他们？这个基金-我说的是他的名字。否则你就不会看到你的作品了。众所周知，3= 3基本矩阵是连续的。当且仅当第三视图的核极在每对视图之间正确地转移时，即，对任意1≤i，j，k≤3，∈TFijejk=0.最近的工作[15]提出了一个se。t oΣ f代数充分必要条件使得n个基本矩阵在一般位置上为坚持可以预期满足那些相同条件的基本矩阵将相对于欧几里德相机矩阵是一致的。 然而，这些条件是* 同等贡献者将矩阵分解为3n×3n矩阵，其第i，j我们证明，除了射影一致性，（在[15]中引入），该矩阵必须具有三对特征值，每对特征值具有相同的幅度但相反的符号，并且其特征向量直接编码相机参数。我们使用这些结果来引入第一个（我们已知的最好的）本质矩阵。我会让他死的。给定n个基本矩阵的子集的噪声估计，我们的算法寻求找到最接近的一致的基本矩阵集。我们制定这个问题的约束优化和解决它使用ADMM。然后，我们在全局SfM流水线中合并该算法，并在[25]的数据集上评估我们的流水线，在几乎所有图像集合上显示出相对于现有技术方法的优越精度，同时还保持了效率。58955896我我我我我我3J我−i jj2. 相关工作用于欧几里德运动平均的方法可以分为两个主要类别：增量方法[16，20，1，14，26]从帧的一个小子集开始，并产生初始重建。其余的相机然后被顺序地用于重建。这些方法非常成功，而且相当稳健。然而，他们必须在每一步应用光束法平差细化，以防止相机漂移。因此，当应用于大数据集时，这些方法在计算上是相比之下，全局方法[3，25，8，13，18]同时恢复典型的全球SfM管道继续通过应用一个摄像机方向求解器，然后是位置求解器。全局方向解算器[3，17，24，9，5]在给定图像对之间的相对旋转测量的情况下求解相机的绝对方向。[3，17]推导出最小化从成对相对取向构造的最小二乘目标的封闭形式解这些方法是非常有效的，但由于放松或非正规性的要求，结果通常是次优的。其他方法[24，9，5]利用旋转群的李代数结构来执行SO（3）中的旋转平均。然而，这些方法经常收敛于局部最小值。最近，[7]利用强对偶原理在一定条件下求出了全局极小值。全局位置求解器[3，25，18]假设已知的摄像机方向，并通过使用噪声相对平移来求解摄像机的绝对位置[3]使用点对应来找到绝对位置的最小二乘解。[25]制定了一个高度非凸的对象，并解决了绝对平移利用Levenberg-Marquet算法与随机初始化。[18]在制定凸松弛时使用类似的目标[6]使用线性全局方法，该方法在考虑特征轨迹的同时最小化视图的三元组中的几何误差。所有上述方法都高度依赖于对相机的绝对旋转的准确估计，这是由旋转平均方法产生的。综合方法：[22]通过最小化极线传递误差将基本和基本平均的问题表述为全局优化。虽然他们的方法设法提高了查看图形的一致性，但它无法生成一致的重建，因此它需要旋转和平移平均的后处理步骤。[19]引入了多视图基本/基本矩阵的概念。然而，他们的工作只建立了一部分限制条件此外，他们使用复杂的非凸目标，使他们只能完善一个完整的重建。[15]给出了基本矩阵的一组完备的相容性条件。他们制定了一个强大的优化目标，并展示了最先进的投影重建。结构。然而，他们的方法限于投影设置，并且不适用于校准设置，即，用于欧几里得重建。[24]提出了一种方法，该方法首先优化摄像机位置，然后优化它们的方向，并且作为后处理同时优化两者。然而，该方法对异常值敏感。最近的工作探索了本质矩阵流形的性质[23]。然而，它们的表征仅适用于单个基本矩阵，而不适用于一般的多视图设置。最后，[2，11]探索多视图设置的一般代数属性。我们的论文扩展了[15，19]的工作，通过引入一套完整的多视图本质矩阵一致性的充分必要条件，并提出了一个有效的和鲁棒的优化算法，本质矩阵平均，包括这些条件。3. 理论让我1，...，In表示分别由相机P1，…Pn.每个摄像机Pi由3×4矩阵Pi=KiRT[I，−ti]其中Ki是3×3校准矩阵，ti∈R 和Ri∈SO（3）表示的位置和方向在一些全局坐标系中。我们毛皮-因此表示Vi=K−TRT，所以Pi=V−T[I，ti]。因此，令X=（X，Y，Z）T是全局坐标系中的场景点。 它在Ii上的投影由xi=Xi/Zi给出，其中Xi=（Xi，Yi，Zi）T=KiRT（X−ti）。我们分别用Fij和Eij表示图像Ii和Ij之间的基本矩阵和本质矩阵。在[3]中表明，Eij和Fij可以写成Eij=RT（Ti-Tj）RjFij=K−TEijK−1=Vi（Ti−Tj）VT其中Ti=[ti]×.在本文中，我们假设所有的校准矩阵是已知的，所以我们的工作涉及解决欧几里德SfM的问题。本文的推导采用了文[ 15 ]中“n -视图基本矩阵”和“一致n -视图基本矩阵”的定义为了清楚起见，我们首先重复这些定义，然后为校准的情况定义类似的在下面的定义中，我们表示用S3n构造了所有3n×3n对称矩阵的空间.定义1. 一个矩阵F∈S3n，其3 ×3的分块用Fij表示，称F是n-视图基本矩阵，如果i=j∈{1，. ，n}，rank（Fi，j）=2且iFi，i=0。定义2. 如果 存在摄像 机矩阵 P1 ，… ， Pn的 公式Pi=V−T[I ， ti]su c ht ， 其 中 Fij=Vi （ [ti]×−[tj]× ）VT。5897i=1{}我我∈n−⇒- −∈我i=1--定义3.一个矩阵E ∈ S3n，其3 × 3的分块记为Eij，如果i/=j∈{1. . . n}，r_an_k（E_i_j）=2，E_i_j的两个奇异值相等，并且iE_i= 0。定义4.一个n维本质矩阵E称为consis-如果存在n个旋转矩阵{Ri}n和n个向量，3.1. 主要理论结果在这一节中，我们推导并证明了n-视图本质矩阵的谱分解的一致性的必要和充分条件这些条件随后将用于制定约束优化问题并提取运动参数tni=1 su c hthatEij=RT（[ti]×−[tj]×）Rj.从一致的n-视图本质矩阵E。定理3.设E∈S3n是一个相容的n-视图基注意，任何（一致的）n-视图本质矩阵也是（一致的）n-视图基本矩阵。文[15]证明了n维基本矩阵相容的充分必要条件。[15]的主要理论贡献总结在定理1中。对于n-视图本质矩阵的相容性，文[19]给出了部分必要条件集。 它们是-具有中心不全共线一组n个摄像机的谈话矩阵我们用Σ+，Σ−R3×3分别表示E有3个正特征值和3个负特征值的对角矩阵。那么，以下条件是等价的：1. E是一致n维本质矩阵2. E的（瘦）SVD可以写成以下形式：在下面的定理2中描述。定理1. 一个n视图基本矩阵F与一组中心不全共线的n个ΣE=U，VΣ。+ΣΣVT ΣΣ+UT当且仅当以下条件成立：当U∈R，V∈R3n×3时，V∈ R的 一个3×3bl oc k，Vi，i=1，. ，n，i是一个n-规模的随机矩阵，i。例如，1. 秩（F）= 6，F正好有3个阳性和3个阴性。特征值2. 对于所有i = l，…n，其中Fi是F的第3× 3 n i个块行。Vi=√1Ri，其中Ri∈SO（3）. WesaythatVisa块旋转矩阵3. +=E的形式定理2. 设E是一致n维本质矩阵，与旋转矩阵{R}n和相机cen相关联。.E= [X，Y]Σ+Σ ΣXTΣΣ−YTii=1nters{ti}i=1。E满足以下条件使得0的情况。是块旋转矩阵。1. E可以用公式表示为E=A+AT，其中A=UVT且U，V∈R3n×3证据(1)（2）设E是一个一致的n维基本矩阵. 然后，根据Thm。2，E=A+AT其中A=UVT且U，V∈R3n×3，取RTRT Tmas在（1）中。 由于A=UVT且rank（A）= 3，则1 11ATA=V UTUV且ATA≥0且秩（ATA）= 3V=。RTU=.RTTn中文（简体）（A和T）A共享相同的空空间）。首先，我们骗-不n n构造到A A的谱分解，依赖于spe-其中Ti=[ti]×，Σnt=0。i=1iU和V的社会性质。我们有秩（U）= 3，因此UTU，这是一个3×3的对称正半2. U的每一列与V的每一列正交，不定矩阵，是满秩的。其谱分解为UTU=QDQT，其中Q∈SO（3）。（规格-也就是说，VU= 03×3谱分解保证Q∈O（3）. 然而，在这方面，3. rank（V）=34. 如果不是所有的t，n都是共线的，则rank（U）和rank（A）= 3。此外，如果A的（瘦）SVD为Q可以替换为如果det（Q）=1.）的人。 DR3×3是由UTU的（正）特征值组成的对角矩阵。该谱分解产生以下分解A=UVT，其中U，V∈R3n×3和Σ∈R3×3ATA = V QDQTV T.（二）则E的（薄）SVD为注意ΣΣΣΣΣVT ΣTΣ√5898R.E=U，V TΣ ΣR1ΣUQTV TV Q = QTR1，…， RnQ = nI三乘三。不这意味着秩（E）= 6。n5899−⇒n我∈⇒n√我⇒我n我我n我我 Jn我J J√不联系我们我JJ通过一个简单的操作（2）变成一个谱分解。√0. 5（U+V） 和Y=√0。5（V-U（）。 Sinc eV=塞廷ATA=. 1科隆五世ΣQ（nD）QT.Σ1 VTn.（三）√0. 5（X+Y），并通过条件（2）Vsabl o crotati on矩阵，则声明被确认，并且Σ−=Σ+。（2）设E是满足条件（3）的一致n-视图基本矩阵，即，另一方面，A的（薄）SVD具有以下形式：其（薄） .频谱 decom position Is 的 他不 关于我们UV T，当UV∈R3n×3，Σ ∈R3×3。这意味着E= [X，Y]Σ+Σ−X，其中YT0的情况。5（X+Y）ATA=VΣ2VT（四）它是矩阵x上的一个b l o c kro tati。Sinc eΣ+=−Σ−，wecan使用Lemma5，whichhic im.plie sthatheΣ（tΣhi n）SVΣDisof由于特征向量分解的唯一性，（3）和（4）折叠为相同的特征向量分解，形式E=Σ ΣΣU、VVTΣ+UT得双曲余切值.对于任意一个目标，H∈SO（3），它是√1VQ=VH，whichich ichmeannsth a tVi=√1RTQHT. Sinc eRT，Q，HT∈V=√0. 5（X+Y），继续进行。推论1. 欧几里得重建 让E成为一个骗子SO（3），thenRi=：RTQHT SO（3），showingthhatVis块旋转矩阵。最后，Thm。2，E的（薄）SVD具有以下形式如果n维本质矩阵具有6个不同的特征值，则可以显式地确定R1。. . Rn和t1，. . . ，t，n，其与E一致。ΣE=U，VΣ。ΣΣΣVT ΣΣUT（五）证据该声明通过以下构造来证明，其依赖于Thm的光谱表征。3 .第三章。并且根据引理5，E的特征值是Σ和-Σ由于Σ的对角线上的元素是正的，并且E恰好与3个正特征值Σ+和3个负特征值Σ−对称，因此Σ = Σ+并且1. 计算E的特征向量X、Y，以及相应的三个正特征值Σ+和三个负特征值Σ−。2. 为了实现Thm. 3、 有8-Σ= Σ- 证明结束。选择√0。5（X+Y I），其中I=（二）(1) 设E是一致的n维基本矩阵满足条件（2）的条件。我们想证明s s±1 0 0E是一致的n-视图本质矩阵。按条件（2）E可以写成0 ±1 00 0 ±1的符号模糊性E=UΣ+VT+VΣ+UT=UV T+V UT，（6）其中U¯=U（ Σ+），V（i ）=√1R（ i ） ，R（ i）∈SO（3）. 通过定义Eii=0，并且它实现了UiVTiskewsy m tric。 利用引理4，如果S个对称矩阵xTi=[ti]×，则U i =V i T i。Pluggi ngUiandV iin（6）yiel dsEij=U¨iV¨ T+V¨iU¨T每个特征向量。然后， Is被选择为使得0的情况。S（X+YIs）是块旋转矩阵，直到可以被移除的全局符号。3. 该谱分解直接确定了Thm的条件（2）形式的SVD分解。3 .第三章。我们要强调的是，由于奇异值的多重性，直接在E上执行的标准SVD方法通常不会产生这种特殊的SVD模式。=1RTRT−1RTRT=RiT（[ti]×−[tj]×）Rj，当Ri=RT且ti=1ti，c时，将其覆盖。sin c eEii=0weg eth a tU¨iΣ+V¨ Tiskews对称。我们不知道U¯i=UiΣ+，并且，由引理4，ithol dsth a tTi=V−1Ui。Ini（二）（三） 让 E是 一个 n-视图 基本矩阵这 满足条件（2）。这意味着E的（瘦）SVD可以写成形式E=5.最后， 对于i=√4. 关系式Eij=Ui+Vi+Ut，JJ5900IJ我i×Jj×Σ−1，2，...，n，定义Riti=：1tianditholddstha t=：√nVT和ΣΣU，V+ΣΣVTUTΣ，whereVis a bl oc kr ota-nE=RT（[t]-[t]）R.tionmatrix. 第五章，Lemma5，the（thi n）specΣtraΣldec omΣ-Σ+XT该构造产生{Ri}i=n和{ti}i=n，它们是E的位置是E= [X，Y]T，i=1i=1Σ+Y其中X、Y是E的特征向量，满足 X=与E. 此外，重建在全局相似性变换中是唯一的。大致Σ+5901−∈∈∈0的情况。5（X−√Y），V=0。5∈3≤IJ∈∈k=1k=1（U，V）：X=100。5（U+V），Y=√0. 5（VU），U=--Mm联系我们也就是说，对于n= 3，可以通过应用[12]中的一个参数来证明这一点接下来，对于n >3，通过归纳，假设我们获得了两个接收到的字符串s， P1 ， … ，Pn 和P1′，…，Pn′. 根据归纳法的假设，这些必须包括两组n1个非共线摄像头，使每个都是唯一的到相似性变换。这样的两个集合在至少2个相机中重叠，这又意味着两个相似性变换必须相同。补充材料中提供了完整的证据。3.2. 支持引理引理4. [15]设A，BR3×3且rank （A）= 2，rank（B）= 3且ABT是斜对称的，则T=B−1A是斜对称的。引理5. 设ES3n的秩为（6），ΣR3×3为对角矩阵，对角线上有正元素. 设X，Y，U，V ∈ R3n×3，定义映射（X，Y）参与√−然后，E的（薄）SVD具有以下形式：最近，[15]提出了一种用于投影SfM的类似方法他们表明，一致的3视图基本矩阵，它唯一地确定相机矩阵（直到投影模糊）从一个三重图像，是不变的缩放其成对的基本矩阵。这使他们能够制定一个优化问题，寻求3-视图的基本矩阵，这是一致的和兼容的，同时避免了显式优化的比例因子的需要在本文中，我们介绍了一个类似于[15]的优化方案，但适用于校准设置。特别是，我们的计划使用的代数constraints来自Thm。3，以加强噪声的一致性，并可能部分基本矩阵。类似于[15]，我们的方法同时强制彼此刚性连接的相机三元组的一致性，使我们能够避免对估计的基本矩阵的未知尺度进行显式(To为此，我们进一步延伸Thm。3来处理图像三元组的缩放旋转，详情请参见补充材料然而，由于欧几里得重建所需的额外谱约束，我们的公式比[15ΣE=U，VΣ。ΣΣΣVT ΣΣUT在本节的其余部分，我们提出了我们的约束优化公式，并提出了一个基于ADMM的解决方案。接下来，我们讨论如何选择迷你当且仅当E的（瘦）谱分解具有以下形式三元组的错误子集以加速优化。最后，我们展示了如何我们的优化结果可以用来重建的绝对方向和位置的n.E= [X，Y]ΣΣ ΣXTΣ−ΣYT相机4.1. 优化证据 证据在补充材料中提供。4. 方法给定图像I1，…在图中，我们假设使用标准的鲁棒方法来估计成对本质矩阵，其中通过Ω=Eij定义。在实践中，只有很少的由于遮挡、大的视点和亮度变化以及对象的运动，成对本质矩阵的子集被估计，并且此外，可用的估计是有噪声的因此，我们的目标是找到一个一致的n-视图基本矩阵ES3n，这是尽可能相似的测量基本矩阵。为了使n-视图本质矩阵一致，其成对本质矩阵的块必须各自由未知因子缩放。[19]提出了一种优化方案，该方案明确寻求未知的比例因子，从而产生非线性的秩约束优化公式。这种方法的成功关键取决于其初始化的质量，这在实验中是通过应用另一种最先进的SfM方法获得的。在多视图设置中，通常定义视图图G =（V，W），其中节点v1，. . . ，Vn，对应于n个摄像机，并且如果Ejisoneoftheesti-成对本质矩阵 令τ表示相机的m个团的集合，其中m（η）。该集合可以是G中的3-团的全集，或如在第2节中 所 述 的 所 选 择 的 子 集 。 四 点 二 。 我 们 通 过 k =1，…， m，其中τ（k）表示第k个三元组。集合τ确定了测量的基本矩阵Ω的部分选择，其在优化问题中起作用，其中，如果Eij ∈ t，则ET=Eji∈。我们定义一个度量矩阵E∈S3nEijasits（i，j）thbl o cifEijΩand03×3intherestof它的块。在我们的优化问题中，我们寻找E，它是E的一 个 子 集 ， 并 且 它 是 由 下 式 引 起 的 9×9τ （ k ）并表示为 Eτ（k）、是一致的3视图基本矩阵。 一般来说E是不一致和不完整的，但正如我们在第二节中解释的那样。4.3 可以检索与其基本矩阵兼容的一组N个绝对旋转和平移，这又意味着缺失项的完成是一致的。5902Fτ（k）K∈∈Kk=1k=1KMMk=1Σ =2II10−ii√我们将约束优化公式化如下Σm这是一个凸二次问题，可以有效地解决，使用封闭形式的解决方案。尽量减少Ek=1||Eτ(k)−Eˆτ(k)||2（七）(ii) 解Bk。对于所有k= l，…MTB（t）=argmin||Bk− E+Γ（t−1）||2（十）服从E=Ekτ（k）kFBKEii= 03×3rank（Eτ（k））= 6Σ+（Eτ（k））=− Σ−（Eτ（k））X（Eτ（k））+Y（Eτ（k））是块旋转，其中i=1，…n和k=1，…m在哪服从秩（Bk）= 6Σ+（Bk）=− Σ−（Bk）该子问题的最小值以以下方式获得。通过构造，E（t）−Γ（t−1）是一个sym-Σ+（Eτ（k）），Σ−（Eτ（k）） ∈R3表示3个最大的（de-度量矩阵，我们表示其（全）谱分解-其中U∈R9×9且Σ∈R9×9是一个3、最小的（升序）特征Eτ（k）和X（Eτ（k））的值R9×3和Y（Eτ（k））R9×3是它们对应的特征向量。求解（7）由于其秩和谱分解约束而具有挑战性我们解决这个优化问题，lem使用ADMM。为此，作为ADMM方法[4]的一部分，4m个大小为9×9特征值按降序排列的对角矩阵。然后，更新是B（t）=UΣ*UT，（11）其中Σ*∈R9×9是一个对角矩阵，其元素.添加：2m个变量复制{Eτ（k）}m ，表示1（Σ − Σ）i/= 4、5、6B={Bk}k=1和D={Dk}k=1，以及2m拉格朗日ii0i=4，5，6乘子Γ={Γk}m和Φ ={Φk}m .这产生约束优化问题Σm(iii) 求解Dk。对于所有k= l，…MMaxminL（Eτ（k），Bk，Γk，Dk，Φk）（8）D（t）=argmin||Dk− E+Φ（t−1）||2（十三）Γ、ΦE、B、Dk=1kτ（k）kFDK服从E=ETEii= 03×3秩（Bk）=秩（Dk）=6Σ+（Bk）=−Σ−（Bk）服从秩（Dk）= 6X（Dk）+Y（Dk）是块旋转矩阵我们尽量减少这个子问题的迭代过程中，我们重复，直到收敛。我们从Dk=X（Dk）+Y（Dk）是块旋转（吨）τ（k）-Φ（t−1），其通过构造是对称的。我们其中i = 1，…n和k = 1，…m在哪¨对Dk应用谱分解，并提取X（Dk），¨2Y（Dk）、Σ+（Dk）和Σ−（Dk）。 假设没有特征值L（Eτ （k），Bk，Γk，Dk，Φk）=¨Eτ （k）−E¨τ（k）¨+多重性，特征向量被唯一地向上¨α¨ ¨α ¨¨F为符号（这个论点在5.1中得到了证明）。我们用Is表示，1？B-E+ Γ？2+2？D−E¨2+ Φ。K F大小为3×3的对角矩阵，使得每个对角el-e-¨2kτ（k）kF 2kτ（k）我们在t= 0B（0）= Eτ（k），D（0）= Eτ（k），Γ（0）= 0，Φ（0）= 0。项为1或-1。Is有八种配置从中选出最好的，从这个意义上说，每个3 × 3块，形式为0。5[X+Y Is]i，i= 1，2，3，（吨）（吨）E（十二）5903ˆ√B−E¨Fαk k k k接近缩放旋转，使用以下分数，然后，我们通过al-¨迭代求解优化问题，在以下四个步骤之间交替（i）求解E.Σ3Is*=argmaxIs¨diag（（Xi+YiIs）T（Xi+YiIs）¨二、（Xi+YiIs）T（Xi+YiIs）Σm¨2i=1E（t）=argmin¨ ¨Eτ（k）−Eτ（k）（9）¨ ¨Ek=1FV1接下来，设V =V为0的投影。5（X+Y I*）2秒+1<$（t−1）+ Γ（t−1）<$V32k¨¨τ（k）k¨F¨2所以Vi是最接近的缩放旋转√0. 5 [X+YIs*]i.+2¨D（t−1）−E2K+ Φ（t−1）¨通过去除以下项获得缩放SO（3）的投影：服从E=ET和Eii= 03×3SVD分解的奇异值，设置奇异值平均值的比例因子，以及τ（k）K5904ikttijk=1----可能对比例因子取反以使行列式e√∗˜√positive. L√e t U=0。5（X-YIs），且X=0。5（U+V）并且Y〜= 0。5（V−U）。Dkto的值是否已更新是对称矩阵.~~Σ+Σ Σ ΣXTDk= [X，Y]Σ−Y~T表1.估计摄像机方向的误差，与并重复这些步骤直到收敛。（iv）更新Γk，Φk。 对于所有k =l，. . . ，m地面实况测量。Rf表示在不同相机上平均的平均弗罗贝尼乌斯范数误差，并且Rd是平均和平均误差。（吨）（t−1）（吨）（吨）以度为单位的角误差空单元格表示缺少信息。Γk= Γk+Bk−Eτ（k）（14）Φ（t）= Φ（t−1）+D（t）−E（t）（十五）k kkτ（k）两个三胞胎中的一个必须同意两个骗局中的一个，比喻 因此，假设两个三元组都定义了4.2. 图的构造和离群点去除如上所述，为了应用我们的优化算法，需要确定相机三元组的集合τ，其是给定相机三元组的子集子集的选择允许更好的效率和鲁棒性。类似于[16，15]，我们考虑加权查看图G，其中每个边缘的权重被分配为与Ii和Ij相关的内层匹配的数量。我们首先从G中选择不相交的最大生成树，从中我们提取一个初始的三元组子集然后，我们删除近共线和不一致的三胞胎。接下来，我们建立一个三元组图GT的节点，代表图像三元组，连接的边缘，每当两个三元组共享相同的最后，我们贪婪地从GT中移除节点。从最不一致的三元组开始（使用下面定义的旋转一致性得分），只要保持GT的连通性并且与GT相关联的相机的总数不减少，就移除节点为了定义每个三元组的共线和一致性得分，我们将由三个摄像机i、j、k形成的三角形中的角度分别表示为θi、θj、θk。 我们使用已知的相对平移tij、tik、tjk来测量每个角，即，ttt01-02ij）。然后，共线性得分cam-|||||| ik||eras{i，j，k}是最小图像ein{θi，θj，θk}。同步传输服务器由以下各项定义|θi+θj+θk−π|和托管服务供应商||.||.4.3. 位置和方向检索在求解（7）之后，我们从E中提取3视图本质矩阵的集合Eτ（k）m，由于优化，其与缩放旋转一致。接下来，在步骤3使用具有附加块归一化的推论1三个旋转{Rτ（k），Rτ（k），Rτ（k）}和三个平移对于A和B的相同配置，在两个三元组之间存在唯一的相似变换。在实践中，在我们的实验中，我们观察到情况总是如此。通过第2节中所述的施工工艺在图4.2中，三元组τ的集合形成连通三元组图。因此，可以遍历该图并对每个新节点τ（k）的三个相机应用相似变换，并且因此将所有相机带到公共欧氏坐标系。5. 实验为了评估我们的方法，我们实现了接下来描述的SfM流水线，并在来自[25]的各种大小的无序互联网照片的十个具有挑战性的集合上对其进行了测试每个数据集被提供有地面实况摄像机参数。我们使用我们的方法来恢复相机参数，并将它们与现有方法获得的参数进行比较，在光束法平差（BA）之前和之后5.1. SfM管线我们算法的输入是一组独立估计的成对基本矩阵，以及每个成对基本矩阵的内点匹配的数量我们建立一个三元组图GT，我们在第二节中描述。4.2，去除任何（a）共线性得分低于0.17弧度的三元组，(b)旋转一致性得分超过1.1，或（c）平移一致性得分超过1弧度。最终的连通图GT定义相机的三元组的集合τ接下来，我们应用我们的优化算法，如第2节所述。4.1.在优化过程中，我们观察到Bk和Dk（10）的特征值总是不同的k= 1，. . . 、m. 这意味着优化变量，τ（k）τ（k）1 2 3τ（k）t1，t2，t3（1）每个人都有一个自己的故事，被唯一地定义直到相似性变换。现在我想，τ中共享两个相机a、b的任何两个三元组在Eab上一致。由于Eab的符号是固定的，因此它确定了多达2个唯一配我们方法查特日e等人 [五]《中国日报》Martine等人 [17个]数据集Rf研发Rf研发Rf研发维也纳大教堂0.11414.73280.15147.8472--Piazza del Popolo0.05952.40980.228711.60220.590127.2359纽约图书馆0.12004.87510.12266.07650.539528.4385阿拉莫0.07513.04890.08794.49580.15037.3180都市0.3015.66130.461226.56361.138158.6143约克明斯特0.14996.63430.15267.80171.343473.3679蒙特利尔ND0.06082.46520.10495.87420.241911.928伦敦塔0.12505.07310.13665.88720.343516.6457埃利斯岛0.06362.57840.04992.24860.06162.49555905置的相机a、b[10]。因此每个Eτ（k），确实收敛到3-视图一致本质矩阵。具有不同特征值的三角形。在这个阶段，我们遵循推论1来恢复每个三元组相机的相机位置和取向，并通过相似性变换来对齐所有恢复的相机矩阵，如图10中所描述的。5906Tab l e2. 在[ 25 ]的集合处，相机的位置错误或在仪表上进行了评估。 N是每个数据集中的图像数量，x′，x ~是指介质错误或相应的最佳绑定和最佳调整，x′BA，x~BA是指介质错误或最佳绑定和最佳调整。 N是重建相机的数量。空单元格表示缺少信息。我们的方法LUD[18]1DSFM[25]崔[6]数据集TR+TTBATTotTR+TTBATT otTR+TTBATT otTR+TTBATT ot维也纳大教堂68293566787208146732336113934-717959Piazza del Popolo262787883116242213255-93144纽约图书馆28581251024720047382429-4890阿拉莫47155327385133750152646798-362621都市167093673814247224271---约克明斯特33116207103148297719551026-63108蒙特利尔ND411704942711675539310431136-226351伦敦塔41120241888622861750811-121221埃利斯岛2153140---29276305-6495圣母院52277720707126104720521392344-7931159表3.表2中的结果以秒为单位。 TR+T表示用于运动平均的时间（对于其他方法旋转和平移估计）。 TBA是光束法平差的时间，TTot是该方法的总运行时间，包括用于构建三角形覆盖的附加时间。空单元格表示作者未测试的图像集合此外，Cui [6]在BA之前未报告结果秒四点三。这产生具有绝对位置和取向的一组相机。最后使用BA对所获得的相机参数5.2. 结果为了评估我们恢复的摄像机方向，我们将我们的结果与Chat-terjee等人的方法获得的结果进行了比较。[5]和Martinec et al.[17 ]第10段。为了公平的比较，我们在我们的方法中使用此外，由于与我们的方法相反结果总结于表1中。我们的方法在十个数据集中的九个数据集中优于这两个求解器。为了评估我们恢复的相机位置，我们将我们的方法与以下位置求解器进行比较：[25][26][27][28][29][29][29][29]][29][29][29][29]结果总结在表2中。请注意，[18，6]在其管道中使用点匹配，而我们的方法和[25]在最终BA之前通常，后一种方法允许更快的优化，但在BA之前导致另一方面，与[18，6]相比，它允许最终BA的更大改进。实际上，如表中可见，虽然我们的方法在十个数据集中的三个数据集中（根据平均误差）优于束平差之前的所有其他方法，但在BA之后，它在十个数据集中的八个数据集中实现了表3进一步比较了BA之前和之后的执行时间，表明与现有方法相比，我们的方法是有效的。5.3. 技术细节对于光束平差，我们使用Theia标准SfM库[21]。表2和表3中[18、6、25]的相机位置结果取自论文。我们在带Windows的Intel（R）-i7 3.60GHz上进行了实验。束调整在具有16个核的2.30GHz的Linux机器Intel（R）Xeon（R）CPU上执行6. 结论本文给出了多视图中基本矩阵一致性的代数条件和在给定噪声和部分测量值的情况下求其平均值的算法。在未来的研究中，我们将寻求进一步将共线相机三元组的平均算法，探索数值属性，并设计在线一致性执法算法的SLAM设置。鸣谢本研究部分得到密涅瓦基金会的支持，并得到德国联邦教育和研究部的资助我们的冰毒odLUD[18 ]1DSFM[25]Cui[6]数据集Ncxx~x¯BAx~BANrxx~x¯BAx~BANrx~x¯BAx~BANrx~x¯BAx~BANr维也纳大教堂8369.64.25.41.2674105.4104.47506.62e40.57573.54.02.6578Piazza del Popolo3287.23.52.50.827551.541.03053.12002.63032.63.22.4294纽约图书馆3323.32.21.10.4727762.071.43202.5200.42921.46.90.9288阿拉莫5772.51.20.80.3548220.420.35471.12e70.35210.63.70.5500都市34115.26.92.71.416841.641.52889.9701.2288----约克明斯特4375.62.71.90.834152.741.34043.45000.23953.7143.8341蒙特利尔ND4501.91.00.60.441610.510.44352.510.94250.81.10.4426伦敦塔57211.65.041.0414204.7103.342511400.44144.46.21.1393埃利斯岛22714.16.15.31.7211-----3.7400.42133.11.80.6211圣母院5531.80.80.40.25290.80.30.70.25361072.15000.30.80.25395907引用[1] Sameer Agarwal，Noah Snavely，Ian Simon，Steven MSeitz，and Richard Szeliski.一天建成罗马。2009年IEEE第12届计算机视觉国际会议，第72IEEE，2009年。[2] Chris Aholt 和 Luke Oeding 理 想 的 三 焦 点 品 种 。Mathematics of Computation，83（289）：2553-2574，2014.[3] MicaArie-Nachimson 、 ShaharZKovalsky 、 IraKemelmacher-Shlizerman、Amit Singer和Ronen Basri。基于点匹配的全局运动估计。2012年第二届国际3D成像、建模、处理、可视化&传输会议，第81-88页。IEEE，2012。[4] Stephen Boyd，Neal Parikh，Eric Chu，Borja Peleato，Jonathan Eckstein，et al.通过乘数交替方向法的分布式优化和Foundations and Trends in Machine Learning，3（1）：1[5] Avishek Chatterjee和Venu Madhav Govindu。鲁棒相对旋转 平均。 IEEE Transactions on Pattern Analysis andMachine Intelligence，40（4）：958[6] 崔兆鹏，蒋念娟，唐承洲，谭平。具有特征轨迹的线性全 局 平 移 估 计 ArXiv 预 印 本 ， ArXiv ： 1503.01832 ，2015。[7] Anders Eriksson，Carl Olsson，Fredrik Kahl，and Tat-Jun Chin.旋转平均和强对偶性。在IEEE计算机视觉和模式识别会议论文集，第127-135页，2018年[8] Thomas Goldstein ， Paul Hand ， Choongbum Lee ，Vladislav Voroninski ， and Stefano Soatto. Shapefit 和shapekick可根据运动实现稳健、可扩展的结构。在欧洲