基于多视点基本矩阵的投影摄像机矩阵恢复方法

1.首先，给我一个基金，让我为我做一个简短的介绍-. 在典型的设置中，只有一部分是对的，尺寸为3n×。通过叠加所有基本的.当矩阵为已知矩阵时，GPSfM：基于多视点基本矩阵Yoni Kasten* Amnon Geifman* Meirav Galun Ronen Basri Weizmann科学{yoni.kasten，amnon.geifman，meirav.galun，ronen.basri}@weizmann.ac.il摘要本文讨论了在多视点环境下从基本矩阵集合中恢复投影摄像机矩阵我们有两个主要贡献。n2年龄，我们提供了一个完整的代数特征，的形式的条件是必要的和充分的，使相机矩阵的恢复。这些条件基于将基本矩阵作为块布置在单个矩阵（称为n-视图基本矩阵）中，并且根据其特征值和秩结构的符号来表征该矩阵。其次，我们提出了一个具体的算法，利用这种特性的投影结构从运动给定测量的基本矩阵的完整或部分集合，我们的方法寻求使测量的基本矩阵的全局代数误差最小化的相机矩阵。与现有方法相比，我们的优化，没有任何初始化，产生一组一致的基本矩阵，对应于一组独特的相机（投影帧的选择）。实验结果表明，该方法在准确率和运行时间上都达到了最先进的水平。1. 介绍本文研究从基本矩阵集合中恢复投影摄像机矩阵的问题。许多多视图运动结构（SFM）流水线开始，给定n个图像，I1，.，通过从点匹配的集合鲁棒地估计图像对之间的基本矩阵，例如， 使用RANSAC 怎么-n2基本矩阵可以估计，估计的矩阵有时可能会出现显著的误差。此外，基本矩阵是通过齐次方程定义的，因此可以假定任何比例因子，但* 同等贡献者这些比例的一致设置在多视图设置中是重要的[20，22]（类似于在校准设置中解析相机因此，从理论和实践的角度来看，相机矩阵的精确恢复是令人感兴趣的本文对这两个方面都作出了贡献一个重要的理论问题是，给定一个集合，n2矩阵是一致的，在这个意义上，存在n个凸轮，产生这些基本矩阵的矩阵。我们通过提供一组代数约束来解决这个问题我们的公式推广了[22]中引入的必要条件的部分列表，考虑了对称矩阵Fn2矩阵 它提供了F在其特征值和秩模式的符号的术语我们的代数特征的一个优点是，它可以很容易地被用来构建优化算法来恢复相机矩阵。本文的第二部分介绍了一种从测量的基本矩阵直接恢复投影摄像机矩阵的有效算法。我们的算法，它利用本文提出的一致性约束，使用全局优化的相机恢复，克服噪声和丢失的测量。它还避免了先前方法[22]中的主要困难之一-需要准确地恢复每个估计的基本矩阵的比例因子。这使我们能够获得国家的最先进的结果，而无需任何初始化。我们证明了我们的方法的实用性，将其应用到各种大小的未校准的图像集合。我们的实验表明，我们的方法优于以前的方法在准确性和运行时间。1.1. 以前的工作投影相机矩阵的恢复是在几个工作线中进行的。增量算法[13，15，19]顺序处理图像，交错相机和深度恢复，用于ev。32643265其中=（X，Y，Z）=K R（−）。我我1不我ik××我纪我n注意V=K-TRT，所以P=V-T[I，-t]。因此，委员会认为，全新形象。这样的方法可能对处理的顺序敏感，并且可能由于误差的累积而遭受漂移。对每个新图像使用光束法平差减少了这种漂移，但计算量很大。基于因式分解的方法[5，6，12，15，16，23，25]将包括跨视图的所有点匹配的测量矩阵分解为相机矩阵、深度值和3D点位置的（未知）乘积这些方法通常会产生非常大的优化问题，一个明显更简单的优化算法，包括一个新的算法，用于恢复投影相机矩阵，从一致的MVFF，这是缺乏[22]2. n维基本矩阵的代数约束设I1，. . .，In表示分别由投影相机P1，.， Pn. 每个摄像机Pi由3×4矩阵表示Pi=KiRT[I，-ti]，其中Ki是3×3校准矩阵，将问题分解为更小的子问题，lems。ti∈R3我和Ri∈SO（3）分别表示全局方法。最近提出了许多“全局方法”，证明了从成对测量（基本或基本矩阵）中准确有效地恢复相机矩阵，主要是斯威尼·艾尔。[24]试图通过最小化三个视图中重新投影的点的差异（通过“对极点转移”）来提高基本矩阵的一致性。然而，他们不能实现投影恢复，因为他们的方法不能保证改进的基本模型的一致性和在某个全局坐标系中的方向，以及I表示3 × 3单位矩阵。下面，我们将进一步...我我设X=（X，Y，Z）T是全局坐标中的场景点。nate系统它在Ii上的投影由xi=Xi/Zi给出，XT TX t我我们接下来表示图像之间的基本矩阵Ii和Ij由Fij。在[2，22]中，证明了Fij可以写为F=K−TRT（T−T）R K−=V（T−T）V、（1）三次 Sengupta等人 [22 ]第22话：努力奋斗！伊伊j jji i jj测量的基本矩阵上的应变。由于需要同时恢复合适的比例因子，他们的方法对误差敏感，并且需要高度准确的初始化，这是通过应用最先进的校准LUD算法[18]来实现的，这违背了在没有校准的情况下恢复投影相机的目的查看图形的可解性。许多论文试图设计可以识别“可解视图”的算法一个观察图表捕捉了帕特-缺少基本矩阵的术语。设G=（V，E）是一个图，使得节点v∈V表示图像I，其中Ti= [ti]×。可以容易地验证，F ij的这种定义与基本矩阵[8]的标准性质一致，包括（a）P TFijPj是斜对称的，以及（b）eTFijejk= 0，其中eik表示相机k的中心在相机i上的投影，即，eik=Pitk。然而，请注意，（1）将比例赋予每个Fij，使其与某个全局坐标系相关。在实践中，给定两个图像，基本矩阵仅被确定 我们将估计fundamenta lmatrixbyFijandassume，incaseitisesti-根据这种情况，F_i_j=λi_jF_i_j，λi_j未知0的情况。. Σ边eij∈Eex存在于与Ii相关的矩阵Fij中并且Ij是可用的。G称为可解的，如果对应的可以唯一地确定N个摄像机矩阵（直到4× 4投影变换），尽管缺少基本矩阵。识别可解图等价于在给定一组部分基本矩阵的情况下，询问F是否可以唯一地完成以满足我们的代数约束。最后，我们的论文和[22]都探索了多视图基本矩阵（MVF）的代数特性，并提出了利用这些特性进行相机姿态恢复的优化方案然而，这两份文件2三次定义1.一个矩阵F ∈ S3n，其3 × 3分块记为Fij，如果rank（Fij）=2f或alli/=j且Fij=0，则称F是n -视图基本矩阵.我们用S3n表示所有3n3n对称矩阵的空间.F的对称性意味着Fij= FT。定义2. 如果存在摄像机矩阵P1，…，Pn的形式P=V−T[I，t]使得F=V（[t] −[t]）VT。在几个重要方面不同。 第一，[22]我我 我i i i×j ×j一组必要的代数约束，为MVFF的一致性，而我们提供了一套完整的必要和充分的代数条件。此外，我们的条件-因此，一致的F具有以下形式：0F12...F1nF210. F2n直接以MVF的形式指定，[22][23][24][25][26][27][ 28][29][F=10。.未知矩阵 我们的直接公式进一步导致Fn1Fn2...0接下来，我们从所有矩阵中构造一个矩阵基本质量3266×Ji=1我-∈∈−/我∀. 我们需要两个步骤来确定规模的大小2我J. Σ−×并且每个FU VT的斜对称性意味着V−1U是歪斜的-我爱你全局坐标系我们进一步参考33n对称。用Ti= [ti]×表示这个矩阵，我们得到它是由Fi.Fij=Vi（Ti-Tj）VT，建立h i ngth a tFiscon siste n t。Fi-我们的主要理论结果总结如下：最后，{ti}n不都是共线的，因为，否则，orem1，它规定了一组必要和充分的代数条件，F的一致性方面的特征值符号和秩模式。这些，反过来，将在后面的章节中使用，以构建一个新的优化算法，从噪声的基本矩阵的投影相机矩阵的全局恢复。定理1. n视图基本矩阵F与中心不全共线的n个相机的集合一致，当且仅当以下条件成立：1. 秩（F）= 6，F正好有3个正特征值和3个负特征值.2. 对于所有i = l，… n.下面我们提供一个验证草图。充分的证明要交给补充材料。为了证明定理，我们首先声明对于对称秩为6的矩阵F，以下三个条件是等价的：(i) F恰好有3个正特征值和3个负特征值。(ii) F=XXTY YT，其中X，YR3n×3，rank（X）= rank（Y）= 3。埃莱0su c hthtffjie=0，implying th tFTe=0，与F i的满秩相矛盾。定理1也为射影重建提供了一个实用的工具。给定一组（可能有噪声）成对基本矩阵，我们可以使用约束，低秩优化来恢复满足条件1-2的矩阵。然后，我们可以使用所获得的n-视图基本矩阵来恢复底层相机矩阵。这是总结在下面的推论。推论1. 投影重建：设FS3n是一致的n视图基本矩阵，则可以明确地确定相机矩阵P1，.，Pn与F一致。证据这个主张是由下面的结构证明的，它依赖于定理1的证明。1. 由于F满足条件1，我们可以使用其特征分解将其表示为F=XXTYYT，然后使用（2）构造U和V2. 现在，对于所有的，W_i，rank（Vi）= 3并且rank（Ui）= 2，i= 1，… n（否则U和V应互换）。3. 我们接下来定义T =V−1U。不是斜对称的，(iii) F= UVT+V UT 其中U，V∈R3n×3和我我我rank（U）=rank（V）= 3。特别是， 利用F的特征分解，令我们记为Ti=[ti]×。4. 通过施加压力Fij=Vi（TiTj）VT，−T−TFx=α x和Fy= −βy，α，β >0，列我Pi=[Vi|− Viti]形成一组一致的相机我我我矩阵X和Y的值分别可以包括αixi和βiyi，和U，V与X，Y相关，U=（X-Y）/2，V=（X+ Y）/λ2。（二）其次，为了证明必要条件，设F是一个一致的n维基本矩阵，那么显然（1）可以写成矩阵形式F=UVT+VUT，其中U，V∈R3n×3，其3×3块分别为Ui=ViTi，Vi，表示条件1。条件2成立，因为并非所有相机是共线的，因为如果相反，rank（Fi）3<对于某个i，则存在一个3-向量e0，使得这种结构在44射影变换下是唯一的.设F是一致n-视图基本矩阵.显然，如果我们对它的任何块进行不同的缩放，λijFij，其中λij=0，那么一般来说F不再是一致的。 特别地，它保持定理1的条件2，但其秩不再是6。然而，请注意，我们可以以不同的方式缩放F的每个块行（以及对称列），并保持定理的两个条件;即，让S=diag（siI，. ，snI），其中hsi=/0，FTe= 0，因此jFjie= 0，这意味着，相反，相机中心都是共线的。为了建立充分条件，设F是满足条件1和2的n-视图 基 本 矩 阵 条 件 1 （ 连 同 （ iii ） ） 意 味 着Fij=UiVT+ViUT。当且仅当F是一致的。(Such缩放等效于缩放投影相机矩阵）。这个，其实我-n2因子，并任意设置其余的n个尺度到目前为止，我们考虑了n视图矩阵，在-J J接下来，Fii= 0意味着UiVT是斜对称的，并且因此Rii或者rank（Ui）= 2或者rank（Vi）= 2。接下来，如我们在补充材料中所示，rank（Fi）= 3意味着Wrank，rank（Vi）= 3，rank（Ui）= 2。这个和包括所有n个成对基本矩阵。然而，在实际应用中，通常只能计算成对矩阵的一个子集。此外，估计的基本矩阵的比例不当，可能会受到3267×≤≤/∈. 我们必须确定一个比例因子，当它保留在不SJ. 在此基础上，我们对一个矩阵进行了估计，˜--1K×3米--∈ ≤≤∈大的不准确性。在这些情况下，我们可能希望从基本矩阵的部分子集重构摄像机。事实上，我们的算法，后来在SEC。3，从三组图像中重新覆盖一组一致的相机矩阵，使我们能够处理丢失的基本矩阵并去除离群值。下面的定理表明，适当的交集，摄像机矩阵是唯一确定的（直到通常的4 - 4投影模糊）从一致的子矩阵。我们首先需要以下定义：定义3. 设F R为3n×3n，设F1，…，Fk是F的分块子矩阵，其中F iR3mii，3Min.F，... F称为F的一致覆盖，如果每个F1形成一致的多视图基本矩阵，并且F的每个对角元素包含在F1，... F K。定理2. 设FR为3n×3n，设F1，…， Fk构成F的一致覆盖。如果对于所有2Mk，存在l< m使得Fl，Fm在至少一个基阵中重叠，则存在唯一的n-视图一致基阵xF<$（直到scal efa ctors），其中k是F<$ij=λijFij，其中λij=0f或所有Fijt都等于0任何F1，...， F K。证据 我们通过对k的归纳证明了这一点。 我们首先k= 2。 根据推论1，F1，F2定义了两组摄像机矩阵P1，P2与F1，F2一致，尽可能地与测量的基本矩阵相匹配。该问题的直接优化是困难的，因为它产生具有秩约束的非线性优化公式，如[22]中所述，其需要通过高质量方法进行初始化。下面我们介绍一种新的方法，它利用全局优化，但又避免了恢复比例因子的需要。我们的方法通过在3-视图基本矩阵上强制定理1的一致性约束并通过保持它们的相交来工作，如定理2所要求的，以获得全局重建。这产生了一个优化问题，简单而有效的公式，直接使用测量数据，而不需要纳入任何初始化。我们使用交替方向乘子法（ADMM）[3]解决了这个优化问题，其中ADMM中的每一步都有一个封闭形式的解。我们避免恢复比例因子强制consis- tency图像三元组。正如我们在SEC中所解释的那样2、我们只n2可以任意设置这样做的后果是，对于n= 3，没有比例因子，如下所述。推论2. 一致的三视图基本矩阵对于任意缩放其组成基本矩阵是不变的。证据 设F是相容的三视图基本矩阵其块定义为F=V（T−T）V得双曲正弦值.分别 因为F1和F2共享一个基本质量，1trixF，Fcorrespondsto o a pair ofcamera s inP andai i i jj设F是一个9×9矩阵，其中要查找哪些块ij ijFij =sijFij，其中sij0是双比例因子。P2中的第二对，使得这两对直到射影单应性为止是相等的（[8]，第254页）。因此，P2可以在不失一般性的情况下，我们可以假设负比例因子的数量是偶数（否则，我们可以多映射到P1的投影标架上，形成一个n将整个矩阵乘以-1）。 因此，S1=（第12条第13条1）2、相机矩阵[20]，这反过来又确定了一个唯一的（高达1 123<$s2=（s23s12）2和s3=（s13s23）2确定实值n个全局尺度因子）一致n-视图矩阵，F. 现在我想，S13的12在F1或F2中的每个基本矩阵对应于来自这组n个摄像机的两个摄像机，因此具有使得s1s2=s12，s1s3=s13，s2s3=s23。让如果i=1，则Vi=siVi。 . . 3，我们一起来吧实际上，相同的En trie是按比例放大的。TT这个论证现在可以归纳地重复，以证明所有k >2的定理。Fij=sijVi（Ti−Tj）Vj =siVi（Ti−Tj）sjVj=Vi（Ti−Tj）VT（三）3. 方法给定图像I1，…在图1中，我们假设标准鲁棒方法（例如，RANSAC）被用来估计成对的fundamental矩阵，其中，不通过他不估计的基本矩阵的集合。 一般来说，只有An2由于，例如，闭塞、大幅度运动或亮度，并且可用的估计是噪声的。一个额外的复杂性是，为了使这些基本矩阵一致，它们必须分别由一个未知的因子来缩放， 因此，我们的目标是找到一个一致的n-视图矩阵F∈S3n，因此，F=SFS，S=diag（s1I，s2I，s3I），因此它是相容的。这个推论意味着对于3-视图基本矩阵，在任何尺度因子的选择下，一致性是不变的我们的优化配方依赖于此观测，以避免需要在优化过程中估计的比例因子特别是，我们引入了一个全局优化方案，强制执行视图的三元组的一致性，同时强制执行不同的三元组的兼容性在本节的其余部分，我们首先制定我们的优化问题，并讨论如何解决它与ADMM。然后讨论了如何选取3268--3. ΣIJ{|}Mk=1Σ-Fk=1联系我们M联系我们MF三元组来加速优化，最后展示我们如何在t= 0时初始化辅助变量，我们的优化结果可以用来重建B（0）=F，Γ（0）= 0n个摄像头。3.1. 优化我们的估计fFfund ame n ta l矩阵fffij的输入集合确定具有节点v1，. ，vn，creij∈E如果F-100有助于估计基金的计算，kτ（k）k然后在下面的三个步骤之间交替，在每一步中，我们在迭代t时更新变量的值，给定它们在t-1时的值。(i) 求解F。Σ谈话矩阵。设τ表示G中m3-团的集合，m≤n . 集合τ可以包括所有的3-团argminFk=1 α||2||2+ ||B(t−1) −F+Γ（t−1）||2（六）在G中，或子集，正如我们在第二节中解释的那样三点三我们索引k = 1，...，m，其中τ（k）表示第k个三胞胎 τ的选择诱导es的部分选择，KS. t.F=FTτ（k）kF参与优化过程的估计的基本矩阵。在我们的合同中，如果Fij ∈Fth e nFT=Fji∈。我们将剩余的块设为03 × 3，并将剩余的块设为0 3 ×3，然后将剩余的块设为03× 3，并将剩余的块设为03×3.在优化过程中，我们寻找一个尽可能接近F的矩阵F∈S3n，并且在最小约束条件下，它是9×9个bl oc ks，由τ（k）k=1导出，记为Fτ（k），是相容的。 一般来说，这样的F是不一致的（因为它的比例因子是不兼容的三元组）和不完整的，但是，基于定理2，它唯一地确定相应的投影相机。Fii= 03×3i = 1，...，n.在实践中，我们显式地保持F上的等式约束，即，F是零块对角对称的因此，在每一次迭代t，我们只能求解F的三阶导数，即。例如，FijI

下载后可阅读完整内容，剩余1页未读，立即下载