QUALITY：基于模糊相机方向知识的准仿射重建方法

1082QUALITY：一种新的基于模糊相对摄像机方向知识的准仿射重建层Dev eshAdlakha1，3，AdlaneHabed1，FabioMorbidi2，Ce' dricDemonceaux3，MicheldeMathelin11ICube实验室，CNRS，斯特拉斯堡2皮卡第儒勒凡尔纳大学MIS实验室3ImViA实验室，VIBOT ERL CNRS，勃艮第大学-弗朗什-孔德分校adlakha@unistra.fr摘要提出了一种新的场景准仿射重建方法，并将其应用于摄像机自标定。我们将这种重建称为QUALITY（关于相机中心和双眼单视界速端图的准仿射重建）。一个四元数可以通过求解当（i）图像已经由具有恒定内参数的移动照相机捕获，以及（i i）照相机对之间的相对取向（低于或高于120°）的模糊知识时，半定规划问题是可用的。由此产生的重建来足够接近仿射一个，从而允许一个容易的升级的QUARCH到其仿射和度量的对手。我们还提出了一个约束Levenberg-Marquardt方法，用于线性马氏不等式（LMI）约束下的 非 线 性 优 化 ， 以 确 保 在 优 化 过 程 中 满 足QUALITICAL LMI 。 合 成 和 真 实 数 据 的 实 验 表 明QUARCH在可靠地获得度量重建的好处。1. 介绍在多视图计算机视觉中，精确地将平面定位在无穷远处（Π∞）被认为是成功的关键-将投影结构和相机完全提升到度量框架[20，5]。由于问题的非线性，可靠地定位θ∞已证明在相机自校准中是困难的[11，12]。一旦其被定位，校准参数可以通过求解用于绝对二次曲线的（对偶）图像的线性方程来获得当摄像机参数为常数时，Π∞的一个必要条件是其图像间单应矩阵的特征值具有相等的模。这种所谓的模量约束[20]导致Π∞图1：QUARC是QUARC层的特化，因此更接近仿射层。对此，人们提出了多种解决方案[20，8，5]。其他方法[11，9]通过首先基于Hartley的手征理论[10]将投影重建升级为准仿射重建来定位λ∞。在[11]中，利用手性不等式得到Π∞坐标的界，然后在这些界内通过穷举搜索找到Π∞坐标。在[11，9]中的拟仿射重建是关于摄像机中心的集合和场景点的集合：其各自的凸包被保留的集合。 Nis te´ r[17]指出场景点可能不可靠，因此仅寻求关于相机中心（QUARC）的准仿射重建。一个QUARC升级到一个度量重建，通过非线性优化的几何意义的成本函数从校准参数的先验在本文中，我们证明了存在一个新的准仿射重建层，我们称之为QUALITY：关于相机中心和单视界速端图的准仿射重建。QUARCH是QUARC（参见图1）的特化，其另外满足Π∞上的一组新的基于相对相机取向的凸约束。这些约束被公式化为线性矩阵不等式（LMI），它们描述了仿射度量QUARCHQUARC射影1083M、II C（C）∞∞j∞ij不Π∞与相机对的双眼单视界[24，23]的速端图[21，2]的关系当校准参数是恒定的并且当已知一组相机对之间的相对取向角低于或高于120°时，可以获得QUOTE。我们在自校准算法中使用QUARCH，作为从下式获得度量重建的第一步一个投射的。为了得到一个四元数，我们的假设是，连续的两个方向之间的相对取向角矩阵P的规模。相机对（i，j）的双眼单视界的参数形式为：H（s，t）=s3Ci−s2tTij+st2Tji−t3Cj，（1）其中Ci=N（Pi）和Cj=N（Pj）是两个相机中心，Tij=T（Pi，Pj），Tji=T（Pj，Pi），并且算子T由该展开式定义双眼单视界在P3中是一个扭曲的立方体，它穿过两个摄像机中心并相交一个平面（包括Π∞）上的三个点。从[24]，我们有：浏览量在120以下。这是一个温和的假设，往往是T3 2 2 3当捕获图像时，隐式地进行验证，以便确保用于特征匹配的充分重叠然后通过合适的成本函数的非线性优化（诸如使用模量约束）来定位Π∞ 我们还提出了一个约束Levenberg-Marquardt（LM）方法的非线性∞[CiTijTjiCj]=（λi，λiλjaij，λiλjaij，λj），（2）其 中 λi 和 λj 分 别 是 Pi 和 Pj 的 比 例 因 子 ， 并 且αij=1+2ωsθij ，θij是两个相机之间的相对取向角从（2）中消除耳朵优化受到LMI约束。这可确保在局部优化期间满足QUALITY LMI。T Tij∞i∞ji ）3−TC（TT）3= 0，（3）mization实验结果表明，QUARCH平面是算法可靠收敛到Π∞的最佳起始平面，而约束局部最优解以满足QUARCH线性矩阵不等式进一步提高了算法的定位成功率。本文的主要贡献是：• QUALITY：一种新的准仿射层，以及基于它的摄像机自标定算法。• 约束LM方法：一种求解线性矩阵不等式约束下非线性优化问题的LM型算法。记法：我们认为场景嵌入在投影3-空间P3.P3中的点X和平面Π分别由4维齐次列向量X和Π表示。无穷远处的平面称为∞，其坐标称为∞。透视相机由其3×4投影矩阵P表示。最终ly，（·）k是指其向量参数的第k项，In是n×n单位矩阵，d维零向量，sgn（·）是符号函数，是按比例的等式.2. 背景本节简要回顾了LIT的主要结果-这是在[20]中首次导出的四次多项式方程2.2. 符号校正相机和QUARC在真实度量重建中出现在两个摄像机前面的场景点可能出现在一个摄像机前面，但在投影重建中出现在另一个摄像机这样的相机对被称为通过投影变换而扭曲，否则被称为解扭曲。在双绞线相机对中，Π∞与两个相机的基线 QUARC（相对于摄像机中心的准仿射重建）[17]是一种不包含任何双绞线的投影重建。可以使用以下两个步骤将投影重建升级为QUARC校正投影矩阵P~i=ζiPi的符号ζ i∈ {-1，1}，使得所有 11 个 相 机 中 心 相 对 于 Π∞ 位 于 一 侧 ， 使 得ΠTC~i>0[17，Alg. 2]，和（ii）映射到无穷大一个平面，携带相同的签名，Π∞，即满足ΠTC〜i>0的平面。这样的QUARC平面可以通过求解线性规划（LP）问题[17，Sec.[8]。2.3. 线性矩阵不等式线性矩阵不等式（LMI）是一个约束，向量x=（x，. . .，x）∈Rm使得F（x）≥0，我们的工作就是基于这些特征和LMIs的。1其中F（x），F0+mmi=1Fi xi是仿射函数，2.1. 模约束与双眼单视界Shaffalitzky [24]展示了模量约束和双眼单视界曲线之间的联系。 双眼单视界具有相同校准参数的相机对的H是P3中由两个相机在相同坐标处成像的点的轨迹。 因此，x涉及对称矩阵F0，. . .，Fm∈Rn×n. LMIF（x）≥0表示F（x）是半正定的。LMI也可以是严格的，在这种情况下F（x）是正的确定。凸二次不等式可以通过使用Schur补引理[3]重新表示为LMI：引理2.1给出一个实对称分块矩阵，双眼单视界满足PiX<$PjX，这些点的轨迹矩阵D=A BBT C和Schur补S=C−对于参数s和t，为H（s，t），N（sPi− tPj），Σ是在[24]中定义的Σl gΣ代数零空间算子，对于任何平面Π，定义为detPTΠ = ΠTN（P）。代数零空间定义了零向量N（P）的尺度，BTA−1Bof（the symmetric block）AinD，(i) 如果A0，则D≥0当且仅当S≥0。(ii) D0当且仅当A 0且S0。1084∞∞∞∞∞∞∞S∞∞ 我∞ IJ.I j3. 一种新的拟仿射重建地层在本节中，我们介绍了QUALITY背后的理论，并提出了一种基于它的摄像机自标定算法。在第3.1节中，我们基于相机对之间的相对取向来表征Π∞与单视界的速端图的关系。在3.2节中，我们从这个特征中导出了一组新的关于Π∞的在第3.3节中，这些约束被用来获得一个四元数。最后，在3.4节中，我们详细介绍了将QUARCH升级为度量重构的算法3.1. 双眼单视界速矢图定义3.1（双眼单视界速端图）。对于一个带有双眼单视界H的摄像机对（i，j），H的速端图Hs和Ht是由偏导数在P3中。设H（s，t），H（s，t）和H（s，t），H（s，t），（5）中的线性不等式形成了一组新的基于相对摄像机方位的对θ∞的约束。它们表示（虚拟）点T~ij和T~ji位于与T ~ i j相同的一侧。摄像机相对于θ∞居中，|θij|<120○，而当y躺在相反侧时|θij|>120公 斤。将这些不等式强加于图1中的一组相机对QUARCLP问题导致QUARC相对于相应的点集（Tij，Tji）另外是准仿射的。 我们现在把这种关联关系推广到包含它们的速端图上。引理3.2. 对于具有相对方位角θij和附着的摄象机H的摄象机对（i，j），无穷远平面<$∞与速端图Hs和Ht相交于：（i）至多一个真实点，如果|θij|≤120℃，以及（ii）至少一个临界点，如果|θij|≥120℃。sst这些曲线的参数形式为：Hs（s，t）=3s2Ci−2stTij+t2Tji，证据确凿。考虑表示Π∞与速端图的交点的方程：(4)T~2T~T~2T~H（s，t）= −3t2C+ 2stT − s2T。Hs（s，t）=3s<$∞Ci−2st<$∞Tij+t∞Tji，T J Ji ijT~2T~T~2T~（七）观察到Hs（s，t）通过点Ci和Ht（s，t）=−3t∞Cj+2stΠ∞Tij。Tji，而Ht（s，t）通过Cj和Tij。在下文中，我们简单地将双眼单视界的速端图称为这些方程分别是s和t的二次方程。因此，它们的判别函数Δs和Δt，速矢线 我们现在有兴趣描述。Σ与速端曲线的关系。为此，我们将-∆=−4t23（ΠTT~）（ΠTC~）-（ΠTT~）2，边符号校正投影矩阵P~i和P~j。他们的∆ =−2T~T−T2（八）关联的双眼单视界H表示为H（s，t）=s3Ci-t4s3（∞Tij）（∞Cj）（Π∞Tji）、s2tTij+st2Tji−t3Cj，由H（s，t），N（sPi−tPj）的展开得到。对应的速端图Hs和Ht由H~s （s，t）和H~t（s，t）表示。Giv en这个代表，。我们首先描述了描述交叉点。回想一下，判别式对于没有实交点是负的，对于两个实交点是正的，对于一个实交点是零。代入（2）中的值，我们得到：带点的∞T~ij，T~ji通过下面的lemma。s=−4t2λ4λ2aij（3−aij），I j引理3.1.对于具有相对定向角θij且附着于H的相机对（i，j），无穷远平面满足下列线性不等式：∆t=−4s2λ2λ4aij（3−aij（九））的情况。T≥0且≤TT≤≤0且ΠTT~≥0，如果|θij≤0，如果|θij| ≤ 120 μ m，（5a）| ≥ 120 μ m，（5b）判别函数αs和αt依赖于αij，因此在θij上。从（6）中，我们可以推导出：Δs≤0且Δt≤0，如果|θij|≤120◦，（10a）当等式成立时|θij|=12 0◦。Δs≥0且Δt≥0，如果|θij|≥120μ m，（10b）Pr oof. 从（2）中，观察到，而TT取决其中Δs=0且Δt=0，对于|θij|∈{0<$，120<$}，因为∞ij∞ji关于θij. F或符号校正投影矩阵，ΠTC〜i>0以及ΠTC~j >0，因此λi和λj是正的。 因此，在本发明中，sgn（ΠT~ij）=sgn（ΠT~ji）=sgn（aij），其中aij：纪IJIJ纪纪1085aij=0if|θij|=120，并且如果θ i j = 0，则αij=3。□速度图与地震的关联关系∞ ∞0≤aij≤3，如果|θij|≤120μ m，（6a）∞因此，照相机对的相对取向角由两个照相机之间的相对取向角他们的交集是−1 ≤aij ≤0，如果|θij| ≥ 120 ◦,(6b)在至多一个实数点上，如果|θij|≤120◦，而它至少在一个实数点上，如果|θij|≥120℃。因此，速端曲线并且aij=0，如果|θij|=12 0◦。□充当Π ∞的“虚拟定位对象”。1086∞∞∞∞∞∞ij-（TT）2（C）。（12b）不3.2. 无穷远平面上的LMI约束现在我们根据它与引理3.2中给出的速端图的关系，推导出关于λ∞的提案3.3（|θij|≤120◦）。来了相对取向角对（i，j）|θij|≤120◦和Pr oof. 根据引理3.2，当|θij|≥120π，Π∞与每个速端线相交于至少一个实点，因此判别式πs和πt是非负的. 由式（13），我们可以推出Sij（<$∞）≤ 0和Sji（<$∞）≤ 0。对于LMIs在（15）中，为了满足，以下不等式必须成立：单视界H，无穷远处的平面满足两个线性矩阵不等式：Sij （Π∞）−4ΠTT~≥0，Sji （Π∞）−4ΠTT~≥0。（十六）ΣΠTC˜ΠTT˜Σ联系我们ΣT注意这两个不等式的左边是∞i∞ij∞j≥0，∞ji≥0。（十一）在V方面，ΠTT~ij3Π TT~jiΠTT~ji3ΠTT~ij∞i∞j∞ ∞ ∞ ∞在（15）的第一和第二 使用（14），它们可以Pr oof. 根据引理3.2，当|θ|≤120◦，Π与r e相交，写成−ΠTT~ji（1+aij）和−ΠTT~ij（1+aij），re-ij ∞每个速端曲线至多在一个实点上。这意味着则判别式S和T应该是非正的。这里的证明归结为表明，当（11）为真时，这些判别式也是如此。为了证明这一点，考虑舒尔补Sij（∞）和Sji（∞）的TCi和TCj，分别为。根据（5b）和（6b），当满足以下条件时，这些Schur补是非零的：|θij|≥120℃。因此，（16）中的不等式成立，（15）中□仅（5b）中的线性不等式就能确保∆s≥0∞分别在（11）的第一和第二矩阵∞和∆t0，因此Π∞与每个速端图相交S（II），3TT−1-（TT）2（C），（12a）至少有一个真正的点。 （15）中的LMI进一步特征搜索相交区域该区域依赖于ij ∞∞ji∞ij∞iSji（∞ ），3 TT−1∞ji∞j在判别式上，从（13）可以看出受（16）约束，因此受（15）中的LMI约束。根据这些重写（8）中的判别函数Schur补充，我们有：∆=−4t2ΠTC~S（Π），（11）和（15）中的LMI是必要条件上满足与引理3.2中给出的速端图的关联关系。在下一节中，s∞i ij∞（十三）我们展示了相对方位的模糊知识=−4s2◦◦t∞jji ∞摄像机对之间的θij（即， |θij|≤120或|θij|≥120）因此，我们认为，我们 可以 推导出Sij（Π∞）≥ 0且Sji（Π∞）≥0，则∆s和∆t为非正，因为ΠTC~i>0和ΠTC~j>0。根据引理2.1，（11）为真可以利用这些LMI约束来获得新的场景的准仿射重建：一个季度。∞ ∞3.3. QUARCH当且仅当Sij（<$∞）和Sji（<$∞）非负。□（5a）中的不等式是aij非等于iv e的必要条件，当|θij|≤120Ω，而（11 ）中的线性矩阵不等式是进一步限制aij 的 必 要 条 件，如（6a）中，使得0≤aij≤3。为了看到这一点，通过在（12）中部分取代（2），我们有：QUARC是QUARC的特化，其关于一组相机对的速端图是ad-quasi-affine的。一个QUOTE可以从以下网站获得：按照第2.2节中QUARC概述的步骤进行投影 重 建 ， 但 在 第 二 步 中 定 位 QUARC 平 面 。 一 个QUARC平面是一个QUARC斯吉 （Π∞（Π∞）=T）=T（3−aij（3−aij）、（14a））的情况。（14b）对于一组相机对，该平面另外满足LMI（11）和/或（15）。它可以通过解决以下半定规划（SDP）问题来计算：现在考虑（11）中的第一线性矩阵不等式，它规定：ΠT~ji≥0且Sij（Π∞）≥0。它从（14a）开始3−aij≥0，因此0≤aij≤3。注意这最大δΠ，δ¨ ¨S. t.δ，l=1，. . . ，n，L l约束既不受模量约束的强制，QUARC不等式我们也有类似的论点-1≤（λ）kΣ≤1，k = 1，. . . ，4，对于（14b），（11）中的第二LMI也可以被示出为ΠTC~iΠT T~ijΣ ≥0，ΣΠT CjTT~jiΣ ≥0，0≤aij的必要条件≤3。以下建议-ΠTT~ij3ΠTT~ji纪IJ纪IJ1087∞∞∞∞ΠTT~ji3ΠTT~ij位置完成Π∞上的LMI约束集。第3.4条（关于|θij|≥120◦）。来了对于所有（i，j）：|θij|≤120◦，i=1，. . . ，n−1，j= 2，. . . ，n，（十七）相对取向角对（i，j）|θij|≥120◦和单视界H，无穷远处的平面满足两个线性矩阵不等式：联系我们TΠTT~ij不Σ≥0，联系我们 不T不Σ≥0，Σ Σ Σ Σij−T~jiΠT˜ji−Π T~ijΠTC~iΠTT~ijΠTC~jΠTT~ji对于所有（i，j）：|θ| ≥ 120 ◦,i = 1,. . . ，n − 1，∞ ∞ ∞≥0，∞≥0。（十五）ΠTT~ij−ΠTT~jiΠTT~ji−ΠTT~ijj= 2，. . . ，n.我JIJ1088ΠΠ0⊺1不注意，没有LMI约束的（17）简化为QUARC LP问题。QUARCH可以扩展为(iii) 公制：将校准K计算为[12，Sect.19.5.2]并升级为公制：PM=PAH−1，XM=HMXA，保留场景点集的凸包（见图-Pi iMΣI0 ΣjJΣK−10Σ通过简单地用场景点的对应线性不等式扩充（17）中的SDP问题，可以得到（17）中HQ=1，HA=Q3T3，HM=3∞33.4. 基于QUARCH的摄像机自标定作为QUARC的特化，QUARCH更接近仿射重建。这形成了我们的相机自校准算法的基础，在该算法中，我们使用QUALITY平面作为初始化，以局部优化合适的成本函数来定位QUALITY∞。我们建议使用[20]中的标准化版本的成本函数：4. 约束Levenberg-Marquardt方法在我们的算法的步骤（ii）中，一个无约束的局部优化方法可以收敛到一个非二次平面，即。对于连续视图，不满足（11）中的LMI的平面，因此不是所寻求的λ∞。为了确保在局部优化过程中满足这些LMI，我们提出了一种约束LM方法F（∞）=n-1n。.不MijΣ 2不Σ2第二 章（18）线性矩阵不等式约束下的非线性优化。 我们的ap-方法基于[13]，其中优化问题是：i=1j =i+1Π∞C˜i∞CminF（xk）+Jkd2+µkd2s.t. xk+d∈C，（20）D其中Mij是（3）中的模约束多项式，并且归一化从成本中消除了比例因子我们对Π∞的前三个坐标进行优化，将第四个坐标固定为1。通过对绝对二次曲线的对偶像进行线性估计，得到标定参数。为了计算QUARCH平面，我们假设连续视图之间的相对方向角小于120°。这在实践中是一个温和的假设，在为了特征匹配和3D重建的目的而采集的图像序列我们解决以下SDP问题以获得四次平面矩阵Q：允许计算步长d，使得f（x）=f（x）F（xJk是F（xk）的雅可比矩阵，µk是迭代k时的正参数。注意，（20）中的二次目标函数是严格凸的。在[13]中证明了这种约束LM方法在局部误差界条件下是局部二次收敛的。在我们的情况下，x0是来自（19）的QUARCH平面初始化，C是QUARCH平面的子集，包含满足（11）中的连续视图的LMI的平面，MaxΠ，Z对数测定ZF（x）是用于在（18）中定位ω∞为了计算步长d，使得迭代平面xk保持在S. t.Z ≥0，- 1 ≤（Π）k≤ 1，k =1，. . . ，4，集合C，首先观察到v∈Fk+Jkd<$2+μkd<$2e扩展为FTFk+ 2FTJk d+dT（JTJk+μkI）d，其中Fk是短(19)k k k联系我们TΠTT~ij不彡Z，联系我们T TTT不Σ彡Z，对于F（xk）。因此，问题（20）等价于：ij3Π T~ji寺3丁目T~ij最小δd，δi= 1，. . . ，n − 1，j = i+1。S. t. x k+ d ∈C，（二十一）问题（19）可以使用内部有效地解决。TTT不F F−2F J d−d J JΣ+µId ≥ 0。点法 最大化log detZ可防止kkkkkk kTT|θij| 接 近 120 度 。 从 我 们 的 实 证 检 验 ， 一 个QUARCH平面从这个SDP收敛在我们的算法中，比一个更可靠地寻求（21）中的不等式是d的二次不等式，并且可以重新定义。通过应用引理2.1将其模拟为LMI。然后，可以通过求解以下SDP问题来计算步长d：从（17）。注意，在（19）中实施QUARC不等式，因为通过使用所有连续视图对来覆盖所有相机中心。给定一个射影重建mind，δδJTJk+µkI3（JTJk+µkI3）d{P，X}，我们的自校准算法的步骤是：S. t.TkTkT T≥0，i jd（JkJk+µkI3）δ−FkFk−2FkJk d(i) QUALITY：计算QUALITYQ使用（19）并升级到QΣ（xk+d）TCi不（xk+d）TTij 不Σ≥0，（二十二）夸斯塔斯山口 =PiH−1，X =HQXj，（xk+d）T~ij3（xk+d）T~jiiQjΣ Σ我Jδ−.ΣΣΣ1089我(ii) 仿射： 定位Π通过最小化（18），（xk+d）TC~j（xk+d）TT~ji∞QQTT≥0，作为初始化，并升级为仿射作为PA为（xk+d）Tji3（xk+d）TijPQH−1，XA=HAXQ，i= 1，. . . ，n − 1，j = i +1。iAj j1090K注意，在（22）中的第一个LMI中的项JTJk+µkI3通过构造是正定的与无约束优化方法一样，我们优化前三个coor-将第四个数字固定为1。因此，我们计算步骤d的前三个坐标，第四个坐标为0。我们使用μk=μF（xk），而不是平方范数，遵循Yu的选择[27]。Fan [6]表明通过这种选择获得了相同的二次收敛速率。我们的约束LM方法确保迭代平面保持在Π∞所属的QUARCH平面的子集中。这样做防止迭代平面穿过相机中心，这对于（18）中的成本函数可能是致命的。作为一种局部优化方法，它仍然容易收敛到成本函数的局部最小值，尽管它也是一个QUARCH平面。5. 实验结果我们使用无约束和约束优化在合成数据和真实图像上测试了我们的自校准算法。使用[22]中[18]的实现获得合成数据的投影重建，然后进行投影光束法平差。对于真实图像序列，使用P2SfM [15]和COLMAP [25]进行特征匹配。在整个过程中使用数据归一化。 我们设置µ= 0。5和使用更新µk+1=min{µk，µkF（xk+1）}。我们的算法是在MATLAB R2017b中实现的，其中包括：使用YALMIP [14]建模并使用MOSEK [16]求解的vex优化 问题 。所 有 实验 都在 Intel Core i7 3.10GHz 32GBRAM系统上进行。5.1. 合成数据每个合成场景由500个点组成，这些点随机地散布在单位球体内，并且由放置在距球体中心2.75-3.45个单位的距离处并且面向球体中心的相机成像。然后，相机被一个小的随机平移扰动。连续视图之间的旋转角θij是从范围[20<$，60<$]以满足假设|θij|≤120Ω。所有相机的焦距（以像素为单位）为fx=fy= 300，零偏斜即γ= 0，并且以图像为中心的主点I.E. （u0，v0）=（128，128）.将标准偏差在[0，2]像素范围内的零均值高斯噪声以0为增量添加到像素坐标。5像素。序列长度从4到16个视图变化，并且对于每个序列长度和图像噪声水平运行100次试验。我们进行了一系列可靠性测试，以检查QUALITYLMI在自校准中的优势。我们使用通过最小二乘意义上的最佳拟合相似性变换对齐的地面实况和恢复的度量点云（两者都缩放为具有1个单位的平均距离）之间的3D RMS误差来评估我们的结果。在本节中，我们展示了来自使用箱形图的度量升级（遵循MATLAB为了帮助可视化，我们将样本压缩到0以上。023D误差在超出此限制的小区域内均匀分布（由虚线表示），同时保持它们的相对顺序。我们还通过一个小的随机量分散所有点，以区分重叠的点。QUARCHvs. QUARC：我们使用（18）的无约束最小化比较了QUARC平面初始化与QUARC，分别表示为QUARCH-M和QUARC-M（图2）。 考虑将0.02 3D误差作为成功度量升级的阈值，对于图2中的4-因此，QUARCH-M导致相当小的中值误差，特别是对于较高水平的像素噪声。当序列长度增加到6个视图时，QUARCH-M和QUARC-M在大部分时间都成功。我们还使用Niste' r的成本函数[17]显示了两个平面的结果，在这里，一架QUALITY飞机也更可靠地导致了度量的升级，尽管差异不太明显。这是因为Niste' r因此，在大多数情况下，两个平面都能完全收敛到真正的Π∞四分之一 *vs. QUARCH-M：我们将QUARCH-M的结果与约束优化的结果（记为QUARCH-M *M）进行了比较。在图2中，QUARCH*M成功地完全恢复了几个投影重构的度量结构在优化过程中强制执行二次型LMI可使二次型平面可靠地收敛到真正的二次型∞，同时避免屈服于非二次型局部最小模量约束。QUARCH *M平均需要5次迭代才能收敛，并且需要<1次迭代。2 s最多16个视图，其中<0. 2s是用来计算QUALITY平面的。运行时在视图的数量上线性缩放，超过6个视图，QUARCH-M足以成功升级度量，并可用于加速。使用图3中的Niste′r成本，我们观察到，只有一个额外的投影重建，对于6个这些结果表明，在局部优化过程中，特别是对于短序列和使用模量约束时，执行QUALITYLMI的好处。四 分 之 一*vs. GO-DAQ 和 GO 分 层 ： 我 们 将QUARCH*M和QUARCH*N与两种全局最优方法进行了比较：[4]和[5]。109110-210-210-210-23D误差3D误差3D误差3D误差Xy2 2 21.51.51.51 1 10.50.50.500 0.5 1 1.5 2像素噪声00 0.5 1 1.5 2像素噪声04 5 6 7视图数图2：QUARC-M、QUARCH-M和QUARCH-M *M之间的比较。实验使用具有不同噪声水平的4个视图（左）和5个视图（中），以及使用具有1个噪声像素的不同数量的视图（右）。2 2 21.51.51.51 1 10.50.50.500 0.5 1 1.5 2像素噪声00 0.5 1 1.5 2像素噪声04 5 6 7视图数图3：QUARC-N、QUARCH-N和QUARCH*N之间的比较。实验使用具有不同噪声水平的5个视图（左）和6个视图（中），以及使用具有1个噪声像素的不同数量的视图（右）。对于GO分层，我们计算了两个手征符号的校准，并选择了最接近地面真实值的校准结果（使用了作者的实现）。对于GO-DAQ，我们将松弛阶数固定为2，并使用MOSEK作为求解器。示的结果中在图4中，QUALITY *M在中值3D误差和成功率方面始终优于GO分层。对于4-这可能是因为malized），则可能失败，因为DAQ上的等级3约束随着序列长度的增加，在图4中，所有方法都相当可靠地执行。5.2. 真实图像我们提出了六个真实图像序列的结果：Fountain-P11 ， Herz-Jesu-P8 ， and Herz-Jesu-P25 from [26] ，Vercingetorix and Alcatraz water tower from [19]， andCherub [1]. 前三个提供了地面实况呼叫-模约束允许多个全局解，并且焦距为ft的振动= 2759。48，ft=2764。十六岁对于短序列，需要分离的约束较少主点（u t，v t）=（1520. 69，1006。81），和歪斜00真实的Π∞。此外，该方法依赖于场景点来计算Π ∞的界限，这在存在噪声的情况下可能被证明是不可靠的。随着更多的观点，广告-γt= 0像素。 对于这三个序列，我们计算了一个quan的以下误差。定量的E. 估值：焦点长度误差f=|f t−f x|+。f t−f y。主点X y弹性模量的限制导致了更可靠的校准-错误uv=|ut−u0|+的|vt−v0|，且s ke w误差Δγ=0 0与GO分层，但中位数误差仍然较大与 QUARCH*M 具 有 几 何 成 本 函 数 的 两 种 方 法（QUADN *N和GO-DAQ）通常优于其他两种方法，然而，GO-DAQ由于高水平的像素噪声而遭受3D误差的急剧增加。对这一结果的可能解释是，我们的模拟相机接近一个已知的“人工”退化配置，估计双绝对二次（DAQ）。当所有光轴通过公共点[7]并且DAQ的秩不被强制执行时，发生这种简并配置。我们的相机在存在噪声的情况下接近这样的GO-DAQ，由于缩放和数值易处理性问题（成本和约束条件不一致）|.|.对于其余三个序列，我们分析了恢复度量重建定性。我们的前任实验也验证了我们假设的实际适用性|θij|≤120μ m（连续可见）。定量评价：从校准误差重新-移植在表1中，QUARC-M和GO分层在Herz-Jesu-P8序列和Herz-Jesu- P25序列上的QUARC-N导致错误校准。经检查，其相应的重建未能实现公制升级，并保持投影失真。注意，QUARCH*M在Herz-Jesu- P8序列上成功，而同样基于模约束的其他两种方法失败了。这证实了我们的重新-10-210-23D误差3D误差109210-210-23D误差3D误差2 2 21.51.51.51 1 10.50.50.500 0.5 1 1.5 2像素噪声00 0.5 1 1.5 2像素噪声04 5 6 7视图数图4：QUARCH*N和QUARCH*M与GO-分层和GO-DAQ的比较实验使用具有不同噪声水平的4个视图（左）和5个视图（中），以及使用具有1个噪声像素的不同数量的视图（右）。图5：使用QUARCH*M获得的Cherub、Vercingetorix和Alcatraz水塔示例图像显示在右侧。结果与合成数据的QUALITY LMI的援助，在可靠地定位真正的EQUALITY∞和GO分层的10个失败的短序列。除了这些失败，所有的方法，否则导致校准接近地面实况，从而成功的度量升级。误差测量并不完全指示重建质量，根据我们的观察，其主要受焦距和偏斜误差的影响。从表1中的定时结果，无约束的局部优化方法是相当快的比其他人。约束优化方法比无约束优化方法速度慢，因为每次迭代的SDP问题计算量更GO-DAQ所用的时间与QUALITY *M和QUALITY *N相似，但对于所有测试序列，GO-分层显著较慢定性评价：我们展示了使用QUARCH*M在三个较长图像 序 列 上 获 得 的 3D 重 建 结 果 ： 图 5 中 的 Cherub 、Vercingetorix和Alcatraz水塔。这些序列分别有65、69和173幅图像，它们相应的投影重建分别包含65、63和66个摄像机。恢复的度量结构与捕获的场景非常相似。使用QUALITY *N获得类似的度量重建。我们观察到，在这些重建中，有几个点的估计很差。这些导致GO分层失败，因为它依赖于所有场景点。我们的结果也证实了假设的适用性表1：来自[26]的序列的自校准结果。|≤120 μ m（ 连 续 可 见 ）。 |≤120◦forconsecut iv evi e ws.这个假设也可以扩展到这些序列中的每个其他视图6. 结论我们提出了一个新的准仿射重建层，QUARC，作为一个特殊化的QUARC。我们证明了Π∞满足两组LMI中的任一组，这取决于相对方位角小于或大于120◦ 。 我 们 还 提 出 了 一 种 约 束 LM 方 法 ， 以 加 强QUALITY LMI在局部优化，以找到∞。我们的实验显示了QUARCH LMI在可靠地定位Π∞以从投影重建获得度量重建方面的优势。我们的约束LM方法也可以用于其他计算机视觉问题的非线性细化受到LMI约束。鸣谢：本研究部分得到ANR SUMUM项目的支持，拨款ANR-17-CE 38 -0004。10-23D误差序列方法Δf∆uv∆γ时间（s）喷泉-P11QUARCH*M1 .一、914.第一章010的情况。99二、71QUARC-M二、44 4.第一章300的情况。990的情况。09QUOTE *N四十二9228岁290的情况。711 .一、47QUARC-N四十三7328岁610的情况。690的情况。10GO-DAQ七十六。1531岁920的情况。101 .一、27GO分层12个。649 .第九条。751 .一、17四百四十九47Herz-Jesu-P8QUARCH*M五十三4978岁681 .一、561 .一、32QUARC-M411466101 16586.290的情况。07QUOTE *N83岁61三十三岁。931 .一、241 .一、90QUARC-N七十六。81三十四221 .一、210的情况。09GO-DAQ66岁。10三十三岁。840的情况。271 .一、851093引用[1] 三维流SRL。3DFZephyr 重 建 展 示 。https://www.3dflow.net/3df-zephyr-reconstruction-showcase/.[2] 马克斯·K.阿戈斯顿计算机图形学和几何建模：实现&算法。Springer，2005年。[3] 斯蒂芬·博伊德和利文·范登伯格。凸优化。剑桥大学出版社，2004年。[4] 曼莫汉·钱德拉克，萨米尔·阿加瓦尔，弗雷德里克·卡尔，达维德·尼斯特尔和达维德·克里曼。 通过绝对二次曲面的秩约束估计的自动校准IEEE计算机视觉和模式识别会议论文集，第1-8页，2007年[5] ManmohanChandraker 、 SameerAgarwal 、 DavidKriegman和Serge Belongie。分层自校正的全局最优算法International Journal of Computer Vision，90（2）：236[6] 范金燕。关于凸约束非线性方程的Levenberg-Marquardt方法Journal of Industrial and Management Optimization，9（1）：227[7] Pierre Gurdjos，Adrien Bartoli和Peter F.斯特姆双线性自校 准 是 否 人 为 模 糊 ？ 在 Proceedings of the IEEEInternational Conference on Computer Vision，第88-95页[8] Adlane Habed，Kassem Al Ismaeil，and David Fofi.零偏斜和常参数假设下分层摄像机自标定的一组新的四次三元 多 项 式 方 程 欧 洲 计 算 机 视 觉 会 议 论 文 集 ， 第710Springer Berlin Heidelberg，2012.[9] 理查德·哈特利未校准视图的欧氏重建在计算机视觉中不变性应用的欧洲-美国联合研讨会论文集，第235-256页，1994年[10] 理查德·哈特利手性。国际计算机视觉杂志，26（1）：41[11] 理查德·哈特利，埃里克·海曼，卢尔德·德·阿加皮托，伊 恩 · 里 德 。 摄 像 机 校 准 和 寻 找 无 穷 大 。IEEEInternational Conference on Computer Vision ， 第510-517页[12] Richard Hartley和Andrew Zisserman。计算机视觉中的多视几何学。剑桥大学出版社，第2版，2004年。[13] ChristianKanzow、NobuoYamashita和MasaoFukushima。解带凸约束非线性方程的局部强收敛的Journal of Computational and Applied Mathematics，172（2）：375[14] JohanLofber g. YALMIP：MATLAB中的建模和优化工具箱在Proceeding