正交透视对极几何及其应用

5570正交-透视对极几何Viktor Larsson1，Marc Pollefeys1，2，MagnusOskarsson31苏黎世联邦理工学院计算机科学系2微软混合现实与人工智能实验室苏黎世3隆德大学数学科学中心*摘要在本文中，我们考虑的极线几何之间的正交和透视我们概括了许多经典的结果的角度基本矩阵到这种设置，并得出新的最小解算器，不仅为校准的情况下，但也为部分校准和非中央相机设置。虽然正交摄影机看起来很奇特，但它们在许多应用中自然存在。他们可以例如。模型2D地图（如平面图）、航空/卫星摄影，甚至近似窄视场相机（如从长焦镜头）。在我们的实验中，我们突出了各种应用的开发理论和求解器，包括雷达相机校准和调整结构从运动模型航空或卫星图像。1. 介绍在本文中，我们直接我们的注意力在一些东西，乍一看，似乎像一个异国情调的生物在土地上的极几何，即必要的矩阵混合正交和透视相机。通过这一点，我们意指双视图场景的几何形状，其中一个相机是完全校准的透视相机，而另一个是全息相机。几何结构示意图见图1。该病例首先由Zhang等人考虑。在[27]其中导出了正交透视基本矩阵。在这项工作中，我们扩展了他们的分析，并推导出一个平行的理论的经典结果的角度基本矩阵。另外，我们考虑透视相机仅部分校准（未知焦距）或当它是非中心（广义）相机时的情况。对于每种情况，我们推导出新的最小解算器，其允许RANSAC [3]框架中的鲁棒估计。虽然产生真正的正投影的光学系统并不常见，但正投影相机是*由战略研究项目ELLIIT和ESSENCE以及GA 876019下的H2020ECSEL JU项目ADACORSA资助图1. 正交-透视对极几何适用于许多其他设置。例如，诸如楼层平面图的2D地图可以被视为场景的头顶因此，将相机配准到2D地图等同于正交图像和透视图像之间的相对姿态估计。正交投影也可以近似透视投影的情况下，在实验中，我们将表明，使用这种近似甚至可以是更可取的全透视模型时，焦距需要估计以及。此外，虽然用于卫星或航空摄影的相机模型通常是复杂的，但是它们也可以通过更简单的正交模型很好地近似对极几何的相关工作。对极几何处理观看场景的两个相机的几何。通常，它的特征在于双焦匹配张量（参见Triggs [26]），该张量与相应的图像点相关。对于投影相机，这是基本矩阵。该矩阵只有一个内部约束（秩为2），并且可以从七个点对应关系中最小地估计[6]。对于校准的相机，对应的双焦点张量是基本矩阵。虽然基本矩阵首先由Longuet-Higgins [12]引入，但Hauck [7]早在1883年就研究了校准的对极几何。基本矩阵可以从五个对应关系中最小地估计，并且在文献中已经提出了多个求解器（参见557111不K1221不2O例如[14，22，4]）。双焦张量也被研究用于非透视相机。例如，Shapiro et al.[20]导出了仿射相机的基本矩阵，后来在[ 21，16 ]中专门用于弱透视/正交。Dai等人[2]推导出用于模拟卷帘快门效应的基本矩阵。也有考虑异构相机设置的作品;例如[24，17]考虑了para-catadioptric/透视，[8]研究了具有混合维度的相机的多焦点张量（2D相机与1D线阵相机）。与我们最相关的工作来自Zhang et al.[27]其还考虑了立体和透视相机的对极几何。在[27]中，作者导出了正交透视本质矩阵并确定了其内部结构。他们还提出了一种方法，用于将给定的矩阵投影到正交透视本质矩阵的集合上。虽然本文讨论了从五点对应求解本质矩阵的可能性，但没有导出最小解算器本文在[27]的分析基础上，导出了正交透视本质矩阵的新性质和结果我们开发了新的内部约束是类似的，所以经典的跟踪约束，并展示了如何使用这些可以得到一个最小的求解器。在补充材料中，我们对我们考虑的应用程序的相关工作进行了额外的2. 混合透视和正交现在我们将注意力转向一个相机是透视相机而另一个相机是正交相机的特殊情况让xp=（x，y，l）T且xo=（mx，my，1）（1）分别是透视和正交相机中的图像点。我们假设透视摄像机已校准，并且图像点以正常的角度给出图2. 翻译歧义正交相机确定重建的比例然而，不可能确定相机沿着正交相机的观察方向的相对平移这是在[27]中首次确定的正交透视基本矩阵。在下面的部分中，我们讨论对极几何的各种性质。在补充中，我们还考虑了平面诱导单应性之间的正交和透视图像。2.1. 标度/翻译歧义在经典的对极几何中，场景的尺度是不可观察的。在正交透视设置中，全局比例固定为正交摄影机的比例相反，在沿着正交相机的观察方向的平移中出现歧义（参见图2）。正交透视本质矩阵和极线约束在r1和r2尺度下是齐次的。因此，在缩放的正投影（弱透视）的情况下，无法估计缩放因子，因为这仅重新缩放E。这种模糊性直接与场景的尺度相关联，如从（3）-（4）可以看出的，其中r1、r2的任何重新缩放可以由深度λ补偿。因此，我们将在其余的文件考虑r1和r2作为正交向量的相同长度。2.2. 本质矩阵从（5）可以清楚地看出，基本矩阵满足化图像平面。 在透视照相机的坐标系中，对于某个λ >0，对应于xp的3D点为X = λxp。将正交摄影机设为eTe2其中eT= 0， eTe1−e2e2= 0，det（E）= 0（6）是E的第k行。 这些限制因素是Po=Tt1Tt2，r1r2= 0，r1=r2= 1（2）也是在[27]中得到的。然而，类似于透视情况，也存在类似于经典迹约束的内部约束在第4节中，我们将展示如何从正投影中我们得到以下结果mx=λrTxp+t1，（3）m y= λrTxp+ t2。（四）消去λ，我们得到rTxp（my−t2）=rTxp（mx−t1），这些额外的方程对于导出最小解算器非常有用定理1（正交透视迹线约束。）.对于一个实非零矩阵E，下列等式等价i) E是正交透视本质矩阵（如在（5）中）1可以重写为2−rTRii) E满足约束条件2EE TDE = tr. EET DΣE，ΣrRΣ557221（7）xTExp=0，其中 E=不1t1rT−t2rT。（五）其中D = diag（1，1，0）。5573K⇒1T21- ⇒±−221233121211pX11p某些α∈R.插入到（11）中产生21O2O11331112R不备注。 考虑到正射相机是焦距趋于无穷大且D =limf→∞K−1的极限，约束的结构可能并不太令人惊讶。证据设eT表示E的第k行.通过考虑跟踪约束（7）的每行，我们得到R2−r1r1λxp2（eTe1）e1+2（eTe2）e2=（eTe1+eTe2）e1（八）−r22（eTe1）e1+2（eTe2）e2=（eTe1+eTe2）e2（9）−λxp2（eTe1）e1+2（eTe2）e2=（eTe1+eTe2）e3（10）图3.正交透视基本矩阵双绞线通过将（5）插入到（8）-（10）中，直接得出含义iii。为了证明相反的假设，E满足约束。从（8）我们得到2（eTe2）e2=（eTe2−eTe1）e1（11）因此，e1e2或两个系数都为零，即eTe2= 0，e1= e2。（12）现在假设它们是平行的，即 e = αeces。对于每个基本矩阵，有两种可能的分解，可以使用手征消除歧义。证据将（3）乘以rTxp，我们得到（rTx）（m−t）=λ（r x）（17）因此，如果左侧为正，则λ > 0。使用（5）我们得到1xTEe1eTxp=xT0rTxp=（mx−t1）rTxp（18）−t12α2e12e1=（α2−1）e12e1，（13）这意味着α2=1=α=i。 然而，假设E是实数，因此e1不能平行于e2。（12）我们有，我们有。备注。从证明中，我们可以看到，存在使用第二方程（ 4 ） 的 分 析 约 束 ， 其 具 有 相 反 的 符 号 ， 即xTEe2eTxp<0.约束力-1 2生成，如果To1T分别），其中相同长度的正交向量 设r1= e2，r2=e1。它仍然表明，e3是正确的形式。从（10），2（eTr2）r2+ 2（eTr1）r1=（r12 + r22）e3（14）表明e3确实是一个线性梳。 R1和R2的。备注。从上面的证明中我们可以看出，迹约束允许形式e2xp=0（或e1xp=0可以使用其它约束。注意，如果两者都为零，则xp=γr3是右核线（见2.4节）。2.4.本质矩阵正交透视本质矩阵E的以下性质可以通过显式计算容易地验证。分解矩阵E可以分解为E= [aT;±iaT;bT]（15）0−1Σ rTΣ2.3.双绞线对于每个正则本质矩阵，有四个consis-E=[（t1，t2，1）]×DR=1 01−t2 t12（十九）帐篷摄像机对。对于正交透视本质矩阵只有两个解对应于R1和R2的符号变化。从等式（3）-（4）我们可以看到，这对应于标量λ的改变符号。因此，与常规基本矩阵的情况一样，这种模糊性可以通过考虑透视相机的手征约束来解决这在图3中示出。下一个结果表明，可以在不对任何点进行三角测量的情况下确定正确的符号。定理2.给定相应的点xo和xp，5574K12核线E的核线由下式给出Eep= 0 =⇒ep=r3=r1×r2（20）ETeo=0 =⇒eo=（t1，t2，1）T（21）奇异值。假设E被缩放，使得第一行是单位向量，则E的奇异值为σ1=.1+t2+t2，σ2=1，σ3=0（22）正交透视本质矩阵E的符号是consis-具有正透视深度帐篷当且仅当xTEe1eTxp>0（16）这一点在[27]中也有体现。备注。 对于t1=t2=0，奇异值变为σ1=σ2=1，σ3=0。在这种情况下，正射透视法O2本质矩阵也是透视本质矩阵，cor-其中eT∈R3表示E的第k行.响应于相同的相对旋转但具有向前的5575.Σ∈2=×R2γ−1 012γ2epF¨BT−E¨-EBp翻译，即t=（0，0，1）T。然后左核线在图像中心，产生径向核线。为了理解为什么矩阵在这种配置中重合，请注意正交矩阵和每个正交矩阵之间的差异透视投影仅在径向缩放中，在一旦我们恢复了Q，x和y，我们就可以计算尺度γ并转换回（5）的参数Σr1Σ=1Σ01ΣQB T，[tt]=−1[x y]Q T。这种情况也是沿着核线。2.5. 到本质流形的在某些应用中，需要找到与给定的3 ×3矩阵最接近的基本矩阵，即解决最小E−E2s. t. E是一个基本矩阵。（二十三）虽然该投影步骤没有最优地求解（23），但我们发现它在实践中给出了非常好的解。在第5.1.1节中，我们展示了验证这一点的实验结果。在[27]中，作者提出了一种类似的方法，用于投影到正交透视基本矩阵上，而不是首先求解正交相机(or相当于翻译）。若要恢复旋转，请使用EF方法然后计算另一个3×3奇异值decom，对于给定的矩阵E∈R3×3. 这是一个示例使用-位置（与所提出的方法中的2×2相比）。毛皮-当使用DLT [5]从非最小数量的点估计E时，作为后处理步骤。对于正则基本矩阵，该投影在奇异值分解方面具有良好的闭合形式表达式（通过简单地将奇异值设置为1，1，0）。不幸的是，在正交透视的情况下，事情就不那么容易了。相反，我们现在提出了一个简单的两步方法，该方法近似求解正交透视本质矩阵的（231. 估计右核极。 我们首先通过最小化从E估计右核线minEep2s.t.ep该问题有一个封闭形式的解决方案，由右奇异向量对应的最小奇异值。2. 有固定核点的投影。接下来，我们求解投影，假设右核是已知的，即此外，正如我们将在实验评估（第5.1.1节）中所示，这种方法产生的估计值不太准确2.6. 未知焦距到目前为止，我们已经假设透视相机被校准。我们现在将我们的焦点转向透视焦距fp未知并且需要被估计的场景 从基本矩阵F，我们通过从右边乘以K得到本质矩阵，E=FK，其中K=diag（fp，fp，1）。将E的表达式插入（7）中，并从右边乘以K−1，得到以下约束2FKK TF TDF = tr FKK TF TD F。（二十八）在这个表达式中焦距只表现为β=f2，我们可以用下面的方法重写这个表达式最小E−E2S.T. Eo-p. essential和Eep=0（25）FKK TFD = βFDF T+ F（I-D）F T= βA + B。（ 二十九）F我们现在可以将（28）改写为设 BR3×2 是 与 ep 正 交 的 向 量 的 标 准 正 交 基 ， 即BTep=0，BTB =I2. 以ep作为右核极的正交透视本质矩阵可以参数化为2βAF+2BF=βtr（A）F+tr（B）F，（30）可以写成Σ2Afi−tr（A）fi 2Bfi−tr（B）fiΣΣβΣ=0，i=1，2，3.QE=xyBT，Q∈R2×2，QTQ=γI（26）`Mix（三十一）（25）中的成本可以简化为其中fi是F的第i列。由于（31）应该有解，我们得到了一个基本解的必要条件。ΣQΣX y��Q��FF具有未知焦距谈话矩阵F都是2×2我优化问题现在分离为未知数（Q，x和y），并且我们可以独立地求解它们。当x，y是无约束的并且直接作为E（B）的第三个r w给出时，我们有一个约束，即Q应该是一个缩放的正交矩阵。幸运的是，这有一个封闭形式的解决方案，通过计算E B的顶部2 2块的SVD并将奇异值替换为它们的平均值。12X y（二十七）M的次行列式应该消失。 这些约束55763是F的项中的九个总次数为六的多项式，并且与秩-2约束一起定义具有未知焦距的可能的正交透 视 基 本 矩 阵 的 也 很 容 易 验 证 （ 例 如 使 用 诸 如Macaulay 2）的计算机代数系统，与该流形相关联的理想由i=3的（三个）方程的子集以及秩-2约束生成。所有三个方程都包括因子fTDf3，其中5577122OOT T TT1×221p2112p可以分开。因此，本质上流形是由三个总次数为四的多项式和一个次数为三的多项式（秩约束）生成的。这与文献[9]中发现的具有单侧未知焦距的普通本质矩阵的情况类似3. 非中心摄像机在前面的章节中，我们考虑了一个中心的情况f1f2f3f4f5f6f7f8f9det（E）eTe2|−| e 2|e2|x3x2y xy2y3x2z xyz y2z xz2yz2z3x2xyy2xz yzz2x y z 11M11M21M31M41M51M61M71M81M91M101男性11例1M12中心透视照相机，即透视照相机的观察光线现在，我们将分析扩展到非中心相机（有时称为广义相机）的设置，其中观察光线不相交。这可以例如对校准的多相机系统建模，或者如我们稍后将示出的，它可以用于将完整的运动恢复结构模型配准到正交图像。然后，每条视线可以源自运动恢复结构重建中的不同相机，并且因此具有不同的相机中心。现在考虑正交摄影机和非中心摄影机之间的对应关系。再次，让Xo表示正交图像中的图像点，并且将非中心相机中的视线参数化为λχρ+αρ。与中央摄像头相比，非中央摄像头重建的规模因此，为了配准到正射图像（其也固定比例），我们需要参数化相对比例变化s。投影方程为mx=rT （ λxp−scp ） +t1 ， my=rT （ λxp−scp ） +t2（32）去掉深度λ我们得到rTxp（my−t2+srTcp）−rTxp（mx−t1+srTcp）=0图4. o.p.的消除模板基本矩阵求解器前九个等式fi是迹约束（7），并且其他等式是来自（6）的对E的原始约束。每个点对应产生一个线性约束，XTEXp=0。从五个对应中，我们可以提取一个可能的3 ×3矩阵的四维线性空间，E=E1x+E2y+E3z+E4w（37）由于约束是齐次的，我们可以通过设置w=1来固定尺度。 将（37）插入跟踪约束（7）和det（E）=0产生x，y，z中的10个三次方程。该方程组具有与Class-1几乎相同的结构。sical五点算法，实际上我们发现这个系统也有10个解。这里可以直接应用与经典五点求解器中相同的求解策略（参见例如[14，22，4]）。然而，在正交透视设置中，我们知道迹线约束允许形式（15）的附加复数解。可以通过添加来自（6）的附加约束来移除这些解。除了行列式之外，这些方程在零空间参数x、y、z方面是二次的。类似于[22]，我们推导出一个动作矩阵。1 2 21（三十三）基于solver我们把所有的方程堆成一个矩阵该约束可以重写为−s（r xp）（r cp）+s（r xp）（r cp）=（34）scT（r1rT− r2rT）xp= −scT[r3]×xp（35）其中r3= r1× r2。广义核线约束为xTExp+scT[r3]xp=0（36）o p×该约束类似于文献[ 23 ]中导出的经典广义对极线约束，在文献[ 23]中，该约束是使用P lücker线导出的。在补充材料中，我们示出了如何也可以以类似的方式导出（364. 最小解算器每列包含一个单项式的系数。对此执行线性消除允许我们直接恢复用于与X相乘的动作矩阵，如MX=[−m3;−m5;−m6;−m8;−m11;−m12;u2;u5]（38）其中，mi遵循图4中的符号，ui是第i个规范基向量，即， u1=（1，0，. . . 、0）等。 从M x的特征向量，我们可以恢复的解决方案。注意，这种方法与[22]相同，除了两个额外的约束允许我们消除两个额外的单项式（使用最后8个，而不是最后10个）。备注。 我们还试验了仅使用在[27]中导出的原始约束（6）。应用Larsson等人的方法[10]生成模板大小为42 54的求解器，返回12个解。四个额外的解决方案是复杂的，并有eTe1=eTe2=0。多个比较在本节中，我们推导出最小解的ortho-1 2透视基本矩阵。由于与正则本质矩阵的结构非常相似，因此可以应用类似的求解策略。正交透视本质矩阵5578具有五个自由度，并且因此可以从五个点对应最小地可以在补充材料中找到。4.1. 未知焦距对于透视相机的焦距未知的情况，我们有一个额外的参数来估计。5579O−ΣΣ×××3KKK6匹配，因此我们需要最少六个点对应来求解相对姿态。每个点对应产生一个线性约束，xTF xp= 0，其中E=FK，K=diag（fp，fp，1）。从六个对应中，我们可以提取可能的3 ×3矩阵的三维线性空间F=F1x+F2y+F3z。（三十九）我们再次通过设置z=1来固定比例。将F（x，y）的表达式插入到未知焦距约束中导致三个四次多项式（x，y）和一个三次多项式（ p4（x，y））的系统。这些多项式包含15个单项式中的参数（x，y）该问题可以很容易地被验证为最多有九个解决方案。我们可以通过以下方式基于动作矩阵构造求解器我们把y作为动作变量b=x2yxy2y3x2xyy2xyl，（40）作为商空间的线性基。在乘以动作变量y之后，我们得到单项式向量yb，它仍然包含在来自初始方程的15个单项式中。 我们可以将两个多项式yp4（x，y）和xp4（x，y）添加到我们的方程中。由于p4（x，y）的阶数为3，所以这两个新多项式的阶数为4，并且不添加任何新的单项式。这六个多项式将直接给出一个紧凑的模板，从该模板中，我们的作用矩阵可以通过高斯消去法来提取，与第4节中的方式相同。从作用矩阵的特征向量中，我们找到x和y，并从这些特征向量中，我们从（39）中恢复F然后从（31）中找到焦距。4.2. 非中心现在，我们推导出第3节中讨论的广义情况的求解器。问题（包括估计相对规模）是最小的六个对应。每个对应关系给出对E和sr3的线性约束（36）。从这些，我们可以提取一个12 6= 6维零空间基，这样的解决方案可以写[Esr]=Σα B，B ∈R3×4.（四十一）k=1备注。注意，所提出的6点解算器不对应于常规的广义6点相对姿态解算器，因为它还估计重构之间的比例据我们所知，目前还没有已知的最小解的规则广义相对姿态问题与未知的规模（这将使用7点）。5. 实验5.1. 合成实验为了评估所提出的求解器的数值稳定性，我们生成合成场景。我们均匀地采样的图像点在1000 - 1000图像的透视相机。透视相机的视场从[45◦，90◦]均匀采样。然后将这些点反投影到随机深度并重新投影到随机定向的正交摄影机对于一般化的求解器，我们为每个对应关系随机采样不同的相机中心。在实验中，我们生成了10，000个随机无噪声实例，其中我们应用了第4图5示出了估计的对极几何中的误差的分布所有建议的求解器产生稳定的估计。我们的MATLAB实现的运行时间（在2.5 GHz i7 Macbook Pro上）为0。5ms，0. 3ms和0. 三个完整解算器为855.1.1本质矩阵投影在第2.5节中，我们提出了一个两步投影方法，近似地找到最接近的正交透视基本矩阵到一个给定的3 - 3矩阵。现在我们评估这个近似值与最优投影的接近程度。与前一节类似，我们生成随机合成实例。对于每个图像，我们将零均值高斯噪声添加到图像对应关系中，并使用DLT [5]从25个点对应关系中估计基本矩阵。由于噪声，这些矩阵将不满足内部约束。我们比较了2.5节中的投影方法和Zhang等人的方法。[27]第10段。我们还包括本地细化初始化的结果从地面实况基本矩阵（用于生成场景）和从结果两种方法中，最好的由于约束是齐次的，我们可以通过设置α6= 1来固定尺度。 根据迹约束（7 ）和（6 ），我们得到α1，…，α 5 然而，sr3并不独立于E，我们还必须强制Er3=0，从而在αk中产生三个额外的二次方程。应用-ING求解器生成器从拉尔森等人。[10]我们发现这个问题有16个解。生成的求解器在170×186线性系统上执行线性消除，然后执行求解16×16特征值问题。保持结果（表示为GT）。 图6显示了平均相对误差（E−EF/EF）。所提出的方法产生的结果非常接近地面实况投影。5.2. 应用：将具有大焦距的相机近似为正交相机对于具有非常大焦距（窄视场）的相机，观察光线大致平行。在本节中，我们尝试近似这样的凸轮-5580E−Eǁ − ǁ ǁ ǁ旋转平移比例0的情况。60的情况。40的情况。20OPE 5分（第二节）四、−15 −10对数相对误差0的情况。60的情况。40的情况。20OPE+f6pt. （第二节）第4.1节）−15 −10 −5对数相对误差0的情况。30的情况。20的情况。10正交广义6pt.（第二节）4.2）−15 −10 −5 0对数相对误差图5. 数值稳定性评价。这些图显示了10，000个合成实例的log10相对误差的分布（更多详细信息请参见第5.1三个建议的求解器产生稳定的估计。10−4OPE fo+E OPE+fpF E5分6分。[9]第六部分。 7分。 [6]5pt. [14个]10−50 2 4 6 8 10150mm（N=10237）300mm（N=9391）600mm（N=3313）AUC1016.0544.5218.6644.13电话：+86-021 - 88888888传真：+86-021 - 88888888AUC1027.1334.7125.3631.21电话：+86-021 - 8888888传真：+86-021-8888888AUC1037.7821.7629.2020.18 59.09电话：+86-021 - 88888888传真：+86-021- 88888888图像噪声（px）图6. 投影到基本流形上。平均相对距离EEF/EF（投影后的变化噪声）。所提出的投影方法相比，张等人的方法给出了更好的估计。[27]这是一个非常好的选择。使用正交投影模型创建纪元。我们考虑一个包含1557张 不 同 焦 距 （ 24mm ， 50mm ， 105mm ， 150mm ，300mm和600mm）的DSLR图像的数据集。我们通过使用COLMAP [18]重建场景来创建伪地面实况。对于实验设置，我们然后选择图像对;一个具有较短的焦距（24 mm、50 mm、105 mm），一个具有较大的焦距（150 mm、300 mm、600 mm）。具有较大焦距的图像我们近似为正交相机。我们考虑了至少有100个（ SIFT [13] ） 匹 配 的 所 有 对 ， 分 别 得 到 10237（150mm）、9391（300mm）和3313（600mm）对。注意，视场（105. 8◦用于24mm和3。4◦（600mm）导致一些非常具有挑战性的图像对（见图7）。对于每个图像对，我们使用RANSAC与正交透视基本矩阵求解器来估计对极几何; 5点（OPE;第4节）和6点（OPE + fp;第4.1节），用于估计透视相机的焦距。RANSAC被限制为1000次迭代，并且最佳模型是通过对对称极线误差的MSAC评分[25]来选择的。我们还比较了求解器，试图共同估计焦距;来自[9]的估计单侧焦距（用于估计较大焦距）的6点求解器（f o + E）和估计两个焦距的7点基本矩阵求解器[6]（F=f o + E + fp）。为需要部分校准的求解器（OPE和fo+E）我们使用EXIF标签中的焦距。旋转平移旋转平移焦距提出Zhang等人[27]第二十七话5581表1. 大焦距的正交近似。 该表显示了10度旋转误差的AUC和内点的F1评分w.r.t. 地面实况内点。 正交近似法对于大焦距效果更好，而对于试图估计焦距的求解器，性能会降低（OPE与fo+ E）。 当透视相机中的焦距未知时（OPE +fpvs. F），也会出现相同的趋势。图7.第5.2节评价中的图像对。焦距在24mm和600mm之间。表1示出了旋转误差的曲线下面积（AUC）（即达到某个阈值的成功试验的数量，作为完整正方形的百分比）和内点分类的F1得分（与来自运动的结构基本事实相比）。实验表明，随着焦距的增大，正投影近似性提高。除了需要少一个点的对应关系，正交透视解算器显示出改进的精度为大焦距相比，完全透视的同行。我们认为这部分是由于估计极窄视场相机的焦距为了比较，我们还显示了估计正则本质矩阵[14]的结果（使用已知的内在函数）。5.3. 适用范围：二维雷达校准最近几年，人们对雷达应用，特别是与图像数据相结合的应用重新产生了兴趣。的5582图8. 用正交图像对齐运动重构结构。图像示出了覆盖在正射照片上的SfM重建（3D点为绿色，相机为蓝色）。左上：大教堂[11]。 中间：圣马可广场（绿色）和总督宫（洋红色）的两个不相交的重建右上：自由女神像[15]注册到45度卫星图像。下图：隆德大教堂[15]。所有正射影像均取自Google地图[1]50454035302520151050-30-20-10 0 102030正交图像。在实验中，我们总共手动创建了大约50-100个对应关系。然而，这些对应性可以使用空中到地面匹配方法自动找到（例如，参见图1）。[19]），这取决于正射图像的视角。我们考虑来自[15，11]的五个数据集。使用COLMAP [18]我们重建场景。每次侦察的摄像头图9.雷达实验的重投影误差提出的方法。左：相机图像。右图：雷达图像。雷达和图像数据的组合的吸引力是它们的互补性质和故障模式。我们在这里展示了我们的理论如何可以应用到相对校准的二维雷达与摄像机。对于我们的校准设置，在雷达和校准的相机两者中跟踪个人行走，并且目标是自动找到相机和雷达之间我们使用正交相机的雷达模型，并使用我们的最小的5点求解RANSAC。再投影结果可以在图9中看到。有关更多结果和详细信息，请参见补充资料。5.4. 适用范围：将运动恢复结构重建与俯视图像对齐在本节中，我们考虑使用第4.2节中的广义求解器将运动恢复结构重建与正交图像对齐的问题。我们假设我们在SfM重建中的不同图像之间具有2D-2D对应的稀疏集合，并且结构现在被认为是一个单一的广义相机，我们要注册到正交图像。使用RANSAC中第4.2节的求解器，我们估计将重建与正射图像对齐的相似性变换图8示出了对齐的重建。在图8（中上部）中，我们示出了共同配准到同一正射图像的两个不同6. 结论在本文中，我们提出了一个统一的理论，对极几何的混合情况下的正投影和透视投影。我们已经导出了一些基本属性的正交透视本质，可以用来构建有效的最小解算器的校准的情况下，未知的焦距的情况下，一般化的相机。这些求解器可以用于许多不同应用中的自举估计，包括将运动恢复结构重建与正交摄影机对准、近似具有大焦距的摄影机以及雷达和摄影机外部校准。测量点重新投影点测量点重新投影点5583引用[1] 谷歌地图。maps.google.com网站。8[2] Y. Dai，H. Li和L.跪下卷帘快门相机相对姿态：广义对极几何在计算机视觉和模式识别（CVPR），2016年。2[3] M. A. Fischler和R. C.波尔斯随机样本同意：一个范例模型 拟 合 与 应 用 程 序 的 图 像 分 析 和 自 动 制 图 。Communications of the ACM，24（6）：381-395，1981.1[4] R. Hartley和H.李一种有效的隐变量最小情况摄像机运动估计方法。模式分析和机器智能（PAMI），34（12）：2303- 2314，2012。二、五[5] R. Hartley和A.齐瑟曼。计算机视觉中的多视图几何。剑桥大学出版社，美国，2003年。四、六[6] R. I.哈特利多幅图像的射影重建和不变量。 译 PatternAnalysis and Machine Inteligence（PAMI），1994. 1、7[7] G. 哈 克 透 视 和 摄 影 测 量 的 新 结 构 。 （ theorie dertrilinearen verwandtschaft ebener systeme ， i.arti kel.）。JournalfürdierineundangewandteMathematik，1883（95）：11[8] K. Kozuka和J.佐藤混合维度相机的多视图几何。计算机视觉理论与应用国际会议（VISAPP），2008年。2[9] Z. Kukelova，J.基里尔湾Sturmfels和T.帕杰拉一个聪明的消除策略，有效的最小解算器。在计算机视觉和模式识别（CVPR），2017年。五、七[10] V. Larsson，K. Astrom和M.奥斯卡松基于合相约简的最小问 题的 高效 求解 器。 在计算 机视 觉和 模式 识别（CVPR），2017年。五、六[11] V. Larsson，N. Zobernig，K. Taskin和M.波勒菲斯具有校准的径向三焦点张量的免校准运动恢复结构欧洲计算机视觉会议（ECCV），2020年。8[12] H. C. Longuet-Higgins从两个投影重建一个场景的计算机算法。Nature，1981. 1[13] D. G.洛从尺度不变的关键点中提取独特的图像特征。国际计算机视觉杂志（IJCV），2004年。7[14] D. 是的。五点关系问题的有效解决方案。模式分析和机器智能（PAMI），26（6）：756-770，2004。二、五、七[15] C. Olsson和O.恩奎斯特无序图像集合的运动稳定结构。斯堪的纳维亚图像分析会议（SCIA），2011年。8[16] M.奥斯卡松双视图正交对极几何：最小和最优解算器 。 JournalofMathematicalImagingandVision（JMIV），2018。2[17] L. Puig，P. Sturm，and J. J·格雷罗混合单应性和基本矩阵混合未校准的全向和常规相机。机器视觉和应用（MVA），2013年。2[18] J. L. Schonberger和J. M.弗拉姆结构从运动重新审视。在计算机视觉和模式识别（CVPR），2016年。七、八[19] Q. 尚角，澳-地吴湾，澳-地Curless，Y.古川角埃尔南德斯，还有S. M.塞茨通过地空影像匹配实现精确的地理配准。2014年国际3D视觉会议（3DV）。8[20] L. S. Shapiro，A. Zisserman和M.布雷迪经由仿射对极几何的3D运动再现国际计算机视觉杂志，1995年。2[21] I.希姆绍尼河Basri和E.里夫林弱透视运动的几何解释。模式分析与机器智能（PAMI），1999年。2[22] H. St e wenius、C. Engels和D. 是的。直接相对定向的最 新 ISPRS Journal of Photogrammetry and RemoteSensing，60（4）：284-294，2006. 二、五[23] H. 你好，先生。Oskarsson，K. Astr o¨ m和D. 是的。最小广义相对位姿问题的解。2005年，全向视觉、摄像机网络和非经典摄像机研讨会。5[24] P. Sturm.混合反射式和透视式摄像机。2002年，全向视觉、摄像机网络和非经典摄像机研讨会。2[25] P. H. Torr和A.齐瑟曼。Mlesac：一种新的鲁棒估计器及其在图像几何估计中的应用。计算机视觉和图像理解（CVIU），2000年。7[26] B. Triggs匹配约束和联合图像。计算机视觉国际会议（ICCV），1995年。1[27] Z. Zhang，P. Anandan，and H.- Y.沈从一个完整的和一个弱的透视图像可以确定什么？计算机视觉国际会议（ICCV），1999. 一、二、三、四、五、六、七