基于隐式畸变模型的摄像机位姿估计

12819DD→基于隐式畸变模型的摄像机位姿估计Linfei PanETHZurichlinpan@student.ethz.chMarc Pollefeys苏黎世联邦理工学院，微软marc. inf.ethz.ch隆德大学viktor. math.lth.se摘要低维参数模型是计算机视觉中摄像机内部标定的事实标准。这些模型明确地描述了传入的视线和图像像素之间的映射在本文中，我们探讨了一种替代方法，隐式模型的镜头失真。其主要思想是用正则化项代替参数模型，以确保潜在的失真图在整个图像中平滑变化所提出的模型是有效的参数自由，并允许我们优化的6自由度的相机姿态，而不需要明确知道的内在校准。我们表明，该方法是适用于广泛的选择相机与不同的失真和在多个应用程序，如视觉定位和结构从运动。50024502400235023002250500501000 500 1000 1500 20000 200 400 600 800 100080 100 120 140 160 1801. 介绍相机的内在校准描述了图像中的2D像素与3D中的对应射线知道固有校准，即能够投射到图像中（或反之亦然）是大多数几何视觉任务的先决条件这种映射通常使用低维参数模型进行参数化。在本文中，我们建议，而不是隐式模型的内在校准。更具体地说，我们看估计6度的自由度相机姿态从给定的2D- 3D对应时，内在校准是未知的。我们的方法假设相机是中心和径向对称的（即，失真仅随径向偏移而变化，而不随角度变化），这是大多数消费者照相机的情况。其主要思想是用正则化项代替显式参数模型，使底层的失真映射变得平滑。所提出的隐式失真模型使我们能够根据相机的外部参数对内部校准进行它是有效的无参数和generalizes到广泛的相机和镜头组合的选择，从良好的针孔图像高度非线性光学系统，如鱼眼或折反射相机。的图1.计算的逐点焦距f i的示例从（8）到图像半径ri。上图：鱼眼镜头。中：45毫米镜头。下图：折反射相机。焦距的负值对应于相机中心后面的点。该方法可以进一步扩展到利用来自同一相机的多个图像，甚至可以合并到一个完整的调整中，共同改进3D点和相机。2. 背景及相关工作摄影机和镜头失真建模。标准针孔相机模型适用于直线镜头。为了处理与此的偏差，通常的做法是包括应用于针孔投影的非线性失真函数这可以形式化为x=fD（π（RX+t））+c（1）其中f是焦距，π是针孔投影（去均匀化），c是主点，非线性函数模拟透镜畸变。如果凸轮是径向对称的，则畸变映射仅取决于径向偏移，因此具有以下形式（z）=d（z）z，其中d：R+R. 函数d通常被d（r）= 1 + k1r2+ k2r4+. - 是的- 是的（二）2000175015001250100075012820Σ→∞−∞其中k1，k2，. - 是的- 是的 是每个摄像机需要校准的参数。（2）中的多项式是布朗-康拉迪模型[4，7]，并且是实践中的流行选择1虽然（1）对于许多相机都很有效，但在针孔投影之上应用失真模型会给非常宽的视场相机带来问题（例如，鱼眼或折反射系统）。在[38]中，作者建议将投影方程重新表述为RANSAC中的假设，以及非线性姿态细化。如果我们在方程（3）中要求λ > 0，我们得到下面的约束xT（R12X+t12）> 0，它类似于标准手征检验并可用于滤波。分层校准方法。径向排列约束已被广泛用于分层校准方法，该方法首先估计部分外质（R，t1，t2），然后联合估计t3和内质（R，t1λxF（x） =RX+t（3）三本征校准这种方法最初是由[44 ][46][47][48][49]类似地，Kukelova et al.[15]用它来做联合姿态估计。其中x是中心图像点，F：R+R是失真函数。在[38]中，函数F也被参数化为（2）中的多项式，除了常数系数不固定为1，因为它在这种情况下也编码焦距这 种 方 法 可 以 处 理 任 何 径 向 对 称 的 相 机 （ 包括>180μFoV）。Fitzgienic [8]和许多其他人也使用了类似的失真（或者更确切地说是不失真，因为它适用于图像观测）模型，参见例如。[5、13、15径向对称相机的位姿估计。对于径向对称的相机，可以通过使用失真图是纯径向的来部分如果x=（x，y），我们从（3）得到线性约束，（−y，x，0）·（R X + t）= 0。（四）这是径向对准约束[44]，它要求投影位于通过图像点的径向线上的某个位置。Each correspondence thusgives a linear constraint on (R, t) which is independent ofthe dis- tortion map F . 请注意，该约束不涉及t3，因此只能将相机姿态恢复到未知的前向平移。在[38，44]中，该约束用于估计相对于平面校准图案的部分相机姿态。这后来被Kukelova等人推广到非平面构型。[15]解决了一般最小估计问题（从5点对应）。如果只考虑径向约束，则摄像机的多视图几何最初由Thirthala和Pollefeys [41]考虑，后来扩展到完整的运动恢复结构[12，14，22]。给定偏外函数（R，t1，t2），我们可以计算出一个偏拒绝误差;仅测量与径向线。径向重投影误差定义为：zzT2使用除法模型进行测量和自校准[8]。后来，Larsson etal.[21]将该方法扩展到更一般的失真模型集。坎波塞科等[6]提出了一种非参数校准的分层方法。非参数相机模型。还存在用于固有校准的非参数（或通用）模型，其估计每个像素的独立射线，允许它们对任意相机系统进行这种类型的模型首先由Grossberg和Nayar提出[9]。此后，多部作品在各个方面都有改进;初始化[31]，失真中心估计[10]，内插局部B样条[2，32]或RBF [27]和易用性[39]。由于这些模型中的大量参数，更密集的校准模式[39]或活动目标（例如，[3]一般都是用。通用模型仍然明确描述了内在校准。与这些方法相比，我们参数化的摄像机姿态的内在校准，然后正则化。因此，我们只能通过外部参数间接优化内部隐式失真建模的相关工作。与我们最密切相关的工作来自Camposeco et al.[6]其中作者使用分层方法进行非参数自校准。它们首先使用径向对齐约束（如上所述）来估计旋转和两个平移参数。为了估计前向平移t3，类似于我们的方法，他们避免显式地参数化失真映射。在他们的方法中，他们使用的是从图像半径到张角（到主轴的角度）的映射是非递减的。如果（R，t1， t2）是固定的，则每对对应将 t3限制为半个区间（[a，]或[，b]）。然后通过找到满足最多间隔的位置来恢复向前的平移。这被公式化为以下凸优化问题εr（ R，t，x，X）=<$（I−zTz）x<$其中z=R12X+t12（五）mint3max（ai−t3，0）+我max（t3−bj，0）（6）J其中（R12，t12）表示（R，t）的前两行。该误差可以用于评估姿态的质量，[1]该模型还包括常被忽略的切向项。一旦相机姿态估计，他们恢复一个显式的非参数的内在校准。Camposeco et al.”[6]《易经》云：ΣΣΣ12821RRTZZTZZǁ ǁǁ ǁΣΣǁ ǁR，ti=1我3NHartley和Kang [10]的工作采用了类似的方法，但对于平面情况。对于平面场景，他们使用径向约束来估计单应性，该单应性将平面图案映射到每个对应的径向线dence. 这只会产生homogra的前两行-（8）根据相机姿态参数化fi，并且使用此，我们设置优化问题为min<$Q（εr（R，t，xi，Xi ））+R.{fi}N（9）i=1phyH12，在[10]中，他们建议在第三个通过正则化径向偏离，其中是逐点焦距的正则化子，εr是在等式中定义的径向重投影误差。（5）和映射点的集合，即ru=12H12xi/hTxi.Q是我们的方法类似于[6]，因为我们也解决了相机姿势，而没有参数化失真。与[6]相比，我们使用了更强的正则化（[10]中提出的正则化的推广，参见Sec.3.1）与其排序约束相比。与文献[10]相比，我们考虑了一般的非平面情形和参数化6 DoF相机姿态，并且在优化问题中仅正则化器约束前向平移t3这个公式的动机来自于考虑-将真实重投影误差正交分解为径向分量和切向分量，即，完整的相机矩阵。 对于初始升级步骤，我们只需要优化t3（类似于[6]），而不是像[10]中那样优化第三行h3的三个元素。2zzT2zzT2<$x−z<$=<$（I− ）x<$+<$（x−z）<$`εrx`εtx（十）此外，通过根据等式（8）中的逐点焦距fi提出问题，表达式被简化，并且允许我们更容易地在全6自由度相机姿态上执行优化。在实验中，我们表明，这允许准确的姿态估计，同时仍然推广到各种各样的相机-eras。此外，在[6]和[10]中，他们都没有考虑完整的光束法平差问题，其中3D结构与相机姿势联合优化。在下面的章节中，我们将介绍我们的相机姿态估计方法。在第3节中，我们首先详细介绍如何隐式地对内在校准进行建模。第4节展示了如何使用所提出的模型进行鲁棒估计，在第5节中，我们将其扩展到完全调整。3. 隐式失真建模给定2D-3D点对应（xi，Xi），我们可以将逐点焦距fi定义为其中z是真实投影（使用未知的内部校准）。 这里，仅切向分量ε t取决于径向偏移z（因为zzT/zTz是尺度不变的）。在cost（9）中，εt被正则化子代替3.1. 点态焦函数每个2D-3D对应（xi，Xi）产生未知失真映射的一个观测F：ri<$→fi（11）其中r i=xi。类似于[6，10]，我们对对应进行排序，使得ri

下载后可阅读完整内容，剩余1页未读，立即下载