摄像机标定向导：基于建模几何和角点不确定性的校准指导系统

1497标定向导：基于建模几何和角点不确定性的摄像机标定指导系统彭松友苏黎世联邦理工学院inf.ethz.ch彼得·斯特姆INRIA Grenoble-peter. inria.fr摘要众所周知，校准的准确度强烈依赖于相机姿态的选择，从相机姿态获取校准对象的图像。我们提出了一个系统-校准向导-交互式引导用户对采取最佳的校准图像。对于要拍摄的每个新图像，系统从所有预先采集的图像计算导致内在参数的预期不确定性的全局最大降低我们还展示了如何将角点位置的不确定性，在一个新的原则性的方式，校准和计算的下一个最好的姿势。合成和现实世界的实验进行证明的有效性校准向导。1. 介绍摄像机标定是计算机视觉和摄影测量中许多方法和应用的先决条件，特别是对于需要3D重建或运动估计的大多数问题。在本文中，我们采用了平面校准对象的流行用法，如[17，23]所介绍的1，并通过OpenCV [2]和Matlab [1]提供，即使我们的方法也可以直接应用于3D校准对象。众所周知，当使用平面校准目标时，所得到的校准的准确度强烈地取决于用于获取图像的姿态从[17，23]中相机姿态的退化集合的理论研究，例如直观地得出，在采集过程期间尽可能多地改变相机的取向（旋转）是重要的从业者还广泛地知道，令人满意的校准需要图像，使得目标连续地覆盖整个图像。大部分工作是在他在INRIA实习时完成的1以前使用平面目标，但基本上与运动平台结合使用，以有效地生成3D目标[18，7，20，9]年龄区域，否则径向失真和其他参数的估计通常保持次优。我们已经观察到，没有经验的用户通常不采取校准图像，导致足够准确的校准。在过去已经做了若干努力来引导用户放置相机。例如，在摄影测量中，通过离线过程解决了所谓的网络设计问题：如何放置给定数量的摄像机，以便获得尽可能准确的假定比例的物体的3D反射[10，11]。在[14]中已经计算了用于相机校准的最佳相机姿态，但是仅针对受约束的相机运动，特别是仅针对[23]的线性方法，而我们考虑了用于校准的非线性优化。而且，这些姿势很难实现，即使对于专家用户也是如此。ROS[12]单目摄像机校准工具箱提供了文本说明，以便用户可以相应地移动目标。最近，一些相机，例如来自StereoLabs的ZED立体声系统，带有在校准过程中交互地引导用户到良好姿势的软件;然而，这些姿态是针对特定立体系统预先计算的，并且该软件不能用于校准其它系统，尤其是单目相机。在本文中，我们提出了一个系统，引导用户通过一个简单的图形用户界面（GUI），以移动相机的姿势是最佳的校准相机。最优性被认为是用于校准的束调整型非线性优化公式。对于要获取的每个新图像，系统计算最佳姿态，即，除了已经获取的图像所提供的信息之外，其增加了关于内部参数的大多数新信息。我们所知道的最密切相关的作品是[13，15]。他们还建议- gest下一个最好的姿势给用户。然而，与我们的方法不同，它们都是基于策略的方法，其中建议是从预定义姿势的固定数据集中选择的，这可能不足以用于各种相机模型或校准目标。在我们的方法中，每个新的建议姿势都来自全局优化步骤。此外，我们提出了一种新的方法，将角点位置的不确定性1498(a)(b)（c）第（1）款图1.指导过程的说明（a）校准向导根据先前的校准结果提出下一个最佳姿势(b) 摄像机应朝向建议的目标姿势移动（c）当相机足够接近建议的姿势时，系统获取图像，然后建议下一个姿势。演示代码：https://github.com/pengsongyou/CalibrationWizard。在整个流水线中严格地定位，用于校准，但也用于下一个最佳姿态计算。我们的方法并不特定于任何相机模型;原则上，任何单眼相机模型都可以插入其中，尽管需要使用非常宽的视场相机进行测试本文的结构如下。第2节介绍了校准向导的理论和数学细节。第3节展示了如何将角点不确定性纳入该过程。实验报告见第4节，结论见第5节。2. 方法我们的目标是提供一个互动的指导，为获取良好的图像相机校准。初始校准从校准目标的几个（通常3个）自由拍摄的图像然后，系统通过简单的GUI将用户引导到连续的下一个最佳姿势，参见图1。图1.下面的小节解释了基础计算。2.1. 校准配方假设相机由两个局部投影函数x=qx（Θ，S），y=qy（Θ，S）建模，这两个局部投影函数将局部相机坐标系中给定的3D点S映射到图像坐标x和y。这些函数依赖于Rz（γ）Ry（β）Rx（α）。R和t根据下式将3D点Q从世界坐标系映射到本地相机坐标S=RQ+t（2）也可以使用其他参数化，例如，四元数因此，具有姿态的相机由两个全局投影函数px和py描述：px（Θ，R，Q）=qx（Θ，R，Q+t）=qx（Θ，S）（3）py（Θ，R，Q）=qy（Θ，R，Q+t）=qy（Θ，S）（4）由于使用平面校准目标，因此3D点Q被预定义，并且它们对应的Z坐标Q3被设置为0。我们现在考虑由n个校准点组成的目标的m个图像因此，校准的输入是图像点（xij，yij），其中i=1···m且j=1···n，其由任何角检测器检测，例如，OpenCVfindChessboardCorners函数[2]。为了便于解释，我们假设所有点在所有图像中都是可见的，尽管这在实现中不是必需最佳校准要求非线性同步优化所有内在和外在参数（束调整）。这归结为几何重投影误差的最小化[6]：Σ参数Θ（假设在所有图像上恒定为min（x−p2（Θ，θ，Q））+（y-p（Θ，θ，Q））2例如，由焦距f和主点（u，v）组成的标准3参数针孔模型，即，与θ{\displaystyle\frac{θ}}国际新闻社i、j伊季I j（五）Θ=（f，u，v）θ，具有以下局部投影函数（带有径向失真的完整模型在Rumen中处理第3节）：通常，使用局部非线性最小二乘优化器如Levenberg-Marquardt。我们的系统独立于所使用的优化器;它所需要的全部是在找到的解处计算（5）的偏导数，见下文。S1S21499qx（Θ，S）=u+fS3 qy（Θ，S）=v+fS3（1）让摄像机姿态由外部参数的6-向量矩阵给出。 我们使用表示法<$1 =（t1，t2，t3，α，β，γ）<$1，其中t=（t1，t2，t3）<$1是平移向量，3个角度定义旋转矩阵为绕3个坐标轴旋转的乘积：R=2.2. 次佳姿态的计算我们假设我们已经获取了m个图像，并通过求解（5）从这些图像中估计了内参数和姿态现在的目标是计算下一个最佳姿势;目标是尽可能地减少估计的内部参数的预期不确定性。1500Θ我12M我1.M..........1MmW=A B· · ·AB让我们考虑成本函数（5）的雅可比矩阵JJ包含成本函数残差的偏导数，即 项xij=xij−px（Θ，i，Qj）和yij=yij−py（Θ，i，Qj）。每个残差J包含一个r o w。 其列通常被布置成组，使得第一组包含相对于内在参数Θ的偏导数，并且随后的列组包含相对于相继图像的外在参数的导数。因此，J的高度稀疏形式如下（我们假设有k个内参数）：A1B10···0如[6]中所述，（J<$J）−1由<$=（U−WV−1W<$）−1给出，即k × k对称矩阵的逆矩阵。现在让我们回到我们的目标，确定下一个最佳姿势m+1。如何实现这一点的概述如下。我们扩展方程中的雅可比矩阵 （6）具有与附加图像相对应的部分，该附加图像的姿态由m+1参数化。因此，Am+1和Bm+1中的系数是Δm+1的函数。自然地，也隐含地嵌入在与该扩展系统相关的内在参数的协方差矩阵中。 为了降低校准的不确定性，我们希望确定使Δ λ尽可能“小”的Δ λm+1。受[4]启发，我们选择A20B2···0。. . .Am0 0· · ·Bm（六）来最小化这个k×k矩阵的迹。由于我们希望在整个3D工作空间内计算下一个最佳姿势，因此我们使用全局优化方法。我们的实验表明，模拟退火[19]或ISRES[16]∂xˆi1Θ1∂yˆi1Θ1···xi1Θk···1Θk∂xˆi1Alzhei，1∂yˆi1Alzhei，1···xi1Alberti，6···11996年，对于这个小的优化问题2. 特别是后者在交互时间内工作。注意，所使用Ai=0。. . ..Bi=...建立矩阵Ai和Bi可以非常有效地完成，∂xˆinΘ1阿吉·阿吉因Θ1···K···Θk∂xˆinAlzhei，1阿吉·阿吉因Alzhei，1···Alberti，6···Alberti，6使用链式法则。此外，通过适当地预先计算矩阵U的部分和其中A是 是大小为2n×k的矩阵，包含部分WV−1W不依赖于m+1。查看更多详细信息残差关于k个内参数的导数，而Bi是大小为2n×6的矩阵，包含关于外参数的偏导数。现在，所谓的信息矩阵被计算为：在补充材料中，第2节。3. 考虑中心点的不确定性ΣA⊤AA组B组1A组B组···ABm到目前为止，我们还没有使用关于不确定性的阿吉什⊤ ⊤角点位置：由方程式（5）所有的剩余都有电话：+86-10 - 8888888传真：+86-10-8888888相同的权重（等于1）。理想情况下，在任何几何COM-JJ=B2 A20B2 B2···0。. ..BAm0 0· · · BBm（七）像J一样， JJ是高度稀疏的。重要的是，它的逆（J<$J）−1提供了估计的内在和外在参数的协方差矩阵的估计。对于摄像机标定，我们只对内参数的协方差矩阵感兴趣.（J <$J）−1的左上方k × k子矩阵。由于特殊的结构，（J<$J）−1的真值，可以有效地计算让ΣU=AAi我V=诊断BB，···，BB.11米M⊤ ⊤M在计算机视觉公式中，当可用时，应该包括不确定性的估计。下面，我们从两个方面来解释我们的问题：首先进行实际校准，即，方程中的参数估计（五）、第二，更原始的，用于计算下一个最佳姿势。3.1. 校准中的角不确定性考虑在图像中提取的角点;其位置的不确定性可以通过计算该点周围给定大小的窗口的自相关矩阵C来估计（例如参见[5]）。具体地，C是角点位置的协方差矩阵的逆的估计。现在，设Cij为第i幅图像中第j个通过在信息的计算中插入由它们组成的块对角矩阵，可以将Cij然后，JJ=.ΣU WWV（八）我J=15012我们在当前版本中没有考虑停止准则，但是当上述协方差矩阵的迹的相对残差小于阈值时，可以简单地停止我们的方法。150230◦50◦70◦90◦110◦图2.角点位置的不确定性作为开度角和模糊的函数左：自相关的第一特征值图矩阵，在开度角上和对于不同的模糊水平（对于σ=0、1、2、3的高斯模糊）。右：不同开度角和模糊水平（σ=0、1、2）的角和计算的95%置信水平不确定性椭圆（放大10倍显示）。方程矩阵（7）：H=J双标记（C11，C12，···，C1n、C21，···，Cmn）J（9）另一方面，在计算下一个最佳姿态时，从一开始就对拐角不确定性进行完全积分是合乎需要的，并且实际上是更有原则的。然后，该不确定性校正的信息矩阵可以由高斯-牛顿或Levenberg-Marquardt型优化器用于估计校准（对于其他优化器，可能必须不同地使用自相关矩阵）以及用于量化所计算的固有参数的不确定性。3.2. 下一个最佳姿势计算角点不确定性的第二种用法涉及下一个最佳姿态的计算。特别地，对于我们检查的每个假设的下一姿态，我们可以使用该假设姿态和内在参数的当前估计将校准目标的点投影到图像平面。这给出了角点的预期位置，如果从该姿势拍摄实际图像的话。重要的是，我们还想计算角点提取的预期不确定性，即，在期望图像中提取的角位置的不确定性。或者，等价地，从这些角点周围的预期像素邻域计算的自相关矩阵。如果我们能够这样做，我们可以通过在等式中插入预期的自相关矩阵，将这些插入到下一个最佳姿态的估计中。（7）与在Eq中所做的相同。（九）、在解释如何估计预期的自相关矩阵之前，我们描述了这种方法的好处。事实上，我们已经发现，如果不这样做，下一个最佳姿势有时相当极端，相对于校准目标具有很强的掠射角。这在由这样的姿态贡献的纯几何信息方面是有意义的，但在实践中是不合适的，因为在极端视角下，图像角被高度拉长：它们可能难以在实际图像中提取，并且它们的不确定性在一个方向上非常大。虽然这可以通过使用从具有近似垂直的观看方向的姿势获取的图像来补偿，现在让我们解释如何针对假设的下一姿态计算角点的预期自相关矩阵。这是基于一个简单的推理。过-图像角的所有形状（在我们的情况下，棋盘图案中的交叉）完全由角的“张开角”表示我们所做的是为开度角的整个范围预先计算合成角的自相关矩阵，参见图10。图2：右侧的顶行示出了对于几个不同的开度角，通过离散化连续的黑白角而生成的理想角。对于它们中的每一个，自相关矩阵（cf. [5]计算;如所提到的，其逆是角位置的协方差矩阵的估计。该图显示了从这些协方差矩阵导出的95%不确定性椭圆的图这样的理想角点当然是不现实的，所以我们对不同σ的高斯核模糊的图像重复相同的过程（图中的第2行和第3行自然地，更模糊的角图像导致更小的自相关矩阵和更大的不确定性椭圆。人们可能会注意到几件事。首先，在30°和90°的开度角之间，最大不确定度相差约2倍，见图中的不确定度椭圆。二、第二，直观地说，具有张开角α的角的不确定性椭圆与具有张开角180<$−α的角的不确定性椭圆相同，但是90度旋转（cf.图中的第3列和第5列2、70元（110）。因此，角的自相关矩阵的特征值与180°-α的特征值相同，但它们被“交换”（与相应的相反特征向量相图的左半部分图2示出了作为张角的函数的自相关矩阵C的第一特征值（与特征向量（0，1）相关联）的曲线图。由于上述观察，第二特征值（与特征值相关联，矢量（1，0））由与180<$−α相关的第一本征值简单地给出。的1503该图左边的曲线图证实了增加模糊会降低自相关矩阵的特征值。让我们注意到，我们还模拟了高斯像素噪声的角落图像;即使对于大于实际的噪声水平，图中所示的结果的影响。2、微不足道。最后，让我们解释一下如何使用这些结果。首先，我们从边缘上的图像梯度强度确定已经采集的图像中的平均模糊水平，然后选择图1中的图形。2与最接近的模拟模糊相关联（为了更精确，还可以计算实际检测到的模糊水平的曲线图）。让函数由图表示的是f（α）这允许从开度角计算自相关矩阵的对角系数，如f（α）和f（180<$−α）。其次，到目前为止，我们只考虑了轴对齐的角。如果我们现在考虑一个开角为α的角，但它旋转了一个角度β，那么它的自相关矩阵就是：类似地，可以基于模糊和到相机的距离之间的学习关系来预测每个角的预期模糊，例如，通过在校准期间推断照相机的景深。我们观察到，在景深内，图像模糊与到相机的距离线性相关。使用这些观察结果应该允许通过在姿态的几何信息和图像处理的准确性（这里是角提取）之间实现甚至更好的折衷来进一步改进下一个最佳姿态提议，这两者都影响校准准确性。4. 结果和评价这里进行合成和真实世界的实验，请注意，在优化过程中，我们确保所有的角点都应该在图像平面内，否则优化损失将被设置为一个非常大的值。4.1.综合评价. cosβ −sinβC=sinβcos βΣ。Σ。f（α）00 f（180<$− α）Σcosβsinβ-sinβcosβ为了评估所提出的系统，我们模拟了（十）我们现在有了将角点不确定性纳入下一个最佳姿态计算所需的一切如上所示，对于每个假设姿势，我们投影所有校准点。对于每个点（角），使用其邻居，我们可以计算开度角α和旋转角β，从而计算期望的自相关矩阵C。然后，它可以被插入到信息矩阵的计算中，如在等式中。（九）、这种方法对提出下一个最佳姿态的效果是在最大化姿态的纯几何他们的汽车-相关矩阵具有最大迹）。3.3.可能的扩展到目前为止，我们已经描述了消除角点不确定性的基本思想。可适用以下扩展：我们计划在今后的工作中这样做。 图中绘制的值。2是获得的角落表现出256灰度级（黑色到白色）的全范围。在真实图像中，范围当然更小。如果最大和最小灰度之间的差异是x，那么绘制的值（图的左边）。2）除以2552/x2（容易证明，但由于空间不足而未显示）。反过来，不确定性椭圆按255/x的因子放大。在预测下一姿态的自相关矩阵时，应考虑到这一点。灰度级的范围取决于各种因素，例如到相机的距离和照明条件。作为校准过程的一部分，可以学习给定校准设置的姿态和灰度范围之间的关系，并使用它来预测下一个最佳姿态。使用预定义的内部参数进行摄像机校准用matlab在这里，我们首先简要介绍了产生随机棋盘姿态的过程。数据准备首先，定义9×6个目标点，Z分量设置为0。接下来，创建虚拟相机的3D位置，其中X和Y坐标在合理范围内与Z成比例。然后摄像机首先取向为使得其光轴穿过目标的中心，最后，应用围绕三个局部坐标轴的在-15° C和15° C之间的随机角度的旋转。现在，根据位置、旋转矩阵和给定的内参数，我们可以投影3D焦油。在图像上取点，最后加入具有相同噪声水平的零均值此外，我们还保证了所有54个点都位于640×480像平面的视场内准确度和精密度评价。 我们主要比较从随机IM获得的校准精度年龄，以及来自如我们的系统所建议的那样获取的图像的年龄，考虑和不考虑在前一部分中解释的自相关矩阵 为此，实验过程如下：创建3个初始随机图像，在此基础上，我们有3条路径来获取校准结果：• 产生许多其他随机图像• 获取向导建议的17个图像，因此3+17=总共20个图像• 考虑自相关矩阵，获得17个向导图像每个实验进行100次试验，因此每个实验获得100个内参数样本。在1504820随机-20随机-40向导向导-自动815810805800795860850840830820810800随机向导向导-自动4710 15 2030图像总数250200150100500随机向导向导-自动4710 15 2030图像总数900880860840820800780随机向导向导-自动4710 15 2030图像总数350300250200150100500随机向导向导-自动4710 15 2030图像总数图3. 根据三种方案对合成数据估算的焦距的比较：随机拍摄的图像、校准向导和使用自相关矩阵的向导。f=800，（u，v）=（320，240），k1 =0. 01，k2 =0. 1 .一、初始校准-用3个随机图像进行了测试。左：估计焦距的平均值，其中红色虚线表示真实值f=800。右：估计焦距的标准偏差。向导图像提供比随机图像更准确和精确的校准结果。第一个测试，我们设置f=800，（u，v）=（320，240）和径向0.620.60.580.560.540.520.50.481.61.51.41.31.2随机向导向导-自动4710 15 2030图像总数0.90.80.70.60.50.40.30.20.103.532.52随机向导向导-自动4710 15 2030图像总数畸变系数k1=0。01，k2=0。1 .一、 图3.1.111.51显示了估计焦距的统计结果100次试验很容易注意到，使用我们的向导获得的焦距不仅更接近0.90.80.74710 15 2030图像总数0.504710 15 2030图像总数地面实况，但也比来自纯随机图像的估计更集中（精确）。例如，仅从3个随机+4个向导图像获取的估计焦距此外，图中未示出：3个随机+17个向导图像仍然比60个随机图像提供更高的准确率，这直接证明了我们的方法的有用性。然而，在这个实验中，我们注意到，我们的系统并没有显示出比估计失真系数k1和k2的随机拍摄的图像更大的优势。因此，第二个实验是用较大的径向畸变系数k1=0进行的。5和k2=1，而焦点长度和主点保持不变。图4示出了所提出的系统的有效性，特别是考虑了目标点的自相关矩阵当径向畸变较大时，我们注意到不仅畸变系数，而且焦距和图4.由以下公式估计的内参数的比较关于综合数据的三个方案：随机拍摄的图像，校准向导，无 自相 关矩 阵和 有 自相 关矩 阵。f=800， （ u， v）=（320，240），k1=0. 5，k2=1.向导图像在所有内部参数上都比随机图像具有更好的性能。 考虑自相关矩阵可以进一步提供最准确和精确的估计结果。向导-自动图像。零均值高斯噪声，标准偏差为0。1，0。2，0。5，1对2个象素分别加到象点上，比较如图5所示。五、具体而言，从图中可以清楚地看出，即使添加了不切实际的强噪声（σ=2），我们的方法的两个版本（3个随机图像+17个向导图像）仍然提供比甚至40个随机图像更好的更多的合成实验可以在补充材料中找到。从纯随机图像估计的主点（这里未示出）偏离地面实况很多，如[21]中所报道的。相比之下，我们的系统仍然表现出以标准差低得无法比拟的地面实况为中心的能力此外，与所提出的系统的简单情况相比，当考虑到两个一阶统计特征时，这两个一阶统计特征似乎是最理想的。8250.1 0.5 1 2噪声水平90807060504030201000.1 0.5 1 2噪声水平计算特征点的自相关矩阵。对噪声的鲁棒性。我们还感兴趣的是，我们的方法相对于添加到2D角点的噪声水平的性能。在这个实验中，我们比较了4种不同的配置：20张随机图片，40张随机图片图像，3个随机+17向导图像和3个随机+17图5.各种校准方案对噪声鲁棒性的比较。零均值高斯噪声，标准偏差为0。1，0。2，0。分别将5、1、2个像素添加到2D目标点。从我们的两种方法估计的焦距只有20幅图像，是更准确（左）和精确（右）比从40个随机图像，特别是当噪声水平高。随机向导向导-自动随机向导向导-自动随机-20随机-40向导向导-自动f的平均值f的标准差k的平均值1f的平均值f的平均值k的平均值2k的标准差1k的标准差2f的标准差f的标准差15054.2.真实世界评价尽管校准向导的性能已经在合成数据中得到了证明，但我们最终还是希望评估其建议的下一个最佳姿势在真实世界示例中的有效性。我们为此目的设计了两个评价校准结果是困难的，因为地面实况不容易获得;图6.姿势估计测试。 左：棋盘格图像，其中4绿色角点用于姿态估计，其余角点用于姿态估计。因此，我们设计了两个实验，其中通过评估应用程序-姿态估计和SfM的结果来评估我们用的是常用的罗技C270H高清网络摄像头在我们的实验.它的图像尺寸为640×480，视场约为60nm。图7提供了一些样本校准图像。人们可能会注意到，向导建议的图像确实对应于姿势，由专家选择用于稳定校准：目标沿观察方向的大倾角，目标覆盖视野良好和/或到达图像边界。在下文中，我们表示姿势估计。与[3]中执行的实验类似，为了定量评估摄像机校准的质量图六、首先，利用4个角点来计算具有EPnP [8]的姿态，给定由校准提供的内部参数。然后，由于我们已经假设目标点的Z分量在世界坐标系中为0，所以使用校准的内参数和计算的姿态将剩余的50个图6右）。反向投影和理论3D点之间的欧几里得距离越小，校准效果越好。总 共 有 80 张 图 片 用 于 测 试 ， 因 此 我 们 有50×80=4000分考核。4，000个距离误差的平均值和标准差被用作度量。表1表明，我们的系统，当使用只有15个图像的校准，仍然超过性能。使用50个自由获取的图像的比例超过使用20个这样的图像的比例约5%。这种看起来很小的改善可以被认为是显著的，因为可以预期在该实验中差异不大即使有适度不正确的校准，从4个最外面的目标点的姿态估计将在一定程度上平衡内部角点的重建误差。我们还在MacBook Pro的FaceTime HD摄像头上测试了我们的方法。与其他常用的网络摄像头相比，该摄像头具有更高的分辨率和不同的视野，因此它是显示鲁棒性的合适替代方案-50个红点用于重建。 右：50个地面实况点在黑色中，它们之间的残差和重建的角点用红色表示（为了可视化放大50倍）。表1.使用罗技C270H高清网络摄像头进行姿势估计测试是说STD是说STD3自由0.8561.1303-免费+4-向导0.8621.15510-免费0.8151.1153-免费+6-向导0.7831.09220-免费0.8021.1153-免费+9-wizard0.7881.10450免费0.7891.1083-免费+12-向导0.7631.082我们的方法。如表2所示，仅添加一个或两个向导图像可以大大减少欧几里德距离，并优于自由拍摄更多图像的结果。表2.使用FaceTime HD摄像头进行姿势估计测试是说STD是说STD3自由2.5032.5573-免费+1-向导1.4551.63010-免费1.6641.8393-免费+2-向导1.1651.49120-免费1.2551.606运动测试的结构。在最后一个实验中，我们通过调查运动恢复结构（SfM）设置中3D重建的质量来评估我们的校准向导。重建的对象是一个雕刻木床的靠背，如图所示。8.我们设计了一个简单但有意义的实验来评估校准的质量，如下所示。我们从物体的最左侧拍摄图像然后将采集的图像作为输入提供给VisualSfM[22];我们将序列的第一个图像的相同副本添加到序列的末尾，但没有这样做的目的是：如果校准是准确的，则增量SfM应当返回彼此接近的第一图像和添加的相同的最后图像的姿态。测量姿态的差异是不够的，因为对于每次试验，SfM工具可以任意选择重建的全局尺度因此，相反，我们使用由SfM针对相同的最后一个图像计算的姿态来投影基于在第一图像中提取的兴趣点重建的所有3D点，并且测量这样构造的两组2D点这段距离是inde-1506图7.用于实际测试中校准的样本图像第一行：自由拍摄的照片。底行：向导引导的图像。表3.各种校准方案下SfM测试的2D误差取决于场景比例，因此是SfM结果质量的良好指示，而SfM结果质量又是用于SfM的校准质量的良好请注意，我们只匹配两个连续的帧，而不是给定序列内的完全成对匹配在这种情况下，2D误差被累积，因此重建结果更强烈地突出了校准精度。实验描述如下。我们首先从3幅自由采集的图像（“3- free”）中获得5参数标定结果（包括两个径向畸变系数）然后，一方面，另外拍摄17幅图像，从中获得“7-free”和“20- free”的内参数另一方面，我们采取了另外4个顺序的图像提供的校准向导，在那里我们得到的内部参数的现在，我们加载VisualSfM与这五个配置的内在参数分别，随着靠背序列所采取的同一相机。值得一提的是，我们对每种配置进行了五次VisualSfM试验，以减少SfM算法随机性的影响。结果列于表3中，其中我们评价了所有5次试验的2D误差。可以提出一些意见：在总共只有5张图像的情况下，“3-free + 2-wizard”已经提供了与20张自由拍摄的图像相竞争的准确性。“7-free”和“3-free + 4-wizard”都这是合理的结论，我们的方法显着提高了质量的校准和三维重建与相当少的校准图像。图8.结构运动测试。上图：Hugin（http://hugin.sourceforge.net）拼接的全景图，显示了测试场景。底部：应用VisualSfM [22]构建3D模型的结果。我们从左边开始捕捉图像，然后顺时针移动，最后大约回到起点。最后，值得一提的是，所有真实世界的实验都是使用2.7 GHz Intel i5 CPU（未使用GPU）进行的。 为了计算9 × 6目标的下一个最佳姿势，我们未优化的C++代码花费了大约0。3个目标图像为4s，1. 5s（每幅图像大致线性增加），但我们发现10幅图像通常足以进行良好的校准。5. 结论校准向导是一种新颖的方法，可以指导任何用户完成校准过程。我们已经表明，准确的内参数可以从这个开箱即用的系统所建议的少量图像中获得关于今后工作的一些想法已在第3.3节中提到。我们还计划将该方法应用于非常宽的视场相机，如鱼眼。校准方案是说STD中值3自由43.611.544.37自由30.511.731.720-免费15.710.516.13-免费+2-向导17.410.813.23-免费+4-向导14.49.110.61507引用[1] 让-伊夫·布盖Matlab摄像机标定工具箱。加州理工学院技术报告，2000年。1[2] G.布拉德斯基OpenCV库。Dobb博士一、二[3] 河孝元，米甲珀多克Hatem艾里斯梅尔，在素坤和亚瑟·谢赫。Deltille网格用于几何相机校准。在ICCV，第5344-5352页，2017年。7[4] 塞巴斯蒂安·汉纳结构和运动的视图规划和折射建模。博士论文，隆德大学，2015年。3[5] 克里斯托弗·G哈里斯和迈克·斯蒂芬斯一种组合的角点和边缘检测器。第四届阿尔维视觉会议，第147-151页，1988年。三、四[6] Richard Hartley和Andrew Zisserman。计算机视觉中的多视几何学。剑桥大学出版社，2003年。二、三[7] Reimar K Lenz和Roger Y Tsai。高精度三维机器视觉计量中比例因子和图像中心的标定技术PAMI，10（5）：713-720，1988. 1[8] Vincent Lepetit ， Francesc Moreno-Noguer ， and PascalFua.时间复杂度O（n），时间复杂度O（n）IJCV，81（2）：155，2009. 7[9] 李梦香。主动视觉头眼系统的摄像机标定。在ECCV，1994年。1[10] 斯科特·梅森和阿明·格伦自动传感器放置，用于精确的尺寸检测。CVIU，3（61）：454-467，1995. 1[11] 古斯塔沃·奥拉格和罗杰·莫尔。最佳的摄像机位置，用于精确重建。Pattern Recognition，35（4）：927-944，2002. 1[12] Morgan Quigley 、 Ken Conley 、 Brian Gerkey 、 JoshFaust 、 Tully Foote 、 Jeremy Leibs 、 Rob Wheeler 和Andrew Y Ng。ROS：开源机器人操作系统。ICRAWork-shop on Open Source Software，2009年。1[13] 安德鲁·理查森，约翰内斯·斯特罗姆，埃德温·奥尔森。AprilCal：辅助和可重复的相机校准。InIROS，2013. 1[14] Carlos Ricolfe-Viala和Antonio-Jose Sanchez-Salmeron。最佳条件下的摄像机标定。光学出版社，19（11）：10769-10775，2011. 1[15] 帕维尔·罗伊特伯格和阿尔扬·库伊佩尔。用于交互式相机校准的高效姿态选择。在ISMAR，2018年。1[16] Thomas Philip Runarsson和Xin Yao。约束进化优化中的搜索偏差。IEEE Transactions on Systems，Man，andCybernetics，Part C（Applications and Reviews），35（2）：233-243，2005. 3[17] 彼得·斯特姆和斯蒂芬·梅班克基于平面的相机校准：一个通用算法，奇点，应用。CVPR，1999年。1[18] 罗杰·蔡使用现成的电视摄像机和镜头进行高精度3D机器视觉测量的多功能摄像机校准技术。IEEE Journal onRobotics and Automation，3（4）：323-344，1987。1[19] Peter JM Van Laarhoven和Emile HL Aarts。模拟退火模拟退火：理论与应用，第7-15页。Springer，1987年。3[20] 魏国庆和宋德马。一种完整的双平面摄像机标定方法及实验比较。载于ICCV，1993年。1[21] Juyang Weng，Paul Cohen，and Marc Herniou.基于畸变模型的摄像机标定及精度评价。PAMI，14（10）：965-980，1992. 6[22] 吴昌昌。从运动到线性时间增量结构。在3DV，2013年。七、八[23] 张正友。一种灵活的摄像机标定新技术。PAMI，22（11）：1330-1334，2000. 1