15253BabelCalibb：校准中央摄像机的通用方法Yaroslava Lochman1，† Kostiantyn Liepieshov3 Jianhui Chen2Michal Perdoch2 Christopher Zach1 James Pritts1，†1查尔姆斯理工大学2Facebook Reality Labs3乌克兰天主教大学{lochman，zach，pritts} @ chalmers.seliepieshov@ucu.edu.ua{ jchen2020，mperdoch} @ fb.com摘要现有的校准方法偶尔会失败的大视场相机由于潜在的问题的非线性和所使用的相机模型的所有参数的良好的初始值的缺乏。这可能是因为在初始步骤中假设了更简单的投影模型是预先定义的。一般摄像机标定的难点在于前向投影模型的使用。我们侧步这些挑战，首先提出了一个求解器来校准参数的反投影模型，然后回归的参数为目标的- ward模型。这些步骤被纳入一个强大的估计框架，以应付边远检测。大量的实验表明，我们的方法是非常可靠的，并返回最准确的校准参数上测量的下游任务的绝对姿态估计测试集。代码发布于https://github.com/ylochman/babelcalib。1. 介绍具有非常宽视场的相机，例如鱼眼镜头和折反射装置[44]，通常需要具有许多参数的高度非线性模型。由于相机模型的复杂性及其潜在的非线性，校准这些相机可能是一个繁琐的过程。如果校准不准确或甚至失败，则通常需要用户手动移除有问题的图像或基准，捕获附加图像，或为未知模型参数提供更好的初始猜测。第二个常见的问题是校准工具箱的选择将用户限制到特定的一组支持的相机模型，并且扩展工具箱以适应更灵活的相机模型可能是一项困难的任务。本文提出了一种方法，该方法可以稳健地估计中心投影摄像机[39]的精确摄像机模型，其视野范围从窄到全。[2]部分工作是雅罗斯拉夫·洛克曼（Yaroslava Lochman）和詹姆斯·普里茨（James Pritts）在Facebook现实实验室时完成的鲁棒估计包装器摄像机型号建议模型间回归线性解算器1. 径向基本矩阵2. 角点校正3. 部分摄影机姿势4. 内部函数+翻译深度P3P剩余姿势+精细化非最小抽样图1：方法概述和结果。（左）BabelCalib管道：相机模型建议步骤确保良好的初始化，（右）示例结果示出了测试图像的重新投影的角的残差。方向性的此外，所提出的框架可以估计这些镜头类型的最广泛使用的相机模型，同时还提供了一个简单和通用的路径来扩展该方法到新的相机模型。相机校准是非常非线性的任务，因此通常需要良好的初始猜测来获得准确的参数。初始估计不佳是失败的常见原因。合理的初始猜测通常只适用于某些模型未知数，例如，初始值对于描述实质透镜畸变的参数是不可用的。第二种故障模式是由不正确或非常不准确的测量引起的，角检测，其与校准目标上的基准点匹配。如果使用损坏的数据来估计初始猜测，则下游模型细化将可能失败。我们的方法解决了这两种故障模式。我们介绍了一个求解器，恢复所有的校准参数，如针孔，鱼眼和折反射的广泛的相机（和镜头）。我们表明，建议的求解器提供了一个很好的初始化所有关键的内在，其中包括投影中心和像素纵横比。我们的求解器仅假设平面校准目标。此外，初始化同时提高角点检测的准确性，同时估计投影中心和摄像机的姿态，通过强制执行投影约束。15254n=1n=12n=1−W2M ODELP参数，θR ADIAL（B ACK-）P拒绝功能Br o wn-Conrady（BC）[8]{k1，k2}φθ（R，Z）=（R/Z）·.1+2kn（R/Z）2nKannala-Brandt（KB）[20]{k1，. . . ，k4}φθ（R，Z）=ζ+Σ4knζ2n+1，n=atan2（R，Z）统一相机（UCM）[26]{ξ} φθ（R，Z）=R（ξ+1）/（ξ（√R2+Z2）+Z）视场（FOV）[7]{w}φθ（R，Z）=1atan2（2Rtanw，Z）扩展统一相机（EUCM）[21]{α，β}φθ（R，Z）=R/（αd+（1−α）Z），d=√βR2+ Z2双球面（DS）[41]{ξ，α}φθ（R，Z）=R/（αd2+（1−α）Z2），d2=，R2+Z2，Z2=ξ√R2+Z2+ZDi vision（DIV）[34，40]{a1，a2，a3}ψθ（r）=1+Σ3D i vision-E v en[22]{λ1，. . . ，λN}<$θ（r）=1+<$N一个nrn+1λnr2nn=1表1：支持的相机型号。模型计算径向对称投影r=Φ θ（R，Z）或反投影r = rZ R Φ θ（r）= 0，其中R和Z是场景点的径向和深度分量，并且r是距视网膜点的投影中心的距离。右列列出已发布模型的函数求解器在RANSAC框架内用于有效的模型生成。评估模型建议与提取的特征的一致性，并且拒绝不良提取的特征和不正确的对应关系。我们的方法使用反投影模型作为中间相机模型。将图像点映射到3D射线方向的反投影模型能够对宽范围的相机（诸如针孔相机、鱼眼相机和全向相机）进行建模。我们的方法（因此，我们的主要贡献）是解耦的校准任务为一般的相机模型到一个简单得多的校准任务，一个强大的反投影模型，然后通过回归任务，以获得一般的目标相机模型的参数。有效地，我们消除了为每个目标相机模型生成求解器的需要，这可能是棘手的，或者导致求解器在计算上昂贵或在实践中数值上相反，我们使用一个高效的求解器的反投影模型，然后通过一个更容易的回归任务，以恢复目标模型参数。表1中给出了这种方法的动机，其中它示出了一旦径向分量R和深度分量Z已知，投影方程就相对简单这些值由反投影模型提供。例如，对于Kannala-Brandt模型[20]，对于给定的R和Z，其参数的估计是线性的。总的来说，我们的分层校准方法解决了许多问题，这些问题是由于许多灵活的相机模型的高度非线性行为造成BabelCalib在鲁棒估计框架内执行反投影估计和目标模型回归，并直接返回目标模型的参数。图图1示出了我们的方法对于鱼眼镜头在保持测试图像上的准确性。所实现的高精度在所有测试图像上的整个校准目标上是空间相干的。1.1. 相关工作摄像机校准是将摄像机从纯成像设备升级到几何传感器的重要工具，并且它已经导致了用于摄像机（及其镜头系统）的许多参数模型的开发以及相应工具箱（例如，[8、18、43、11、38、5、26、23、32]）。为了促进校准参数的最高精度，在许多应用中采用受控的、通常为平面的校准目标。专用图像（“训练数据”）用于摄像机校准任务的使用[9、17、30、12、42、31、24]）。在前向投影模型方面与我们的方法最相关的是统一相机模型[13，1，26]、Kannala和Brandt的鱼眼投影模型[20]以及双球体模型[41]。使用这些模型进行校准任务并不总是简单的，并且带有它们自己的一组假设。例如，为双球模型[41]提出的估计器要求圆形视场是可见的，以恢复投影中心和纵横比，要求球形视网膜的相对位置被初始化，并且要求非径向线被识别以恢复焦距。此外，针对流行的Kannala-Brandt模型提出的方法需要指定焦距和视场[20]。引入线性求解器来校准反投影框架[34]中的除法模型，证明了使用反投影的好处。这种线性方法假定已知畸变中心和单位长宽比，并在[35]中扩展为两阶段方法，以包括畸变中心的估计Urban等人[40]识别了这种两阶段方法的缺点，并建议联合细化所有未知数。最后，非常一般的相机非参数模型落后向前15255ΣΣ.Σ.Σ.Σ··∈→.Σ`x`x··×ΣΣΣ∈·.Σ·联系我们长度，R=是旋转矩阵，并且t=×1dia g（f，f，1）Σr1 r2tΣ. X，Y，1ΣT。（六）2.ΣN和镜头已经提出（包括[33，15，3，36]），我们的实验表明，适当的参数模型是足够的模型广泛的相机和镜头，因此，由于奥卡姆2. 预赛让我们定义从场景坐标到相机坐标系中的光线方向的相机矩阵P为P =Σdiag（f，f，1Σ）Rt，其中f是焦点。123tx，ty，tzT是平移向量。我们建立在全方位的基础上-其中r*是ψ（r）=w在[0，rmax]中的唯一解。因此，委员会认为，u= h（g（u））。（五）在[0，rmax]中的多个根意味着场景点映射到多个图像点，这是不可信的物理配置。在不失一般性的情况下，我们假设目标在平面z=0上。将目标上的点X变换到目标上的射线方向摄像机坐标系可以通过单应性来12.H=tΣ由摄像机矩阵构造Micusik和Pajdla的定向相机模型[27]，即将图像点u=u，v，1T和场景点X作为γg （ Au ） =PXS.T.γ> 0 。（一）在⑴中，矩阵A从图像坐标映射到视网膜坐标。将投影中心表示为e=ex，ey，1T，将比例因子表示为s，并且将像素纵横比表示为a。对于初始化方法，我们假设像素是正交的，所以我们有A=diag（a−1，1，1）diag（s−1，s−1，1）T（−e），（2）其中，T（x）是对x的平移进行编码的齐次矩阵。 非线性函数g（）（1）中的R3R3从 视 网膜平面映射到相机坐标系中的光线方向。对于初始化方法，忽略由透镜未对准引起的通常较小的偏心失真[16]，以便我们可以建模回u=u，v，1T的投影为径向对称，g（u）=u，v，ψ（r（u））T，其中视网膜点的半径为r（u）= √u2 + v2。我们用除法模型参数化ψ（）。它具有良好的建模显著镜头失真的能力，并在[34]中用于视野大于180◦的鱼眼和折反射镜头。模型定义为ψ（r）=1+λnr2n（3）n=1PX = diag（f，f，1）ΣR tΣ. X，Y，0，1ΣT=高xHartley和Kang [15]使用径向基本矩阵来恢复失真针孔相机的主点我们扩展径向基本矩阵以恢复[27]的反投影模型的投影中心e和相机姿态R，t我们使用（6）将（1）中的PX替换为diag（f，f，1）HX，将投影函数h（）应用于两侧，并使用（5）消除g，给出u=A−1h（1/γdiag（f，f，1）Hx）=T（e）1/γ diag（a（sfr*）/r（x），（sfr*）/r（x），1）H x.（七）注意，由于焦距、h（）的投影、像素尺度s和深度乘数γ而导致的（sfr*）/（γr（x））的缩放是纠缠的并且径向地起作用。将η=（sfr*）/（γr（x））代入（7），并在两边用e交叉，得到[e]×u=[e]× T（e）diag（aη，η，1/γ）Hx（8）=[e]× diag（aη，η，0）Hx.通过取u与（8）的内积，可以消除径向线[e]u，并且η可以被消除，因为它是非零的。表示H的行，使得H=h1h2h3T.（8）简化为uT[e]ahTx，hTx，03T=0，其可以被重新布置以给出用于全向相机的径向基本矩阵Fr函数ψ（）一般不可逆;然而，我们假设只有一个根r，[0，r_max]，其中r_max是图像对角线。更确切地说，让uT[e]×ar11ar12atxr21 r22ty0 0 0x= 0。（九）x=x，y，wT，并且令h（）是投影x到视网膜平面，Fr纵横比被建模，但不能在没有附加约束的情况下恢复。径向基本矩阵RRR15256r（x）h（x）=.r*r*r（x）y，1ΣT，（4）Fr是二阶的，投影e是Fr的左零空间的基。x，15257联系我们↔----是旋转投影被转移到七百五百我们添加了不同的RiR×1233. 获得初始估计本节中提出的方法确保对相机模型进行良好的初始猜测。参数恢复的一系列线性求解器（见图。①的人。（1）的反投影模型将图像点对应于相机坐标系中的光线方向。鉴于这种对应关系，我们表明，回归常用的这使得能够在采样框架中搜索目标投影模型的良好初始猜测，这增加了方法的鲁棒性。3.1. 求解径向基本矩阵径向基本矩阵估计恢复投影中心和相机姿态。（9）中径向基本矩阵uTFx=0的极线约束可以写成Fxuvec（F）= 0.（十）遵循[16]中的基本矩阵的经典求解器，我们使用至少七个图像到目标点的对应关系（表示为uixi）来计算形式（10）的堆叠约束的零空间。强制非线性约束det F=0，以从零空间恢复至多三个实数解。保持与最多对应一致的基本矩阵3.2. 求解投影中心和位姿如（9）所示，投影中心是F的左零空间的基FT= null。（十一）在（9）中公式化的径向基本矩阵Fr与通过七点法恢复的基本矩阵F之间存在标度模糊性，记为νF= vF， 其中F=。fΣ。（十二）图2：校正角点可以改善初始猜测。我们使用原始和校正的角点来评估投影中心、相机姿势和重新翘曲点的准确性在每个噪声水平下进行超过1000次实验的评估。实心曲线表示中位误差，阴影区域表示四分位距。3.3. 角点校正角点校正被定义为使得给定径向基本矩阵Fr和对应关系uixi，校正的角点是ui=u+δui，其中δui是使得ui满足对极约束ui TFrx=0的最小位移。假设目标基准点xi是正确的，因为它们是无噪声的。 可以证明[16]，通过将测量的角u i投影到x i的epiline上，可以获得校正的角u*i，u*i=pro jFx（ui）。（十四）我们通过用非线性最小二乘法最小化位移来细化径向基本矩阵Fr八个对应足以校正采样角点[16]，但使用更多是合理的，因为我们期望校准捕获的内点比率较高。秩二约束用参数化编码里季F =[e] . hT，hT，0ΣT。 然后，r31，r32向量R1和R2。如果S=ν−1diag（a−1，1，1），则rj=S。f2j，−f1j，r3jΣT。我们利用r1的正交正规性通过求解e*，h*1，h*2=argminΣδuTiδui（15）S（f21，−f11，r31）T从e*，h*1，h*2重建F * r。检测到的噪声和. F21，−f11，r312Σ S2。F22，−f12，r322ΣT =0。（十三）根据公式（14）使用F*r校正角点。有四个未知数，但只有三个约束方程。需要额外的约束来恢复纵横比。未知数ν，a，r31，r32，t z，λ1，… λ n可以通过求解多项式方程组来联合恢复（参见第2节）。A在补充）;然而，我们选择在纵横比a ∈ [0. 5，2]和角点校正后的摄像机模型估计精度的提高是通过对合成场景摄像机随意摆出一个观察棋盘的姿势.图像分辨率为1200×800像素，聚焦透镜。th400pixΣels，以及从（13）恢复{ν，r31，r32}将白噪声水平化到角：σ ∈ {0，0. 1，0。二、… 2}。让和r2对未知数e，h1，h2我15258←---maxλ˜K1·hT2x，且z′=·X. 重新参数化λ~k=Σ（φθ（rk，ψ（rk））-rk）2→min，（18）..Kθ使用原始或校正的角点拟合1000个图像的相机模型。从左上方顺时针方向，图。图2报告了（i）估计的投影中心与地面实况投影中心之间的距离，（ii）校正估计的取向所需的最小旋转角度，（iii）估计的相机位置与地面实况相机位置之间的距离，以及（iv）图像网格与估计的相机对场景点的重新投影之间的RMS重新投影误差，估计的相机应该投影到图像网格上。图2显示校正角点平均将旋转、平移和RMS重投影误差的中值误差降低了31%、28%和33%3.4. 求解剩余的本征函数和深度从相机坐标系到视网膜平面的坐标的单应性H映射可以用于求解剩余参数γg（Au）= diag（f，f，l）HX。注意，在没有关于相机的附加知识（诸如像素大小）的情况下，A中的s和f不能被分离。此外，我们假设这个信息是不可用的，并让fsf。通过叉积消除未知的γ学位初始2al RMS [px]，5.342,包括[%]精制26.042RMS [px]，inl. [%]0.647，97.08644.585、 28.9910.587，97.40364.516 26.1840.587，97.39987.429, 13.3071.020，93.6601012.804,8.4484.812、61.267表2：划分模型的模型选择。四次多项式总体上给出了最好的结果。比率用于评估每个模型的初始猜测和整个数据集的精确解的准确性。表2显示，8度和10度的模型显著偏离最优结果，表明它们是过拟合的。由λ1、λ2参数化的四度划分模型是最简单的模型，其足够灵活以提供良好的初始猜测。我们使用（3）估计反投影函数（1），其中N=2。径向投影函数，表示为Φθ（R，Z），总是可以通过它如何将距离光轴半径R和距离主平面深度Z的点映射到视网膜平面来参数化（参见表1）。这种参数化允许一种通用的方式来回归径向对称投影函数对G. 诊断 −1，fx′−1，1）u′×y′（16）分工模式如果用户选择的投影模型不具有z′+tz其中u′=dia.g（a−1，1，1）ΣT（−e）u，x′=hT1x，y′=λk/f2k−1和（16）中的集合项给出了一个线性系统其径向剖面的划分模型，则以下操作-必须执行Σ在未知中。f.其中半径r k=k−1rmax从零到最大半径r进行均匀采样，最大半径r固定在图像的半对角线上。所有回归均为线性x′x′r′1二 ...xr2N−u我.u′·z′表1中的型号，DS型号除外。阿吉i ii=参见第B补充说明，以了解y′y′r′2...y′r′2N−v′奥谢夫岛zi′我我.λ~Ntz.（十七）Kannala-Brandt回归模型4. 稳健估计框架其中ri′=r（u′i）是点u′i的半径。在（3）中定义的分割度模型ψ（）需要被选择为使得它可以近似鱼眼和折反射装置的极端径向轮廓，并且使得它不会过度地接近鱼眼和折反射装置的径向轮廓。适合窄视场镜头的噪声测量。显然，这些是相互竞争的目标。我们计算了ψ（）对于从2到10的偶数次多项式。模型选择是在第二节介绍的数据集上进行的。5，其包含广泛的透镜以及折反射装置。根据如上所述的采样角对应（在表2中表示为初始）来线性地估计（1）的相机模型，并且利用非线性最小二乘法（表示为在表2中细化），使用每个校准捕获的所有角。 加权RMS重投影误差和内点在本节中，我们提出了一个校准框架，对于角点检测误差是鲁棒的，与一个或多个校准板一起工作，并且处理校准捕获上的板基准的部分可见性。该方法的鲁棒性，部分地，实现了使用的摄像机的几何形状估计提出的第二节。3 .第三章。利用这些估计器，可以从噪声角检测的样本中恢复表1中列出的任何板模型的准确估计。然而，由于检测器由于高度失真的邻域，网格搜索也可能在鱼眼图像遮挡也会创建假角。我们将SEC的求解器。3到一个基于RANSAC的框架来处理坏的检测[10]。该方法适合相机模型r31，r32，015259↔J→ΣIJΣΣ--J····kjkjkOV-Plane-130108MP，0. 478像素RMSOV-Corner-Cam4，0。770px RMSOV-Cube-Cam1，0. 268像素RMS图3：来自估计校准的校准目标的投影。检测到的角是红色十字，使用初始校准投影的目标是蓝色正方形，并且使用最终校准投影的目标是青色圆圈。数据集编号cam.，#img.DFOV范围最大img. 大小3840×2880OpenCV-BC卡利布-BCOurs-BC159◦-183◦1280×800Cam40.679，97.6OV平面4、 92+4188◦-187◦1280× 800表3：校准数据集详情。图像的训练测试分割由+指示。对角视场（DFOV）使用固有校准来近似。从角到板的对应中取样。用稳健的目标对模型进行评分。在采样期间，保持迄今为止最好的模型，并使用最大似然估计器进行优化，这受到[4]中局部优化步骤的该模型的输出是摄像机内部和外部的最大似然拟合。在Sec. 3是线性的，因此它们是快速的并且非常适合用于RANSAC的模型建议步骤算法1在第二节中。补充证书可能有帮助，因为指定方法的下一段落的交叉引用。该方法的输入是一组2D-3D对应，它们将角点检测与板基准点（我们将其表示为Xij）相匹配我也是。 指数i和j表示平面j上的特定基准点i，并且k指示基准点Xij的角检测uijk的图像。为每个凸轮50.772、96.4 0.831、91.7 0.759、96.0凸轮60.715、95.4 0.748、94.50.677、96.0凸轮70.701、96.6 0.855、90.60.641、97.5表4：BC模型的姿势评估。公司简介使用的测试图像本征函数用于校正所有图像中未使用的平面板。其余板的姿态使用P3P（透视3点[29]）从三个采样的校正角到板的对应关系计算。用于捕获会话的板姿势被添加到相机模型以给出RANSAC模型建议。根据具有鲁棒性物镜的整个校准捕获来评估重投影误差J（Θ）=Σρ（d（π·ΣRjktjkΣXij），uijk）Σ，（19）ijk其中，π（）是所选择的投影函数，d（）是欧几里得距离，ρ（）是Huber损失函数[19]，并且Θ=θ，K，R，j ， k ，t，j ， k是校准参数。在多个平面目标的情况下，使用相机的绝对位姿R_c、t_c来构造位姿R_j_k、t_j_k。RANSAC迭代，我们采样图像k，平面jvisi-kKBle在图像k中，以及用于根据（10）、（11）和（14）计算径向基本矩阵、投影中心和角校正的14个对应的非最小样本交叉验证了所用样本量（14个对应）纵横比是姿态和固有估计器的必要参数 如果相机具有非正方形像素或变形镜头，则我们从区间[0. 5、2]。姿态和固有参数估计为在（13）和（17）。用户选择的摄像机的径向轮廓模型是回归对径向轮廓的划分以及板相对于参考板的相对姿态Rb，Tb，Rjk=RcRbtjk=Rctb+tc。如果RANSAC遇到迄今为止最好的校准提议，则调用模型细化步骤（Θ）minΘ。轴-角度表示用于最小化光束法平差的旋转参数。方案按其内点比率进行排序，内点比率根据以下公式如果划分模型不是期望的模型，则使用（18）模型。模型到模型回归生成RANSAC模型提议的相机几何形状部分的（Θ）=11M ijk联系我们.D. π.Rjk TJKΣXijΣ，uijk、（二十）KalibrOCamCalib8、140+609、79+40110o-268o130o-266o1680× 1680Cam0RMS [px]，inl. [%]0.886、90.9 0.945、87.30.704、96.1乌兹-戴维斯4，140+60124◦-148◦346× 260CAM10.781、95.20.893，88.80.674、98.0UZH-Snapdragon 4，140+60144◦-166◦640× 480Cam20.773、96.10.756，95.60.720，96.9公司简介OV-Cube8，280+1204、105+49109◦-109◦1280× 800CAM30.733，97.00.757，97.30.953，87.60.828，93.60.710、96.415260·JOpenCV-KB Kalibr-KBOurs-KBOpenCV-UCM Kalibr-UCMOurs-UCMRMS [px]，inl.[%]，失效次数公司简介0.746、94.4、0/80.882、90.3、0/80.695、96.8、0/8 1.187、75.4、0/80.953、88.8、0/80.812, 94.8，0/8OV-Cube未通过，4/40.411、92.7、2/40.265、97.5、0/40.493、86.7 0/40.440、90.8 0/40.316, 96.8，0/4OV平面2.449、70.2、0/40.658、92.9、1/40.596、94.0、0/4 0.854、80.7、0/40.669, 90.6，0/40.606, 93.6，0/4Kalibr2.291、53.9、3/80.194、99.8、3/80.173、99.9、0/8 0.355、95.2、0/80.350, 94.6，0/80.326, 97.1，0/8OCamCalib2.921、67.0、3/90.696、97.2、4/90.676、97.3、0/9 0.782、93.4、2/90.776, 94.6，0/90.784, 97.2，0/9乌兹-戴维斯0.389、96.3、0/40.389、96.3、0/40.382、96.3、0/4 0.503、95.3、0/40.490, 93.2，0/40.385, 96.2，0/4UZH-Snapdragon0.265、99.6、0/40.268、99.6、0/40.254、99.6、0/4 0.517、97.3、0/40.299, 99.4，0/40.286, 99.5，0/4Kalibr-FOV我们的视野Kalibr-EUCM我们的EUCMKalibr-DS我们的-DSRMS [px]，inl. [%]，失效次数公司简介0.931、88.7、0/80.743、96.1、0/8未通过，8/80.751、95.8、0/80.967, 88.5，0/80.812, 94.5，0/8OV-Cube未通过4/41.356、19.3、0/40.416、91.9、3/4 0.273、97.0、0/40.413, 92.7，0/40.269, 97.3，0/4OV平面0.867、83.1、1/40.863、82.8、0/40.584、96.8、2/4 0.542、96.6、0/40.644, 93.2，0/40.606, 93.6，0/4Kalibr0.257、99.1、3/80.237、99.2、0/80.250、98.9、0/8 0.230、99.2、0/80.264, 98.2，0/80.326, 97.1，0/8OCamCalib0.786、96.1、4/90.779、96.2、0/90.580、97.8、6/9 0.561、97.7、0/90.755, 94.6，0/90.739, 97.7，0/9乌兹-戴维斯0.421、95.5、1/40.417、95.7、0/40.415、95.6、1/4 0.411、95.6、0/40.393, 96.2，0/40.382, 96.2，0/4UZH-Snapdragon0.250、99.6、1/40.234、99.6、0/40.246、99.6、1/4 0.232、99.6、0/40.284, 99.3，0/40.286, 99.5，0/4表5：鱼眼和折反射装置的姿态评估。估计的模型是（顶部）KB、UCM和（底部）FOV、EUCM和DS。每种方法其中M是图像到目标对应的总数，是指示函数，并且τ是鲁棒估计器的尺度5. 评价基准调查了各种各样的镜头类型，包括折反射钻机。我们汇总了几个通常用于测试相机校准框架准确性的已建立数据集：（i）Double Sphere [41]，（ii）EuRoC [2]，（iii）TUM VI [37]，（iv）和ENTANIYA1。我们将聚合数据集称为Kalibr，因为Kalibr校准框架[25]用于上述原始出版物中。Kalibr有八个摄像头，其中大部分是鱼眼。我们还测试了OCamCalib [34]数据集，它有五个鱼眼镜头和四个折反射装置;以及UZH [6]数据集，其由从无人机捕获的八个广角和鱼眼相机组成。数据集被分成两个子集2，DAVIS和Snapdragon。我们还从16台配有不同镜头的OmniVi- sion相机中获取了校准数据，这些相机的视场范围从88°到187°。使用包含AprilTags的三个不同目标校准相机DS [41]模型。鱼眼和折反射钻机的OCamCalib（MATLAB）框架具有DIV [34，40]模型。BabelCalib可以回归表1中列出的所有相机型号。我们比较了每种最先进的校准方法在其支持的模型与相同模型的BabelCalib估计。现有技术提供了对焦距的合理初始猜测，并且投影中心被初始化为图像中心。所提出的BabelCalib不需要也没有给出用户提供的初始猜测。5.1. 相机姿态估计来自校准捕获的保持出的测试图像的姿势准确度用于评估每种方法的校准。相机本征函数被固定到校准，并且（19）的目标（Θ）仅在相机姿态上被最小化。每个数据集的训练-检验分割如表3所示。姿态准确度由（19）的鲁棒RMS重投影误差和由（20）评估的平均内点比来测量。每个数据集的误差和内点比跨相机平均，其中该方法返回模型。自BabelCalib回归以来，该政策支持最新技术[28]：平面、角点和立方体，有一个、三个和四个棋盘，分别（见图）。（3）第三章。OmniVi-sion捕获被表示为0 V。每个数据集的摄像机规格见表3。我们评估了支持表1中列出的投影模型的最先进的相机校准框架。OpenCV支持三种模型：[2019 - 08 -18][2019 - 08 - 18][2019 - 08][2019 - 08 - 18][2019 - 08]除了这些模型之外，Kalibr框架[25]还支持FOV [7]，EUCM [21]和1在github上找到：https://github.com/ethz-asl/kalibr/issues/2422根据：https://fpv.ifi.uzh.ch/datasets/OCamCalib-DIVOurs-DIVRMS [px]，inl. [%]Fisheye10.631、98.30.603、97.1Fisheye190deg0.642，96.80.621，95.2Fisheye20.480，97.90.458，97.9GoPro1.097，95.31.177，96.9凯丹奥姆尼0.595，1000.574、98.3瓢虫0.661，98.80.658、97.5MiniOmni0.795，97.70.712，95.6Omni0.828，93.30.836、97.1VMRImage0.560、1000.560、99.2表6：DIV模型的姿势评估。使用来自OCamCalib的测试图像。15261.Σ××O刚体位移N在-S平方位移 + NON-SQUARE图4：所有校准捕获的性能总结。经验CDF显示了所有校准数据集上每种方法的相对性能不同的增强类型的方法进行测试。绘制加权RMS重投影误差小于E的概率。将加权RMS重投影误差归一化以对应于1000 ×1000px图像。BabelCalib在原始图像和增强图像上的每种模型类型都表现得更好。适用于所有相机。在比较表中报告了每个框架-数据集组合的这些测量值。获胜者是粗体。如果一个方法在两个度量上都不是最好的，则声明为平局。在此，我们用红色标记失败的最高数量。表4报告了OV-Corner数据集中窄-中等FOV镜片的结果。我们对每个摄像头的结果进行了分析。这种透镜类型的合适模型是具有附加BC失真的针孔投影。BabelCalib优于OpenCV和Kalibr。表5报告了鱼眼透镜和折反射装置的结果。Kannala-Brandt模型的Kalibr和OpenCV故障率均为24%相比之下，BabelCalib没有校准失败。BabelCalib始终为每种模型类型提供最佳结果，即使在放弃最先进的灾难性故障表6报告了使用DIV模型对OCamCalibb数据集进行的校准。OCamCalib-DIV仅在OCamCalibb上进行评估，因为它要求所有基准点在整个捕获过程中可见。OCamCalib是唯一一个这样的数据集。BabelCalib和OCamCalib给出了相当的结果。该数据集包括折反射钻机，这显示了BabelCalibb的灵活性。表7总结 的 是说 减少 的RMSOpenCV-BC8.76%卡利布-BC17.68%OpenCV-KB42.96%Kalibr-KB12.41%OpenCV-UCM24.66%Kalibr-UCM百分之十二Kalibr-FOV6.11%Kalibr-EUCM9.92%OCamCalib-DIV2.05%Kalibr-DS5.36%表7：关于模型类型的准确度增益。Ba- belCalib回归显著降低了所有相机模型类型的加权RMS重投影误差，相对于由测试框架提供的估计。通过BabelCalib实现的每个数据集-模型组合的加权重投影误差超过现有技术水平。Babel-Calib对于所有框架模型组合给出了显著的误差减少，即使在丢弃现有技术的校准失败之后。见图更多定性结果见补充文件中的C.2，以及第D，其从有限数量的图像评估校准性能。位移中心和非正方形像素我们通过添加裁剪或拉伸图像来模拟位移投影中心或具有矩形像素的CCD来增强数据集。位移为0。15w，0. 15h像素，像素纵横比为1.33：1。4报告了原始和增强数据的测试图像上的姿态估计的鲁棒RMS重投影误差几个模型框架组合进行了评估。为了比较，误差被归一化为对应于1000 - 1000像素的图像。Ba- belCalib在所有模型的原始和增强数据上找到更高百分比的准确校准。6. 结论BabelCalibs比三种广泛使用的框架恢复更准确的BabelCalib在所有常用型号的相机中保持其主导地位，这些相机具有窄角、广角和鱼眼镜头，以及折反射钻机。BabelCalib保持其性能的相机与位移中心的投影或非正方形像素。它不需要模型初始化，也不需要超参数调整，因此使用起来很简单.此外，回归框架容易地接纳额外的相机模型。致谢雅罗斯拉夫·洛克曼和詹姆斯·普里茨得到了由克努特和爱丽丝·瓦伦堡基金会资助的瓦伦堡人工智能、自动化系统和软件项目（WASP）的部分支持。15262引用[1] Joao Pedro Barreto和Helder Araujo。中心折反射成像的几何学问题。2001年IEEE计算机协会计算机视觉和模式识别会议论文集。 CVPR 2001，第2卷，第II-II页。IEEE，2001年。2[2] Michael Burri、Janosch Nikolic、Pascal Gohl、ThomasSchneider、Joern Rehder、Sammy Omari、Markus WAchte-lik和Roland Siegwart。欧洲微型飞行器数据集。The International Journal of Robotics Research，35（10）：11577[3] Federico Camposeco，Torsten Sattler和Marc Pollefeys。径向对称相机的基于非参数结构的校准。在IEEE计算机视觉国际会议论文集，第2192-2200页3[4] Ond ˇrej Chum、Jiˇr´ı Matas和Josef Kittler。局部优化的ransac 。 在 Bernd Michaelis 和 Gerald Krell ， 编 辑 ，PatternRecognition ， 第 236-243 页 ， Berlin ，Heidelberg，2003中。施普林格柏林海德堡。6[5] 大卫·克劳斯和安德鲁·W·菲茨吉本一般相机的有理函数镜头畸变模型。在2005年IEEE计算机协会计算机视觉和模式识别会议IEEE，2005年。2[6] Jeffrey Delmerico，Titus Cieslewski，Henri Rebecq，Matthias Faessler，and Davide Scaramuzza.我们准备好参加无人机大赛了吗？UZH-FPV无人机竞赛数据集。在IEEE国际会议上机器人自动（ICRA），2019年。[7]Frederic Devernay和Olivier Faugeras。直线有做异性恋 机器视觉与应用，13（1）：142001年24日二、七[8]C布朗·杜安。近距离摄像机校准。Pho-togramm。Eng，37（8）：855 -866，1971中。二、七[9] Olivier D Faugeras，Q-T Luong，and Stephen J Maybank.摄像机自校准：理论与实验。在欧洲计算机视觉会议上，第321Springer，1992年。2[10] Martin A Fischler和Robert C Bolles。随机样本一致性：一个范例模型拟合与应用程序的图像分析和自动制图。Communications of the ACM，24（6）：3815[11] 安德鲁
我的内容管理
展开
